分类: [Spark]

[Spark] 从字符串创建StructType

    在使用Spark开发的过程中,DataFrame是经常使用的一个数据类型,它比RDD有了更加高级的API,更高的执行效率。     然而,某些情况下,经需要将一个RDD转换为DataFrame,这一步经常需要生成一个StructType来生成DataFrame的schema。直接生成StructType是一个比较麻烦的过程。由于笔者经常使用,便写的一个生成StructType的函数,通过传入的个字段和类型的组合字符串,直接生成StructType,实际使用中确实方便了不少。于是将这个函数记录下来。 函数如下:   def buildStructType(fields:&nb ......

[Spark] Scala集合类详解

    Spark常用Scala语言进行开发,Spark中的RDD处理过程中,经常会与Scala集合进行互相转换。 首先,盗一张图来说明Scala集合类的继承关系 Scala集合类的继承关系 由上图可知,Scala中集合主要分为三大类: 1. Seq,是一组有序的元素。  2. Set,是一组没有重复元素的集合。  3. Map,是一组k-v对。 说明:Scala中的集合类都有两种形式,即可变集合类型的不可变集合类型。可变集合类型即集合中的元素内容、个数是可以修改,而不可变集合类型即集合一旦定义,就不可以进行修改。 Set集合 Scala中的Set集合和 ......

[Spark]Zookeeper3.4.12和Kafka1.0.0的安装及配置

    Spark程序的开发,难免会迁涉到Kafka的有关内容,而Kafka的运行又依赖于Zookeeper。 Zookeeper的安装与部署     官网下载的Kafka程序包里面已经包含的一个Zookeeper程序,在这些文章中,我们没有使用它,而是使用了独立的Zookeeper程序。 先去官网下载Zookeeper程序:zookeeper-3.4.12.tar.gz 与前一篇文章一样,我们也把它解压到opt目录下,执行如下命令: tar -zxvf zookeeper-3.4.12.tar.gz -C /opt 2. 修改/etc/profile文件,增加如下的环境变量: export ZOOKEEPER_HOME= ......

[Spark]Spark2.1.0与Hadoop2.7.5的集群安装及配置

    工作快两个月了,已经大半年没有更新了,决定继续更新博客。续更的第一个系列将会是与目前工作相关Spark系列。第一篇就从Spark的安装与配置开始。 集群的准备 要搭建Spark集群环境,首先要准备集群。笔者这里使用了三台机器,都为debian8系统。 三台机的信息如下: 172.30.232.140 master 172.30.232.138 slave1 172.30.232.139 slave2 这个ip信息需要添加到三节机器的/etc/hosts中去。 三机器的应用规划如下: master  NameNode & Spark master & Spark woker slave1   DataNode & Spa ......
  1. 1 逆光 孙燕姿
  2. 2 你给我听好 陈奕迅
  3. 3 怎样 戴佩妮
  4. 4 有没有 薛之谦
  5. 5 一个人 韩红
  6. 6 我要快乐 张惠妹
  7. 7 我不难过 孙燕姿
  8. 8 外面的世界 莫文蔚
  9. 9 只剩一分钟 金玟岐
  10. 10 心火 姚贝娜
  11. 11 无底洞 蔡健雅
  12. 12 舍得 王呈章
  13. 13 秘密 蓝又时
  14. 14 学不会 林俊杰
  15. 15 词不达意 林忆莲
  16. 16 可以了 陈奕迅
  17. 17 天空 蔡依林
  18. 18 一个人的冬天 陈楚生
  19. 19 椿 沈以诚
  20. 20 走不出的回忆 任然
  21. 21 谢谢你再见 吉克隽逸
  22. 22 会过去的 梁静茹
  23. 23 青春住了谁 杨丞琳
  24. 24 解脱 李玖哲
  25. 25 梦话 A-Lin
  26. 26 刘惜君
  27. 27 那年 任然
  28. 28 爱过 戴佩妮
  29. 29 真实 张惠妹
  30. 30 失眠的黑夜 吉克隽逸
  31. 31 情话 余佳运
  32. 32 一叶知秋 陈楚生
  33. 33 仰望 杨丞琳
  34. 34 独角戏 许茹芸
  35. 35 保留 黄义达
  36. 36 瞬间 陈一玲
  37. 37 该忘了 郭采洁
  38. 38 远在眼前的你 王心凌
  39. 39 好好过 金池
  40. 40 爱情 万岁爺
  41. 41 木头的心 左颜
  42. 42 离场 李佳薇
  43. 43 没有人不比我快乐 Fine乐团
  44. 44 失落沙洲 徐佳莹
  45. 45 你在,不在 郭采洁
  46. 46 死结 李玖哲
  47. 47 淘汰 陈奕迅
  48. 48 落俗 李荣浩
  49. 49 其实 薛之谦
  50. 50 自我催眠 罗志祥
  51. 51 就这样 李荣浩
  52. 52 我害怕 薛之谦
  53. 53 歌路 刘瑞琦
  54. 54 飞走了 金海心
  55. 55 关键词 林俊杰
  56. 56 底细 杨宗纬
  57. 57 我以为 徐薇
  58. 58 坠落 蔡健雅
  59. 59 陌生人 蔡健雅
  60. 60 败将 陈势安
  61. 61 飘着 孙燕姿
  62. 62 妥协 蔡依林
  63. 63 岁月神偷 金玟岐
  64. 64 记念 萧敬腾
  65. 65 逞强 萧亚轩
  66. 66 需要人陪 王力宏
  67. 67 会痛的石头 萧敬腾
  68. 68 孤独是会上瘾的 吴克群
  69. 69 隐形纪念 蔡淳佳
  70. 70 停了的钟 萧煌奇
  71. 71 终于 张韶涵
  72. 72 懂得自己 杨丞琳
  73. 73 这一路走来 杨宗纬
  74. 74 过我的生活 萧煌奇