[Spark] 从字符串创建StructType

    在使用Spark开发的过程中,DataFrame是经常使用的一个数据类型,它比RDD有了更加高级的API,更高的执行效率。     然而,某些情况下,经需要将一个RDD转换为DataFrame,这一步经常需要生成一个StructType来生成DataFrame的schema。直接生成StructType是一个比较麻烦的过程。由于笔者经常使用,便写的一个生成StructType的函数,通过传入的个字段和类型的组合字符串,直接生成StructType,实际使用中确实方便了不少。于是将这个函数记录下来。 函数如下:   def buildStructType(fields:&nb ......

[Spark] Scala集合类详解

    Spark常用Scala语言进行开发,Spark中的RDD处理过程中,经常会与Scala集合进行互相转换。 首先,盗一张图来说明Scala集合类的继承关系 Scala集合类的继承关系 由上图可知,Scala中集合主要分为三大类: 1. Seq,是一组有序的元素。  2. Set,是一组没有重复元素的集合。  3. Map,是一组k-v对。 说明:Scala中的集合类都有两种形式,即可变集合类型的不可变集合类型。可变集合类型即集合中的元素内容、个数是可以修改,而不可变集合类型即集合一旦定义,就不可以进行修改。 Set集合 Scala中的Set集合和 ......

[Spark]Zookeeper3.4.12和Kafka1.0.0的安装及配置

    Spark程序的开发,难免会迁涉到Kafka的有关内容,而Kafka的运行又依赖于Zookeeper。 Zookeeper的安装与部署     官网下载的Kafka程序包里面已经包含的一个Zookeeper程序,在这些文章中,我们没有使用它,而是使用了独立的Zookeeper程序。 先去官网下载Zookeeper程序:zookeeper-3.4.12.tar.gz 与前一篇文章一样,我们也把它解压到opt目录下,执行如下命令: tar -zxvf zookeeper-3.4.12.tar.gz -C /opt 2. 修改/etc/profile文件,增加如下的环境变量: export ZOOKEEPER_HOME= ......

[Spark]Spark2.1.0与Hadoop2.7.5的集群安装及配置

    工作快两个月了,已经大半年没有更新了,决定继续更新博客。续更的第一个系列将会是与目前工作相关Spark系列。第一篇就从Spark的安装与配置开始。 集群的准备 要搭建Spark集群环境,首先要准备集群。笔者这里使用了三台机器,都为debian8系统。 三台机的信息如下: 172.30.232.140 master 172.30.232.138 slave1 172.30.232.139 slave2 这个ip信息需要添加到三节机器的/etc/hosts中去。 三机器的应用规划如下: master  NameNode & Spark master & Spark woker slave1   DataNode & Spa ......

利用forsaken-mail搭建一个一次性邮件系统

    很多时候,我们想使用互联网某些服务的时候,都会要求邮箱注册,而我们都知道,越多地方知道我们的邮箱地址,就越容易收到垃圾邮件,这个时候,我们就可以利用一次邮件系统来帮助我们。     forsaken-mail项目是一个开源的项目,基于nodejs完成的项目,项目地址为:forsaken-mail。     为了能使用此项目,我们需要一台VPS,一个域名。     首先,为服务器安装nodejs和npm支持     wget https://nodejs.org/dist/v8.9.4/node-v8.9.4-linux-x64.tar.xz  ......

基于JavaFX写的一个网络嗅探器

    前几天在github上突然收到一个pull request,测试之后,决定merge。今天有时间,对这个项目进行简单介绍。     做这个项目的原因,是因为学校的网络安全课程设计,大致要求如下: 实现一个功能比较简单的、具有图形界面的Sniffer,主线程响应用户界面操作,工作线程完成抓包等工作; 够解析出IP层和传输层的协议头,能够过滤TCP、UDP等数据包; 能够输出文本方式传送的数据包的内容; 能够进行简单的流量统计。 笔者花了几天时间完成上述功能。 开发环境: 系统:Win10 开发工具:IDEA 附加库:winpacp ......

开发了一个插件,给网站添加音乐播放器

    一直想给博客添加一个音乐播放器,最近也闲来无事,就想,干脆写一个插件吧。     这个插件是引用了网易云音乐的外链播放器,直接使用网易云的播放器。不自己另写播放器的原因有许多,比如,自己写播放器,还需要音乐外链,如果要更换音乐,还需要自己更新音乐源。     目前只是初步完成,功能简单,可以播放单首音乐,在左下角,可隐藏,目前还不支持更换音乐。     插件的最终目标是同步网易歌单,支持歌曲列表,更新歌单自动更新播放器内容。     后期可能添加歌词显示 ......

实用小工具之GIT一键开关代理脚本

    github在大陆偶尔会出现不稳定的的状况,此时通过科学上网方法,能有效解决这种不稳定状况。git clone命令就更不用说了,笔者通常速度都为个位数,这个时候,走代理就是个非常行之有效的解决方法。     这里,提供一个脚本,方便快速开关代理。 #!/bin/bash case $1 in on) git config --global http.proxy socks5://127.0.0.1:1080  git config --global https.proxy socks5://127.0.0.1:1080 ;; off) git config --global&nbs ......

在OpenVZ平台的服务器上安装魔改版的BBR

    BBR算法刚发布的时候,看网上的测评,都说这个拥塞算法比现有的拥塞算法带宽利用率高。     OpenVZ上使用BBR有很多种版本,例如UML、LKL。这里介绍的是LKL的rinetd版本的。     项目地址:https://github.com/mixool/rinetd 安装方法: 1、下载二进制执行文件: wget --no-check-certificate https://raw.githubusercontent.com/mixool/rinetd/master/rinetd_bbr_powered  -O ./rinetd 2、添加可执行权限 chmod +x ./rinetd 3、设置配置文件: echo ' ......

好久没有更新了

    终于过了秋招时期,整天想着找工作的心也可以放一放了。

    刚签约完的那一会儿,真的感觉心里有一种说不出的感觉,不是喜,也不是悲。总觉着吧,学习了十几年,最终得到的就是这份工作,似乎不些许不愿,些许不甘,些许失落。

    不过,过了有这么一段时间了,心里也就平静了。工作就算是定了,可以把这些事情都可以放一边了。

    好久没有更新博客了,突然想更一篇,却不知道更些什么。这一段时间忙于找工作,也没心情更新博客。现在也忙完了,可以抽空更更博客了。

  1. 1 逆光 孙燕姿
  2. 2 你给我听好 陈奕迅
  3. 3 怎样 戴佩妮
  4. 4 有没有 薛之谦
  5. 5 一个人 韩红
  6. 6 我要快乐 张惠妹
  7. 7 我不难过 孙燕姿
  8. 8 外面的世界 莫文蔚
  9. 9 只剩一分钟 金玟岐
  10. 10 心火 姚贝娜
  11. 11 无底洞 蔡健雅
  12. 12 舍得 王呈章
  13. 13 秘密 蓝又时
  14. 14 学不会 林俊杰
  15. 15 词不达意 林忆莲
  16. 16 可以了 陈奕迅
  17. 17 天空 蔡依林
  18. 18 一个人的冬天 陈楚生
  19. 19 椿 沈以诚
  20. 20 走不出的回忆 任然
  21. 21 谢谢你再见 吉克隽逸
  22. 22 会过去的 梁静茹
  23. 23 青春住了谁 杨丞琳
  24. 24 解脱 李玖哲
  25. 25 梦话 A-Lin
  26. 26 刘惜君
  27. 27 那年 任然
  28. 28 爱过 戴佩妮
  29. 29 真实 张惠妹
  30. 30 失眠的黑夜 吉克隽逸
  31. 31 情话 余佳运
  32. 32 一叶知秋 陈楚生
  33. 33 仰望 杨丞琳
  34. 34 独角戏 许茹芸
  35. 35 保留 黄义达
  36. 36 瞬间 陈一玲
  37. 37 该忘了 郭采洁
  38. 38 远在眼前的你 王心凌
  39. 39 好好过 金池
  40. 40 爱情 万岁爺
  41. 41 木头的心 左颜
  42. 42 离场 李佳薇
  43. 43 没有人不比我快乐 Fine乐团
  44. 44 失落沙洲 徐佳莹
  45. 45 你在,不在 郭采洁
  46. 46 死结 李玖哲
  47. 47 淘汰 陈奕迅
  48. 48 落俗 李荣浩
  49. 49 其实 薛之谦
  50. 50 自我催眠 罗志祥
  51. 51 就这样 李荣浩
  52. 52 我害怕 薛之谦
  53. 53 歌路 刘瑞琦
  54. 54 飞走了 金海心
  55. 55 关键词 林俊杰
  56. 56 底细 杨宗纬
  57. 57 我以为 徐薇
  58. 58 坠落 蔡健雅
  59. 59 陌生人 蔡健雅
  60. 60 败将 陈势安
  61. 61 飘着 孙燕姿
  62. 62 妥协 蔡依林
  63. 63 岁月神偷 金玟岐
  64. 64 记念 萧敬腾
  65. 65 逞强 萧亚轩
  66. 66 需要人陪 王力宏
  67. 67 会痛的石头 萧敬腾
  68. 68 孤独是会上瘾的 吴克群
  69. 69 隐形纪念 蔡淳佳
  70. 70 停了的钟 萧煌奇
  71. 71 终于 张韶涵
  72. 72 懂得自己 杨丞琳
  73. 73 这一路走来 杨宗纬
  74. 74 过我的生活 萧煌奇