Ambari 自定义服务(Custom Service)
引言 Ambari 是一个不错的大数据集群管理平台。不过,有时修我们希望使用一些非 Ambari 支持的工具,管理起来便没那么方便了。 不过,Ambari 提供了一个自定义服务的方法,我们只需要把使用的工具做个简单封装就可以轻松的实现在 Ambari 上管理了。 本文我们以 Kafka Manager 为例,介绍如何制作一个自定义服务(Custom…
Hadoop依赖打包jar-with-dependencies的包冲突问题
前言 最近在写一个Java项目,需要访问HDFS并执行一些操作。为了部署方便,使用Maven的assembly插件打包成一个可执行包。 在本地用IDEA调试时,各个功能一切正常,但是当打包成jar包,丢到服务器上执行,却出问题了。 问题出现 将打包好的jar包放到服务器上执行,出现如下报错信息: org.apache.hadoop.fs.Unsup…
Spark Streaming添加自定义SparkUI页面,展示Kafka消费进度
前言 在进行Spark任务开发时,我们有时想自己定制一个Spark UI界面,比如,笔者在进行Spark Streaming处理Kafka数据时,想要直观的了解Kafka消费状况以确定是否有积压。通常情况下,需要借助其它工具(如Kafka Manager等)进行观察。 为了更方便的观察Kafka的积压情况,笔者查阅资料,发现Spark UI是可以定…
[Ambari] 使用Ambari2.7.4.0安装HDP3.1.4大数据集群
虚拟机环境准备 笔者这里使用了三台虚拟机用于安装大数据集群,系统是CentOS 7.5,三台虚拟机未接入互联网。配置机的安装配置过程这里就不多作解释了。 三台虚拟机配置: cpu: 各6个虚拟核 内存: 各8G 磁盘: 系统盘30G,未分配数据盘(调试任务用,无大批量数据存储需求) hostname ip ambari01 192.168.100.…
Maven混合编译scala和java语言,可以同时相互调用
最近项目遇到scala和java混合编译的问题,项目中同时有java调用scala和scala调用java,编译时出问题,网上找了好多教程,很多都不能同时相互调用,而且还不能使用通用的 mvn clean compile进行编译。 无意中发现了一个可以混合调用并且使用mvn clean compile编译的配置方法,只需在pom的build中添加如…
2019,希望你依旧能够真诚待我
2018的最后一个小时即将走到尽头,2019年即将到来。 2018这一年里,有高兴的事,难过的事,快乐的事,伤心的事。 为了迎接新的一年,也应朋友的提议,给博客换了一个主题,也有点不舍,毕竟前一个主题也是用心修改过的。 博客也迁移到了百度云的服务上,之前的腾讯学生服务器因毕业也不能用了,寄居在香港服务器上,又嫌速度大慢。 细数2018年发生的事情中…
为WordPress添加MarkDown语法支持
最近挺喜欢MarkDown语法,发再WordPress原生不支持MarkDown语法。 WordPress从来就不缺插件,于是开始找插件,一个一个试试,最终决定用WP Editor.md这个插件. 插件说明 设置页面简单展示 编辑界面 使用MarkDown的优点 让你专注于文字内容,而不是排版和样式问题,而且样式非常美观 大部分Markdown工具…
[Spark] 从字符串创建StructType
    在使用Spark开发的过程中,DataFrame是经常使用的一个数据类型,它比RDD有了更加高级的API,更高的执行效率。     然而,某些情况下,经需要将一个RDD转换为DataFrame,这一步经常需要生成一个StructType来生成DataFrame的schema。直接生成StructTyp…
[Spark] Scala集合类详解
    Spark常用Scala语言进行开发,Spark中的RDD处理过程中,经常会与Scala集合进行互相转换。 首先,盗一张图来说明Scala集合类的继承关系 Scala集合类的继承关系 由上图可知,Scala中集合主要分为三大类: 1. Seq,是一组有序的元素。  2. Set,是一组没有重复元素的集合。  3. Map,是一组k-v对。 …
[Spark]Zookeeper3.4.12和Kafka1.0.0的安装及配置
    Spark程序的开发,难免会迁涉到Kafka的有关内容,而Kafka的运行又依赖于Zookeeper。 Zookeeper的安装与部署     官网下载的Kafka程序包里面已经包含的一个Zookeeper程序,在这些文章中,我们没有使用它,而是使用了独立的Zookeeper程序。 先去官网下载Zoo…