docker搭建hadoop集群 个人总结
创始人
2024-04-10 12:44:28
0

1.搭建过程

https://dblab.xmu.edu.cn/blog/1233/
https://www.cnblogs.com/rmxd/p/12051866.html#_label4
按照这两篇文章即可,总结来说 pull ubuntu,进入系统,配置java、hadoop,保存镜像。然后根据这个镜像启动三个容器master,slave1,slave2,在master上配置相关信息。

2.注意的踩坑点(与两篇文章有出入):

mapred-site.xml 如下配置

 mapreduce.framework.nameyarn
yarn.app.mapreduce.am.envHADOOP_MAPRED_HOME=/usr/local/hadoop

mapreduce.map.envHADOOP_MAPRED_HOME=/usr/local/hadoop

mapreduce.reduce.envHADOOP_MAPRED_HOME=/usr/local/hadoop


start-dfs.sh stop-dfs.sh 首部加入如下属性

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs  #hadoop3.0后使用该名称
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh stop-yarn.sh首部加入如下属性

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

容器重启后,配置的hosts文件中的修改会丢失

原因见链接: https://blog.csdn.net/Lekaor/article/details/127442047,需要重新配置一遍或者在网上找方法去固定ip。

运行程序

把程序在本地打成jar包,传到容器内(ubuntu)(docker cp 命令)。把数据上传到容器内,再上传到 hdfs 上。
hadoop jar 执行程序

如何在浏览器访问

使用 docker 进行端口映射 8808 和 50070,即可在启动集群后在本地浏览器访问

相关内容

热门资讯

喜欢穿一身黑的男生性格(喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识,其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思(思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思,以及思春和发春是什么意思对应的知识点,希望对各位有所帮助,...
网络用语zl是什么意思(zl是... 今天给各位分享网络用语zl是什么意思的知识,其中也会对zl是啥意思是什么网络用语进行解释,如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?,以及为什么酷狗下载的歌曲不是...
家里可以做假山养金鱼吗(假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识,其中也会对假山能放鱼缸里吗进行解释,如果能碰巧解...
华为下载未安装的文件去哪找(华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识,其中也会对华为下载未安装的文件去哪找到进行解...
四分五裂是什么生肖什么动物(四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物,以及四分五裂打一生肖是什么对应的知识点,希...
怎么往应用助手里添加应用(应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识,其中也会对应用助手怎么添加微信进行解释,如果能...
客厅放八骏马摆件可以吗(家里摆... 今天给各位分享客厅放八骏马摆件可以吗的知识,其中也会对家里摆八骏马摆件好吗进行解释,如果能碰巧解决你...
苏州离哪个飞机场近(苏州离哪个... 本篇文章极速百科小编给大家谈谈苏州离哪个飞机场近,以及苏州离哪个飞机场近点对应的知识点,希望对各位有...