Hadoop环境搭建过程中遇到的问题及解决方法
1.启动hadoop之前,ssh免密登录slave主机正常,使用命令start-all.sh
启动hadoop时,需要输入slave主机的密码,说明ssh文件权限有问题,需要执行以下操作
1)进入.ssh目录下查看是否有公钥私钥文件authorized_keys、id_rsa、id_rsa.pub
2)如果没有公钥私钥文件,则执行ssh-keygen -t
rsa生成秘钥(master主机和slave主机都需要执行)
3)公钥私钥文件生成完成后,执行cat id_rsa.pub >> authorized_keys
,将生成的公钥添加到认证文件中
4)将slave服务器公钥写入master服务器authorized_keys
文件中
[root@master ~]# ssh-copy-id -i slave01 [root@master ~]# ssh-copy-id -i slave02
5)登录slave服务器(ssh slave01),看是否需要输入密码,如果仍然需要输入密码,说明uthorized_keys文件权限有问题,则执行下一步
6)使用ssh -vvv slave01调试命令,进入到slave01调试界面
7)设置authorized_keys文件权限为600,chmod 600 ~/.ssh/authorized_keys
8)同理,slave01也要同样进行设置,在master主机的终端中继续执行步骤6和步骤7中的命令
9)设置完成后在master主机中,登录slave01和slave02,如果不需要输入密码,则配置完成
10)停止hadoop的所有进程s-all.sh
11)重新启动hadoopstart-all.sh
2.启动hadoop之后,使用jps查看,master服务器中没有namenode服务,解决方案如下
1)停止hadoop的所有进程s-all.sh
2)格式化namenodehdfs namenode -format
3)重新启动hadoopstart-all.sh
4)输入jps查看,可以看到namenode进程
3.启动hadoop之后,使用jps查看,slave服务器中没有datanode服务,解决方案如下
1)停止hadoop的所有进程s-all.sh
2)进入hadoop安装目录下/software/hadoop中删除hadoopdate文件夹
3)进入hadoop安装目录下/software/hadoop中的hadoop-2.7.3文件夹中删除logs文件夹
4)在slave01主机和slave02主机的终端执行步骤2和步骤3,确保步骤2和步骤3的文件夹都删除干净
5)格式化namenodehdfs namenode -format
6)重新启动hadoopstart-all.sh
7)在slave01主机和slave02主机的终端输入jps查看,可以看到datanode进程
以上所述是长沙网络推广给大家介绍的Hadoop环境搭建过程中遇到的问题及解决方法 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,长沙网络推广会及时回复大家的。在此也非常感谢大家对狼蚁SEO网站的支持!
如果你觉得本文对你有帮助,欢迎网络推广网站推广转载,烦请注明出处,谢谢!
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程