1. 环境
(1)硬件:Intel i5 3450,8G内存
(2)软件:
win7操作系统
虚拟机 VMware 9
虚拟机操作系统 :64位Ubuntu 12.04.01
64位JDK,jdk-6u37-linux-x64.bin (安装过程参考这里)
(3)服务器部署
(待补充)
2. 设置各节点
(待补充)
3. 配置ssh
(1) Ubuntu中已经默认安装了ssh客户端,各个Ubuntu中都需要安装ssh服务,安装过程参考这里
(2) 创建hadoop用户(安装hadoop的几台服务器或者说Ubuntu虚拟机都需要创建同样的hadoop用户)
chensl@namenode:~$ sudo addgroup hadoop [sudo] password for chensl: Adding group `hadoop' (GID 1001) ... Done. chensl@namenode:~$ sudo adduser --ingroup hadoop hadoop Adding user `hadoop' ... Adding new user `hadoop' (1001) with group `hadoop' ... Creating home directory `/home/hadoop' ... Copying files from `/etc/skel' ... Enter new UNIX password:
输入密码 : hadoop
passwd: password updated successfully Changing the user information for hadoop Enter the new value, or press ENTER for the default Full Name []: hadoop Room Number []: Work Phone []: Home Phone []: Other []: Is the information correct? [Y/n] Y
输入Y 创建成功
当新添加的用户hadoop使用sudo命令时,会提示如下内容:
hadoop is not in the sudoers file. This incident will be reported.
表明hadoop用户还无法运行sudo的命令 ,所以需要做下的工作:
(注:新装的ubuntu还未设定root密码,需要先使用原来账户执行sudo passwd root 命令来设定root的密码后,才可以su到root用户):
执行命令:
su - (如果是用“su ”而不是 “su - ” 切换成root的话,可能无法编辑sudoers文件)
输入密码登录成功,执行
ls -l /etc/sudoers
显示:
-r--r----- 1 root root 723 Jan 31 2012 /etc/sudoers
执行下面代码修改文件属性可写:
chmod u+w /etc/sudoers (修改文件属性可写)
此时可查看到:
root@NameNode01:~# ls -l /etc/sudoers (查看属性) -rw-r----- 1 root root 723 Jan 31 2012 /etc/sudoers
继续执行下面的操作:
gedit /etc/sudoers (编辑文件)
在 root ALL=(ALL:ALL) ALL 后面添加
hadoop ALL=(ALL) ALL
chmod u-w /etc/sudoers (修改文件为原来不可写属性) exit (退出root管理员身份)
(3) 建立ssh key:
su - hadoop (切换到hadoop用户) ssh-keygen -t rsa -P "" (这个命令将为Ubuntu系统上的hadoop用户产生密钥对id_rsa 和id_rsa.pub)
输出结果:
chensl@NameNode01:~$ su - hadoop
Password:
hadoop@NameNode01:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
ab:88:59:08:33:3e:c6:59:17:a6:58:46:61:a8:60:65 hadoop@NameNode01
The key's randomart image is:
+--[ RSA 2048]----+
| oE. |
|.o+ |
|+ o o |
|. + o . |
|+. o . S |
|o+o.. . |
| *. . . |
|. .+ . . |
| o . . |
+-----------------+
(4)建立几台Ubuntu之间的ssh key无密码登录认证
在其他几台Ubuntu中hadoop主目录下 新建 .ssh目录,即 /home/hadoop/.ssh 的目录,(如果尚未有hadoop用户,需参照前面的步骤创建hadoop用户)
hadoop@DataNode01:~$ pwd /home/hadoop (在hadoop的主目录下) hadoop@DataNode01:~$ mkdir .ssh (在DataNode01上执行) hadoop@NN02:~$ mkdir .ssh (在NN02上执行) hadoop@DN02:~$ mkdir .ssh (在DN02上执行)
将NameNode01上的 id_rsa.pub 传到另外三台Ubuntu的对应目录下,以DataNode01为例:
scp /home/hadoop/.ssh/id_rsa.pub DataNode01:/home/hadoop/.ssh
输出如下:
hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa.pub DataNode01:/home/hadoop/.ssh
The authenticity of host 'datanode01 (192.168.0.112)' can't be established.
ECDSA key fingerprint is ad:c8:15:c2:d5:af:24:aa:a2:be:34:9f:51:9b:d9:23.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'datanode01,192.168.0.112' (ECDSA) to the list of known hosts.
hadoop@datanode01's password:
id_rsa.pub 100% 399 0.4KB/s 00:00
登录 DataNode01 查看 /home/hadoop/.ssh目录下:
hadoop@DataNode01:~$ ls -l .ssh total 4 -rw-r--r-- 1 hadoop hadoop 399 Feb 21 10:56 id_rsa.pub (显示结果)
同样,在NameNode01上执行命令
scp /home/hadoop/.ssh/id_rsa.pub DN02:/home/hadoop/.ssh scp /home/hadoop/.ssh/id_rsa.pub NN02:/home/hadoop/.ssh
也把id_rsa.pub放置到对应目录下。
然后分别登录DataName01, DN02, NN02,将:/home/hadoop/.ssh/ 目录下的 id_rsa.pub 重命名成“authorized_keys” 执行下面的命令:
hadoop@DataNode01:~$ mv /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys
(DataNode01上执行)
hadoop@NN02:~$ mv /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys
(NN02上执行)
hadoop@DN02:~$ mv /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys
(DN02上执行)
此时可以在NameNode01上ssh无密码登录其余三台机器了,可以执行下面的命令检验:
hadoop@NameNode01:~$ ssh DataNode01 (执行此命令ssh到DataNode01,显示结果如下:) The authenticity of host 'DataNode01 (192.168.0.112)' can't be established. ECDSA key fingerprint is 85:f7:86:6f:3c:cc:30:69:fc:8a:94:87:32:e7:e3:51. Are you sure you want to continue connecting (yes/no)? yes (第一次ssh登录需要yes) Warning: Permanently added 'DataNode01' (ECDSA) to the list of known hosts. Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-29-generic x86_64) * Documentation: https://help.ubuntu.com/ 338 packages can be updated. 104 updates are security updates. Last login: Thu Feb 21 12:30:31 2013 from namenode01 hadoop@DataNode01:~$ (此时已经由namenode01登录到DataNode01,exit命令退出)
NameNode01通过ssh登录其他几台已经不需要密码了,通过下面操作,ssh登录自身也不需要密码。
hadoop@NameNode01:~$ cp /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys (复制) hadoop@NameNode01:~$ ssh localhost (ssh登录NameNode01本地)
此时NameNode01可以ssh登录任意一台Ubuntu了,另外三台还不能登录NameNode01,下面需要做的是将NameNode01里面生成的id_rsa 放置到另外三台Ubuntu的同等目录下
hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa DataNode01:/home/hadoop/.ssh (执行命令结果如下) id_rsa 100% 1679 1.6KB/s 00:00 hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa NN02:/home/hadoop/.ssh (执行命令结果如下) id_rsa 100% 1679 1.6KB/s 00:00 hadoop@NameNode01:~$ scp /home/hadoop/.ssh/id_rsa DN02:/home/hadoop/.ssh (执行命令结果如下) id_rsa 100% 1679 1.6KB/s 00:00 hadoop@NameNode01:~$
此时四台虚拟机Ubuntu之间,任意两台之间可以ssh无密码登录了,配置ssh完成。
相关推荐
ubuntu16.04 安装Hadoop大数据平台CDH 5.14.1,通过虚拟机VMware安装Ubuntu之后,安装Hadoop大数据平台,使用CDH5.14.1
虚拟机安装ubuntu和hadoop.docx
虚拟机下载与创建 Ubuntu安装 Java环境配置 Hadoop文件配置安装
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
文档为本人亲自编写,由于能力有限,如发现错误,欢迎批评指正。同时,欢迎有安装过程中有问题的小伙伴们一起交流学习。
2.安装前有关映像文件的下载,Hadoop一般采用Ubuntu平台,简介易操作。 3.安装过程中有关网络,ipv4的统一配置调试。这个很重要,牵扯到你后面的有关远程链接操作的IP配对是否成功,apt更新等等。 4.最重要的就是...
小白搭建hadoop完全分布式环境笔记,步骤详细,原创
2. 在虚拟机上安装ubuntu11.10 3. 为ubuntu11.10安装vmware tool 4. 安装JAVA6 5. 在ubuntu中安装ssh 6. 设置ssh免密码登陆 7. 安装hadoop 8. 格式化分布式文件系统 9. 启动hadoop进程 10. 检测安装情况
该文档可以帮助您完美地搭建hadoop平台的单机模式
文档中使用 Ubuntu Server 12.04 x64 + JDK 1.7.0 u5 + Hadoop 0.20.2 及 5 台虚拟机做为演示测试环境。希望能对大家带来帮助。本文档适合初学者,指引初学者或初次接触 Hadoop 的人成功安装 Hadoop ,使用代码执行...
东西完整,自己一步一步实现记录的,可以行的通,另外好友个别软件的安装程序
在宿主机上创建了两台VM的虚拟机,宿主机系统为XP,两台虚拟机系统为Ubuntu,进行了Hadoop的集群配置。亲自做的实验。
自己这一个礼拜搭建成功后,重新截图总结,写出一份很详细的安装Hadoop 集群的文档,希望可以帮助到有需要的朋友,共同进步!
利用VMWare虚拟机建立3台ubuntu虚拟系统,在此基础上搭建的hadoop完全分布式环境,本人亲测可行
。。。
使用vmware复制了三个ubuntu18.04虚拟机系统,模拟多台服务器,安装配置完全分布式hadoop。 想修改成免费的,不会修改。有问题可以留言一起交流
hadoop在虚拟机中的配置,ubuntu+hadoop1.1.2
。。。