1、Hadoop运行环境搭建
(1)、虚拟机网络模式设置为NAT
最后,重新启动系统。
[root@hadoop ~]# sync [root@hadoop ~]# reboot
(2)、克隆虚拟机
1)克隆虚拟机
2)启动虚拟机
(3)、修改为静态ip
1)在终端命令窗口中输入
[root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面,删除eth0该行;将eth1修改为eth0,同时复制物理ip地址
2)修改IP地址
[root@hadoop101 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有5项:
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
ONBOOT=yes
BOOTPROTO=static
DNS1=192.168.1.2
(2)修改后
:wq 保存退出
3)执行service network restart
4)如果报错,reboot,重启虚拟机
(4)、修改主机名
1)修改linux的hosts文件
(1)进入Linux系统查看本机的主机名。通过hostname命令查看
[root@hadoop ~]# hostname
hadoop100
(2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件
#vi /etc/sysconfig/network
文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop101
注意:主机名称不要有“_”下划线
(3)打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
(4)保存退出。
(5)打开/etc/hosts
vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
(6)并重启设备,重启后,查看主机名,已经修改成功
2)修改window7的hosts文件
(1)进入C:\Windows\System32\drivers\etc路径
(2)打开hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
(5)、关闭防火墙
1)查看防火墙开机启动状态
chkconfig iptables --list
2)关闭防火墙
chkconfig iptables off
(6)、在opt目录下创建文件
1)创建fyd用户
在root用户里面执行如下操作
[root@hadoop102 opt]# adduser fyd [root@hadoop102 opt]# passwd fyd 更改用户 test 的密码 。 新的 密码: 无效的密码: 它没有包含足够的不同字符 无效的密码: 是回文 重新输入新的 密码: passwd: 所有的身份验证令牌已经成功更新。 |
2)设置fyd用户具有root权限
修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
fyd ALL=(ALL) ALL
修改完毕,现在可以用fyd帐号登录,然后用命令 su - ,即可获得root权限进行操作。
3)在/opt目录下创建文件夹
(1)在root用户下创建module、software文件夹
mkdir module
mkdir software
mkdir tools
(2)修改module、software文件夹的所有者
[root@hadoop102 opt]# chown atguigu module
[root@hadoop102 opt]# chown atguigu software
[root@hadoop102 opt]# ls -al
总用量 24
drwxr-xr-x. 6 root root 4096 4月 24 09:07 .
dr-xr-xr-x. 23 root root 4096 4月 24 08:52 ..
drwxr-xr-x. 4 atguigu root 4096 4月 23 16:26 module
drwxr-xr-x. 2 root root 4096 3月 26 2015 rh
drwxr-xr-x. 2 fyd root 4096 4月 23 16:25 software
(7)、安装jdk
1)卸载现有jdk
(1)查询是否安装java软件:
rpm –qa|grep java
(2)如果安装的版本低于1.7,卸载该jdk:
rpm –e 软件包
2)用filezilla工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
3)在linux系统下的opt目录中查看软件包是否导入成功。
4)解压jdk到/opt/module目录下
tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/
5)配置jdk环境变量
(1)先获取jdk路径:
[root@hadoop101jdk1.7.0_67]# pwd /opt/module/jdk1.7.0_79
(2)打开/etc/profile文件:
[root@hadoop101 jdk1.7.0_79]# vi /etc/profile ##在profie文件末尾添加jdk路径: ##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出::wq
(4)让修改后的文件生效:
[root@hadoop101 jdk1.7.0_79]# source /etc/profile
(5)重启(如果java –version可以用就不用重启):
[root@hadoop101 jdk1.7.0_79]# sync [root@hadoop101 jdk1.7.0_79]# reboot
6)测试jdk安装成功
[root@hadoop101 jdk1.7.0_79]# java -version java version "1.7.0_79"
(8)、安装Hadoop
1)进入到Hadoop安装包路径下:
[root@hadoop101 ~]# cd /opt/software/
2)解压安装文件到/opt/module下面
[root@hadoop software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3)查看是否解压成功
[root@hadoop software]# ls /opt/module/ hadoop-2.7.2
4)配置hadoop中的hadoop-env.sh
(1)Linux系统中获取jdk的安装路径
[root@hadoop101 jdk1.7.0_79]# echo $JAVA_HOME /opt/module/jdk1.7.0_79
(2)修改hadoop-env.sh文件中JAVA_HOME 路径
export JAVA_HOME=/opt/module/jdk1.7.0_79
5)将hadoop添加到环境变量
(1)获取hadoop安装路径:
[root@ hadoop101 hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2
(2)打开/etc/profile文件:
root@ hadoop101 hadoop-2.7.2]# vi /etc/profile 在profie文件末尾添加jdk路径:(shitf+g) ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出::wq
(4)让修改后的文件生效:
[root@hadoop101 jdk1.7.0_79]# source /etc/profile
(5)重启(如果hadoop命令不能用再重启):
[root@ hadoop101 hadoop-2.7.2]# sync [root@ hadoop101 hadoop-2.7.2]# reboot