×

hadoop CDH hadoop集群

CDH安装hadoop集群搭建hadoop集群(二)

我的笔记 我的笔记 发表于2018-03-06 16:24:48 浏览3439 评论0

抢沙发发表评论

我们接着上一篇《前期准备环境使用CDH安装hadoop集群(一)》继续完成我们的hadoop安装

安装配置CDH

1、安装 Cloudera Manager Server&Agent

拷贝cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent节点

scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop002:/home/fuyadong/
scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop003:/home/fuyadong/
scp cloudera-manager-el6-cm5.4.3_x86_64.tar.gz hadoop004:/home/fuyadong/

在所以机器上创建cm(cloudera-manager)目录:

mkdir /opt/cloudera-manager

解压cm压缩包:

tar -zxvf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm(所有节点)

执行:

useradd --system --home=/opt/cloudera-manager/cm-5.4.3/run/cloudera-scm --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中

server_host(cm所在的机器,一般第一台的主机名或者ip地址)以及 server_port(7182)

4、配置 CM Server 的数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

将驱动包拷贝到目录下(注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错)在所有机器操作 :

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

CDH安装hadoop集群之50分钟搭建hadoop集群

5,准备cm安装程序所依赖的数据库

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h hadoop001 -uroot -pchenjian --scm-host hadoop001 scm scm scm

执行之后,查看数据库是否创建成功。

CDH安装hadoop集群之50分钟搭建hadoop集群

6、创建 Parcel 目录

1) Manager节点创建目录/opt/cloudera/parcel-repo,执行:

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2) 将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json)拷贝到该目录下。

3) Agent节点创建目录/opt/cloudera/parcels,执行:

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

7、启动 CM Manager&Agent 服务

执行:

Manager机器:

/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start

Agents机器:

/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start

8,cloudera-scm-server服务运行大概需要3分钟左右,运行之后,打开浏览器输入url地址:http://192.168.153.171:7180,用户名admin 密码admin

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群

测试hadoop环境

CDH安装hadoop集群之50分钟搭建hadoop集群

CDH安装hadoop集群之50分钟搭建hadoop集群


如果你的内存不够用:就增大内存!!!

如果中途安装失败,删了所有数据库,重新安装!!!

版权付亚东笔记博客所有,禁止转载!!付亚东Java笔记博客

我的笔记博客版权我的笔记博客版权