专业编程教程与实战项目分享平台

网站首页 > 技术文章 正文

大数据环境搭建之ambari安装指南 ambari sqoop

ins518 2024-11-05 11:25:28 技术文章 13 ℃ 0 评论

1.修改服务器hostname。centos7 修改服务器hostname方式:hostnamectl set-hostname name,通常习惯使用域名的方式命名服务器hostname。

2.配置ssh免密码登陆。在ambari-server服务器上生成密钥,将public key 拷贝到各子节点的authorized_keys中。此时需要注意主服务器和节点服务器的用户,通常在root用户下安装,可以省去一些麻烦。也可以创建ambari用户以及用户组,此时ssh需要在ambari用户下配置。

3.安装jdk。其实可以不用自己安装jdk,ambari会提示安装jdk。自己安装jdk可以方便升级,以及开发会用到。下载oracle 的jdk,解压到/usr/local/java/文件中。然后在/usr/local/java/中创建一个软链到该版本的java路径,主要是方便java版本的更新,以后每次只需要修改软链即可。

配置环境变量。建议在/etc/profile.d 中创建java.sh。

添加

export JAVA_HOME=/usr/local/java/current

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

4.安装ambari。我选择的方式是Public Repositories。会比较慢,一般需要搭建自己的repo服务器,会抽出一章专门记录hdp repo环境的搭建。

这里采用的是Public Repositories。

cd /etc/yum.repos.d/

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/ambari.repo

yum install ambari-server

5.配置ambari server

ambari-server setup

通常选定Postgres,会比较简单,不用自己配置。采用mysql, 需要自己到数据库中建库,然后用ambari的脚本创建表。

6.启动ambari

ambari-server start

然后在浏览器中访问:http:localhost:8080

用户名密码:admin admin

7.在创建集群之前,建议先做一次集群间时间同步。通常是选定主服务器做时钟服务器,其他服务器时间同步主服务器。centos 默认带有Chrony。

8.之后搭建数据处理集群,如hadoop, storm, spark, hive 等,正真开始大数据之路。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表