xml地图|网站地图|网站标签 [设为首页] [加入收藏]

安装与配置大数据软件,04下伪分布式环境搭建之

来源:http://www.ccidsi.com 作者:集成经验 人气:107 发布时间:2019-12-17
摘要:Ubuntu16.04下伪遍及式遭受搭建之hadoop、jdk、Hbase、phoenix的装置与配置,hadoophbase 风度翩翩、策动干活 安装包链接: 密码: i6nc 条件筹划 修改hostname: $ sudo vi /etc/hostname why 修改IP 地址:

Ubuntu16.04下伪遍及式遭受搭建之hadoop、jdk、Hbase、phoenix的装置与配置,hadoophbase

风度翩翩、策动干活

安装包链接: 密码: i6nc

条件筹划

修改hostname:

$ sudo vi /etc/hostname

why

修改IP 地址:

$ sudo vi /etc/network/interfaces

auto eth0

iface eth0 inet static

address 192.16.13.11

netmask 255.255.255.0

gateway 192.16.13.254

重启互连网推销员效:

$ sudo ifdown eth0 && sudo ifup eth0

改善ip 与主机名的应和关系:

$ sudo vi /etc/hosts

192.16.13.11 why

 

1.1创建hadoop用户

 $ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户,并使用/bin/bash作为shell

   $ sudo passwd hadoop                   #为hadoop顾客安装密码,输入三遍

   $ sudo adduser hadoop sudo             #为hadoop客户扩大管理员权限,方便陈设

   $ su - hadoop                          #将这几天顾客切换来hadoop客商

   $ sudo apt-get update                  #履新hadoop客商的apt,方便后续软件设置

1.2设置SSH,并安插SSH无密码登录

$ sudo apt-get install openssh-server   #ubuntu暗许安装了SSH client,此处安装SSH server

$ ssh-keygen -t rsa

$ sudo localhost                        #登录SSH,第叁次登录输入yes

$ exit                                  #脱离登陆的ssh localhost

$ cat ./id_rsa.pub >> ./authorized_keys #投入授权

 

$ ssh localhost                         #不要密码登录,可观望如下分界面

 图片 1

 

二、安装jdk

$ sudo tar zxvf jdk-8u92-linux-x64.tar.gz  -C /usr/lib     #/ 解压到/usr/lib/jvm目录下

$ cd /usr/lib/jvm                                 #进去该目录

$ mv  jdk1.8.0_92 java                         #重命名称为java

$ vi ~/.bashrc                                 #给JDK配置情况变量

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

$ source ~/.bashrc                       #使新配置的情况变量生效

$ java -version                          #检查测量检验是不是安装成功,查看java版本

 

安装hadoop

$ sudo tar -zxvf  hadoop-2.6.2.tar.gz -C /usr/local    #解压到/usr/local目录下

$ cd /usr/local

$ sudo mv  hadoop-2.6.2    hadoop                      #重命名叫hadoop

$ sudo chown -R hadoop ./hadoop                        #修正文件权限

$ vi ~/.bashrc  

export HADOOP_HOME=/usr/local/hadoop

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

$ source ~/.bashrc                       #使新布置的景况变量生效

Hadoop 能够在单节点上以伪分布式的方法运营,Hadoop 进程以分其他 Java 进度来运维,节点既作为 NameNode 也视作 DataNode,同期,读取的是 HDFS 中的文件。Hadoop 的布置文件坐落于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式须求改良2个构造文件 core-site.xml 和 hdfs-site.xml 。Hadoop的计划文件是 xml 格式,每种配置以宣称 property 的 name 和 value 的章程来达成。

先是将jdk的路线添(export JAVA_HOME=/usr/lib/jvm/java 
)加到hadoop-env.sh文件 

接下去校正core-site.xml文件:

<configuration>

        <property>

             <name>hadoop.tmp.dir</name>

             <value>file:/usr/local/hadoop/tmp</value>

             <description>Abase for other temporary directories.</description>

        </property>

        <property>

             <name>fs.defaultFS</name>

             <value>hdfs://localhost:9000</value>

        </property>

</configuration>

 

接下去纠正配置文件 hdfs-site.xml

<configuration>

        <property>

             <name>dfs.replication</name>

             <value>1</value>

        </property>

        <property>

             <name>dfs.namenode.name.dir</name>

             <value>file:/usr/local/hadoop/tmp/dfs/name</value>

        </property>

        <property>

             <name>dfs.datanode.data.dir</name>

             <value>file:/usr/local/hadoop/tmp/dfs/data</value>

        </property>

</configuration>

改革 slaves ,加多节点名 why

Hadoop 的运营情势是由安顿文件决定的(运维 Hadoop 时会读取配置文件),因而只要急需从伪布满式形式切换回非布满式格局,须求删除 core-site.xml 中的配置项。其余,伪布满式就算只需求安插 fs.defaultFS 和 dfs.replication 就能够运维(可参看官方教程),不过若未有布署hadoop.tmp.dir 参数,则暗许使用的权且目录为 /tmp/hadoo-hadoop,而以此目录在重启时有望被系统清理掉,引致必得重新施行format 才行。所以大家举办了安装,同一时间也钦命 dfs.namenode.name.dir 和 dfs.datanode.data.dir,不然在接下去的步调中恐怕会出错。

配置达成后,实行 NameNode 的格式化

 

$ ./bin/hdfs namenode -format

起初namenode和datanode进程,并查阅运行结果

$ ./sbin/start-dfs.sh

$ jps

起步达成后,能够透过命令 jps 来决断是不是中标运行,若成功运转则会列出如下进度: “NameNode”、”DataNode” 和 “SecondaryNameNode” 

五、安装Hbase

$ sudo tar -zxf hbase-1.1.2-hadoop2-bin.tar.gz  -C/usr/local  #解压到usr/local目录下

$ cd /usr/local

$ mv ./hbase-1.1.2-hadoop2 ./hbase    #重命名

$ sudo chown -R hadoop:hadoop  ./hbase  #修改权限

安插命令行碰着变量/etc/profile

export HBASE_HOME=/usr/local/hbase

export PATH=$HBASE_HOME/bin:$PATH

改革hbase的布置文件/conf/hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java

export HBASE_MANAGES_ZK=true

编辑.xml配置文件 conf/hbase-site.xml

<configuration>

        <property>

                <name>hbase.rootdir</name>

                <value>hdfs://localhost:9000/hbase</value>

                <description>数据存放的岗位。</description>

        </property>

        <property>

                <name>hbase.cluster.distributed</name>

                <value>true</value>

        </property>

        <property>

                <name>hbase.zookeeper.quorum</name>

                <value>localhost</value>

        </property>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

                <description>钦点副本个数为1,因为伪分布式。</description>

        </property>

</configuration>

说明 
hbase.rootdir配置在hdfs文件系统上hbase存款和储蓄的路径 
hbase.cluster.distributed配置是不是是布满式的 
hbase.zookeeper.quorum配置zookeeper在哪些节点上 
dfs.replication配置别本个数 
注意:hbase.rootdir的主机和端口号与hadoop的配置文件core-site.xml的fs.default.name的主机和端口号大器晚成致 
开发银行hbase,在bin目录下实施命令start-hbase.sh 
运营hbase以前,确认保证hadoop是运作如常的,并且能够写入文件***

六、安装phoenix

$ sudo tar -zxf phoenix-4.7.0-HBase-1.1-bin.tar.gz  -C/usr/local  #解压到usr/local目录下

$ cd /usr/local

把 hbase-site.xml 考到 phoenix  ./bin目录下

把 phoenix-4.7.0-HBase-1.1-server.jar  包考到 hbase ./lib 下

生机勃勃、思忖干活 安装包链接: 密码:...

①改换配置文件

Hadoop 的陈设文件坐落于 /usr/local/hadoop/etc/hadoop/ 中,伪遍布式要求修改2个布局文件 core-site.xmlhdfs-site.xml 。Hadoop的安顿文件是 xml 格式,每一个配置以宣称 property 的 name 和 value 的措施来促成。

改过配置文件 core-site.xml (通过 gedit 编辑会比较便于: gedit ./etc/hadoop/core-site.xml),将中等的

<configuration>

</configuration>

改革为如下配置:

<configuration>

<property>

<name>hadoop.tmp.dir</name>

< value> file:/usr/local/hadoop/tmp< /value>

< description> Abase for other temporary directories.< /description>

</property>

< property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</ property>

</ configuration>

平等的,校订配置文件 hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

                <value>1</value>

         </property>

         <property>

                  <name>dfs.namenode.name.dir</name>

              <value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>

(七)、安装hadoop-伪遍及式配置

Hadoop 能够在单节点上以伪分布式的点子运维,Hadoop 进程以分手的 Java 进程来运作,节点既作为 NameNode 也视作 DataNode,同不经常候,读取的是 HDFS 中的文件。

(六)、安装SSH、配置SSH无密码登入

$ sudo apt-get install openssh-server

$ ssh localhost

输入yes

$ exit        #脱离刚才的 ssh localhost

$ cd ~/.ssh/        #若未有该目录,请先进行三回ssh localhost

$ ssh-keygen -t rsa       #会有提示,都按回车就足以

$ cat ./id_rsa.pub >> ./authorized_keys    #投入授权

接下来输入

$ ssh localhost

结果如下:


③配置hadoop2.7.3

编排客商主目录下的.bashrc文件

$ gedit  ~/.bashrc

$ vim  ~/.bashrc

在该文件的结尾追加以下几行代码:

#HADOOP START

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP END

保存退出后,激活新加的碰着变量

$ source   ~/.bashrc

③开启 NameNode 和 DataNode 守护进度。

./sbin/start-dfs.sh

关闭守护进度

./sbin/stop-dfs.sh

若现身以下SSH提醒,输入yes就能够。

(八)、启动YARN

①首先校正配置文件 mapred-site.xml,那边须求先实行重命名:

②编辑mapred-site.xml 文件,

gedit  ./etc/hadoop/mapred-site.xml

<configuration>**

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>yarn</value>

    </property>

**</configuration>**

校订配置文件 yarn-site.xml

<configuration>

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce shuffle</value>

    </property>

</configuration>

④运转 YACR-VN 了(供给先实行过 ./sbin/start-dfs.sh)

./sbin/start-dfs.sh    #启动YARN

./sbin/mr-jobhistory-daemon.sh  start  historyserver    #拉开历史服务器,工夫在Web中查看职责运维状态

关闭YARN

./sbin/stop-yarn.sh

起始 YALacrosseN 有个好处是能够经过 Web 分界面查看职务的运长势况:,如下图所示

不启动 YARN 需重命名 mapred-site.xml

风流浪漫经不想运营 YARN,必需把安顿文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,供给用时改回来就行。

否则在该配置文件存在,而未开启 YARN 的气象下,运路程序会提醒“Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误,那也是干吗该配置文件开头文件名称叫 mapred-site.xml.template

④因此jps查看运营的Hadoop进度

(五)、安装Hadoop2.7.3

(四)、安装JDK

⑤开启 NameNode 和 DataNode 守护进度。

./sbin/start-dfs.sh

到此hadoop大数目已布局完毕。

⑥中标运转后,能够访谈 Web 分界面

查看 NameNodeDatanode 音讯,还是能够在线查看 HDFS 中的文件。


④验证JDK

$ java  -version


①下载hadoop2.7.3

hadoop-2.7.3.tar.gz

本文由68399皇家赌场发布于集成经验,转载请注明出处:安装与配置大数据软件,04下伪分布式环境搭建之

关键词: 68399皇家赌场 Hadoop 首页投稿 Linux笔记

最火资讯