“数据未来·携手跨越” 云祺产品新版本发布暨全国巡展—武汉站 4月26日 星期五 14:00 云祺视频号准时直播
vinchin linked
delta 扫码预约直播,观看精彩内容!
closed
logo
关于我们

技术分享

技术分享 虚拟机Ubutnu安装hadoop

虚拟机Ubutnu安装hadoop

2021-05-04

               具体需要的有(默认在Ubuntu中能链接网络): vim编辑器、java 环境、hadoop环境。

1、刚安装完成系统后,root用户默认是被锁定的,需要初始化root用户,否则在接下来的安装过程中有些操作没有权限

   sudo passwd    Password: <--- 输入安装时那个用户的密码
    Enter new UNIX password:  <--- 新的Root用户密码
    Retype new UNIX password:  <--- 重复新的Root用户密码
    passwd:已成功更新密码

2、安装vim编辑器,vim编辑器系统可能会自带,先检查系统是否已安装,否则安装VIM

sudo apt-get install vim

3、安装JAVA环境,须选择jdk 1.6版本以上环境

    在命令行中输入javac,系统会自动提示有哪些版本可供安装。

    sudo apt-get install java-7-openjdk

    等待系统自动下载安装,安装完成后,输入javac,有java的相关信息提示后,表示安装成功,但此时还需要配置java的环境变量(默认安装目录:/usr/lib/jvm):

     ~$ vi /etc/profile

   打开配置文件后,在末尾处添加下述环境设置

   export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$PATH

  可选操作:讲安装的jdk设置为系统默认的jdk

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/lib/java/jdk1.6.0_45/bin/java" 300
sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.6.0_45/bin//javac" 300
sudo update-alternatives --config javasudo update-alternatives --config javac

    输入~$ source /etc/profile 使更新的配置文件生效,输入javac -version进行验证.

 4、安装hadoop

   创建下hadoop目录:mkdir /opt/hadoop

   下载hadoop安装文件包: $ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

  解压hadoop文件:tar -zxvf hadoop-1.2.1.tar.gz

  进入/opt/hadoop/hadoop-1.2.1/conf,在该目录下有hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件需要进行配置

    vi hadoop-env.sh  设置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk
 

   vi /etc/profile  配置hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
export HADOOP_HOME=/usr/hadoop/hadoop-0.20.0
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$/JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATH
 

   vi core-site.xml

<configuration>     
  <property>              
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value>
  </property>
</configuration>

    vi hdfs-site.xml

<configuration>    
 <property>  
  <name>dfs.replication</name>  
  <value>1</value>    
 </property>
</configuration>

 vi mapred-site.xml

<configuration>    
 <property>  
  <name>mapred.job.tracker</name>  
  <value>localhost:9001</value>    
 </property>
</configuration>
 

完成之后输入命令

    安装sudo apt-get install ssh

  ssh localhost

  如果没有提示错误则安装成功(默认的.ssh文件夹在  /home/用户名/   这个路径下,它是隐藏文件,快捷键Ctrl+H可以显示隐藏文件),然后需要为ssh设置免密码登录和设置权限,依次输入下面几条命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys

  完成之后再输入ssh localhost如果不需要输入密码的话则配置ssh免密码登录成功。

进入Bin目录: 

cd /opt/hadoop/hadoop-1.2.1/bin
bin/hadoop namenode -format
start-all.sh

上述操作完成后

输入jps查看进程,是否包含下述进程,如包含则安装成功

2184 SecondaryNameNode
2407 TaskTracker
2055 DataNode
2267 JobTracker
1933 NameNode
2468 Jps

输入:stop-all.sh 停止hadoop

 

云祺备份软件,云祺容灾备份系统,虚拟机备份,数据库备份,文件备份,实时备份,勒索软件,美国,图书馆
  • 标签:
  • 其他

您可能感兴趣的新闻 换一批

现在下载,可享30天免费试用

立即下载