博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux下配置Hadoop 1.2.1
阅读量:6760 次
发布时间:2019-06-26

本文共 1302 字,大约阅读时间需要 4 分钟。

  首先要下载hadoop的包,版本选择1.2.1的,下载地址为:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

  

  这里可以下载hadoop-1.2.1-tar.gz包括源码或者hadoop-1.2.1-bin.tar.gz执行包不包括源码,两个文件大小差不多正好是一倍关系

  下载之后通过tar -xzvf hadoop-1.2.1.tar.gz进行解压,解压后放到我们指定的目录中,然后进入conf目录开始配置文件

  主要就是配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml这四个文件,使用vim打开配置

  首先是hadoop.env.sh

  

  JAVA_HOME这个地方把注释去掉,换成jdk的目录,保存退出

  然后是core-site.xml,直接在<configuration>标签之间添加代码即可

  

  第一个属性是hadoop的工作目录,就是/hadoop,第二个是dfs文件系统节点目录,第三个就是本地的服务器端口号是9000

  hdfs-site.xml 配置数据存放目录

1 
2
3
dfs.data.dir
4
/hadoop/data
5
6

  mapred-site.xml

1 
2
3
mapred.job.tracker
4
localhost:9001
5
6

  保存之后,可以把hadoop添加到环境变量中,也可以不添加,

  然后按之前说的配置ssh免登陆

  最后执行hadoop下的bin/start-all.sh启动hadoop的进程

  此时访问http://localhost:50030或者http://localhost:50070可以正常打开页面证明配置成功

  然后输入命令jps回车可以看到打开进程和端口,说明hadoop单机模式的配置就成功了

  

  下面可以按照官方文档提供的方法进行测试,能正常输出就可以了

  

  如果中间有问题的话,可以考虑编辑/etc/hosts文件最后一行添加:

  127.0.0.1   计算机名

  计算机名可以通过命令hostname查看,

  如果通过web访问连接失败,可以关闭防火墙,关闭命令是:

service iptables stop

  高版本红帽使用:

/bin/systemctl stop iptables.service

  或者

/etc/init.d/iptables stop

 

  

转载地址:http://whfeo.baihongyu.com/

你可能感兴趣的文章
spring profile 多环境配置管理
查看>>
iOS开发 iOS10推送必看
查看>>
C#设计模式——抽象工厂模式(Abstract Factory Pattern)
查看>>
软件测试--关键字
查看>>
nginx知识点
查看>>
字符串操作(字符数统计及字符串反转)
查看>>
递归写法参考
查看>>
【Python】学习笔记八:面向对象
查看>>
单片机中PWM的原理与控制程序
查看>>
RStudio中,出现中文乱码问题的解决方案
查看>>
【SQL 触发器】
查看>>
Kafka server部署配置优化
查看>>
(转) Artificial intelligence, revealed
查看>>
【转】VS项目属性的一些配置项的总结
查看>>
Project、Target、Workspace and Scheme
查看>>
topas top vmstat
查看>>
Linux基本权限学习
查看>>
掌握jQuery插件开发
查看>>
git基本用法
查看>>
Spring Session - 使用Redis存储HttpSession例子
查看>>