<!--
@page { margin: 2cm }
PRE.cjk { font-family: "文泉驿微米黑", monospace }
P { margin-bottom: 0.21cm }
-->
一、伪分布(
Pseudo-Distributed
)与分布式(
Fully-Distributed
)的区别
我们知道,
hadoop
是运行在一个网络集群中的软件。在这个集群中,有
master
节点(一个逻辑上的节点包括二台物理节点),也有
node
节点(包括多台
namenode
节点和
datanode
节点)。也就是说,一个分布式
hadoop
程序的测试与运行,必须有多台主机的参与。那么,这就为编写软件带来了极大的不便。在这样的状况下,
hadoop
推出了伪分布的概念。
简单的讲,伪分布便是在一台主机上运行
hadoop
程序。其中的各个节点功能,均由
java
进程完成。在伪分布的环境下,实际上还是一台主机在进行代码执行和计算功能。
二、伪分布的配置
在完成单机版配置的情况下,进行以下配置:
1
)配置
conf/core-site.xml
文件:
</configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置
hadoop
文件系统(
File System
)的
URL
路径,同时指定默认的端口
9000
2
)配置
conf/hdfs-site.xml
文件:
<configuration>
<property>
<name>dfs.tem.dir</name>
<value>/home/tangli/hadoop/tem</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/tangli/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/tangli/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
前三项分别配置伪分布运行下的缓冲文件目录地址,
namenode
文件目录地址,
datanode
文件目录地址,其值自定义设定。最后一项配置数据备份数量,可以任设,建议
1
~
3
。
注:
0.23.0
版本以后的配置文件都在
share/hadoop/common/templates/conf
目录之下。
3
)配置
conf/mapred-site.xml
文件:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置
JobTraker
地址(端口)
三、格式化
HDFS
(很重要):
进入
hadoop
所在目录,运行命令:
$
sudo bin/hadoop namenode -format
四、启动
hadoop
监护程序,即启动伪分布下的
hadoop
:
$
bin/start-all.sh
在启动监护程序之后,执行命令
$
jps
,会至少显示以下
5
项内容:
NameNode
、
SecondaryNameNode
、
JobTracker
、
TaskTracker
、
DataNode
、
Jps
常见错误是缺少
NameNode
或者是
DataNode
。若缺少,请检查
conf/hdfs-site.xml
文件是否配置正确,若错误,修改后重新格式化
HDFS
。或者是权限错误,检查
namenode
文件目录地址,
datanode
文件目录地址,若该目录图标上有小锁,表示当前用户无目录权限,请重新赋予正确权限。
五、停止
hadoop
监护程序
$
bin/stop-all.sh
分享到:
相关推荐
hadoop的单机伪分布安装笔记,使用虚拟机方式、端口转发、搭建hadoop的单机环境。学习hadoop的入门文档之一。
hadoop-hbase-hive 伪分布安装
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
hadoop三个实验相关操作文档,还有云计算的现有技术介绍的ppt
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
Hadoop单机与集群部署笔记.docx
Hadoop单机模式和伪分布模式
Hadoop安装教程_单机_伪分布式配置
hadoop2.6.0伪分布安装的详细过程。
Hadoop2.7.2伪分布部署 从JDK配置到SSH面密码登陆,Hadoop的详细配置
hadoop2 - 虚拟机VMWare - Linux(ubuntu) ,单节点伪分布环境搭建完整手册
在单机上模拟实现Hadoop伪分布式运行,是不是很激动人心?
hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
hadoop2 - 虚拟机VMWare - Linux(ubuntu) ,单节点伪分布环境搭建快速手册,同之前上传的doc文档配套。
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
hadoop伪分布CentOS安装(四)hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
hadoop-2.7.4 单机伪分布配置文件,包括4大文件,直接替换,使用的是127.0.0.1 ,无需修改
hadoop伪分布CentOS安装(二) 便于开发者,初学者,安装配置hadoop伪分布的环境以及搭建过程
hadoop伪分布搭建步骤
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04