电脑疯子技术论坛|电脑极客社区

微信扫一扫 分享朋友圈

已有 1685 人浏览分享

win7下使用myeclipse连接hadoop2.6.0集群并运行wordCount的实例教程

[复制链接]
1685 0

1: 设置eclipse

选择"Window"菜单下的"Preference","HadoopMap/Reduce"选项,选择Hadoop的安装
目录(即hadoop在win7下的安装或者叫解压目录),如:D:\programes\hadoop-2.6.0

2:切换"Map/Reduce"工作视图,java开发者都会的。

3:建立与Hadoop集群的连接,在Eclipse软件下面的"Map/Reduce Locations"进行右击,
弹出一个选项,选择"New Hadoop Location",然后弹出一个窗体。

20180604101148986.png


注意上面三个红框所示:

1) Map/Reduce(V2)Master

对应mapred-site.xml配置中的mapreduce.jobtracker.http.address的参数,如下:

mapreduce.jobtracker.http.address

master:50030

2)DFSMaster

对应core-site.xml配置中的:

fs.defaultFS

hdfs://master:9000

3) User name

如果hdfs-site.xml配置中的:

dfs.permissions

false

如上所示为false时,这个用户名随便设,否则就要改成在linux中搭建hadoop平台使用的linux帐号。

4) 临时目录

接着点击"Advanced parameters"从中找见"hadoop.tmp.dir",修改成为我们Hadoop集群中设置的地址,
我们的Hadoop集群是"/opt/hadoop-2.6.0/tmp",这个参数在"core-site.xml"进行了配置。

2: 查看HDFS文件系统,并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFS Locations"
下面的"myHadoop",就会展示出HDFS上的文件结构。

20180604101148989.png


1) user目录是可以在上面的Advanced parameters设置的,这个默认就是user。

2)可以在这里浏览hdfs上的文件,如同在linux下查看hdfs文件系统一样,同样,这里也可以上传与删除。

3)在hadoop目录下新建input目录,这个动作熟悉否?可还记得搭建hadoop平台完毕后,
测试wordcount样例中有这个步骤?




您需要登录后才可以回帖 登录 | 注册

本版积分规则

1

关注

0

粉丝

9021

主题
精彩推荐
热门资讯
网友晒图
图文推荐

Powered by Pcgho! X3.4

© 2008-2022 Pcgho Inc.