广东工业大学Hadoop MapReduce编程实验报告

Hadoop 的 MapReduce 编程练手项目,蛮适合想深入云计算的你。用的是老版本的ubuntukylin14.04,虽然有点旧,但配置 Hadoop 和 Eclipse 插件的流程还挺清晰,适合刚上手的朋友练手。MapReduce 的用法也比较全,像是文件去重、排序、挖掘这类,基本该有的都有。

Hadoop 插件的配置其实不难,主要是下好hadoop-eclipse-kepler-plugin-2.6.0.jar,放到Eclipse/plugins目录下,再跑一遍eclipse就行了。你要是用新版本 Eclipse,还得改点兼容参数。

MapReduce 编程部分倒是比较有意思,像合并文件、去重、排序这些,操作起来不难,但还是能把你对 Map 和 Reduce 的理解拉满。嗯,如果你对InputFormatOutputFormat这些还不熟,正好借这个项目啃一啃。

另外它还提了点ComparatorPartitioner的用法,这些在做排序或分区时关键。蛮多新手卡在这,实际跑一遍你就懂了。实操之后对云计算整体理解会提升不少。

如果你刚接触 Hadoop 或者准备入门MapReduce,这个实验报告还蛮值得参考一下的。配环境的时候稍微细心点就好,别忘了插件版本和 Eclipse 要对上。

docx 文件大小:2.62MB