高性能计算与云计算实验三报告

下载后可任意编辑 高性能计算与云计算 实验报告 Map/Reduce编程 学 院 计算机科学与工程学院 班 级 计算机软件3班 学生姓名 钟鑫旺 学 号 202430621083 指导老师 胡金龙、董守斌 提交日期 2024.1.4 1． 实验目的 本实验的目的是通过练习掌握Map/Reduce编程的知识和技巧 1 熟悉建立分布式高性能计算平台Hadoop的基本步骤 2 掌握用Map/Reduce编写并行计算程序的基本方法 3 了解Map/Reduce计算程序在Hadoop下的运行和调试机制 2． 实验要求 分组完成实验内容（2～4个人） 1 计算平台搭建 2 程序设计及实现 3 回答实验中提出的问题； 4 结果分析 随实验报告，附代码、程序说明以及运行结果。 3． 实验内容 基于Hadoop平台通过并行计算解决串匹配的问题。 4． Hadoop计算平台搭建 （1）以同组同学的多台计算机搭建一个完全分布式的Hadoop计算平台。 （2）在搭建的平台上运行WordCount程序，输出结果。 实验原理 Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的软件框架应用程序，但作为一个并行数据处理引擎，它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到Google开发的启发。这个流程称为创建索引，它将 Web爬行器检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果。然后可以在整个 Web 搜索过程中使用这个结果从已定义的搜索参数中识别内容。 最简单的 MapReduce应用程序至少包含 3 个部分一个 Map 函数、一个 Reduce 函数和一个 main 函数。main 函数将作业控制和文件输入/输出结合起来。在这点上，Hadoop 提供了大量的接口和抽象类，从而为 Hadoop应用程序开发人员提供许多工具，可用于调试和性能度量等。 MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。 5． Map/Reduce编程 基于MapReduce实现以下任意一个并行算法 （1）并行串匹配算法 （2）平行排序算法 （3）最短路径算法 （4）并行矩阵乘法（简单并行算法、cannon算法、DNS算法等） 实验调优（可选） [1] 选取不同个数和不同大小的实验文本，多次运行你的程序，记录不同的运行时间，并画成图表； [2] 计算不同情形下的加速比。 完成关于本次课程设计的综合实验报告，并回答以下问题 a 说明并行算法设计的基本思路，并列出参考文献。 b 指出你如何通过系统配置，设置workers及任务调度，将问题分布到多个节点上运行。 c 谈谈对Map/Reduce编程的一些认识和在本实验中遇到的问题等。 问题回答要包括在实验报告中。也就是说，最终需要提交的实验报告要有详细实验步骤（包括必要的截图）、源代码、运行和结果输出（截图）以及问题回答。 6． 【实验方案设计】 3.1 Hadoop计算平台搭建 （1）以同组同学的多台计算机搭建一个完全分布式的Hadoop计算平台。 （2）在搭建的平台上运行WordCount程序，输出结果。 3.2 Map/Reduce编程 基于MapReduce实现以下任意一个并行算法 （1）并行串匹配算法 （2）平行排序算法 （3）最短路径算法 （4）并行矩阵乘法（简单并行算法、cannon算法、DNS算法等）通过并行计算解决串匹配的问题 【实验过程】（实验步骤、记录、数据、分析） ① 开3个虚拟机，它们的主机名分别为xiaominghupan，node01，node02 ② 在/etc/hosts追加如下内容 192.168.3.100 xiaominghupan 192.168.3.101 node01 192.168.3.102 node02 ③ 配置ssh免密码登陆 ④ 下载hadoop-1.2.1.tar.gz ⑤ 解压hadoop-1.2.1.tar.gz tar -zxvf hadoop-1.2.1-bin.tar.gz –C /opt ⑥ 修改conf/hadoop-env.sh，添加JAVA_HOME变量 vi conf/hadoop-env.sh 添加export JAVA_HOME/usr/lib/jvm/java ⑦ 执行hadoop命令 ./bin/Hadoop 说明安装正常 ⑧ 在xiaominghupan主机上配置conf/masters为如下内容 xiaominghupan ⑨ 在3台主机上都配置conf/slaves为如下内容 xiaominghupan node01 node02 ⑩ 在3台主机上都配置core-site.xml，增加以下属性 property namefs.default.name/name valuehdfs//master9000/value ------定位文件系统的NameNode /property ⑪ 配置hdfs-site.xml，增加以下属性 property namedfs.replication/name value3/value /property ⑫ 配置mapred-site.xml，增加以下属性 property namemapred.job.tracker/name valuemaster9001/value /property ⑬ 格式化hdfs hadoop namenode -at ⑭ 启动hadoop bin/start-all.sh ⑮ 运行WordCount 在eclipse中新建一个WordCount项目，把 hadoop-1.2.1/src/examples/org/apache/hadoop/examples/