XXX高校数字化校园数据中心建设方案

XXXXXX 高校数字校园数据中心建设高校数字校园数据中心建设 方案建议书方案建议书 目录目录 一、项目概述.4 1.1 建设背景4 1.2 建设目标5 1.3 建设原则6 1.4 云平台技术打造大数据与高性能优势8 二、需求分析.10 2.1 现状分析10 2.2 总体建设10 2.2.1XXX 高校校园云平台需求11 2.2.2 大数据分析需求13 2.2.3 高性能需求15 三、数据中心总体规划.16 四、云数据中心建设规划.19 4.1 资源池规划.20 4.2 资源池规划内容.22 4.3 虚拟化软件选型规划.25 4.4 云管理平台建设规划.26 4.5 数据中心统一管理平台规划29 五、大数据建设规划.31 5.1 大数据平台规划31 5.2 大数据架构介绍.36 5.3 新型分布式处理技术基础37 5.4 分布式文件系统.37 5.5 MapReduce 计算框架38 5.6 数据管理与分析40 5.7 分布式数据库.40 5.8 Hive 数据仓库41 5.9 大数据调优服务.41 六、高性能建设规划.44 6.1 高性能平台建设内容44 6.2 高性能平台总体性能要求44 6.3 节点配置详解45 6.3.1 计算节点（大数据 DataNode 节点） 45 6.3.2GPU 节点45 6.3.3八路胖节点.46 6.3.4 管理节点（NameNode 节点）.47 6.3.5 IO 节点（JobTracker、TaskTracker 节点） .47 6.3.6 存储系统48 6.3.7 计算网络48 6.3.8 TSDM 集群部署软件介绍53 6.3.9 备份还原软件介绍.55 6.3.10 集群并行环境介绍56 七、 八、 机房建设规划.57 方案配置清单.58 一、一、 项目概述项目概述 1.11.1 建设背景建设背景 遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学 习中，成为推动社会发展的强大动力。在商业化的世界中，众多企业正在把自 己转变成一种称为“数字神经系统“的新型组织，让企业能够以数字神经系统的 方式对内部业务流程、 知识共享和网络商务进行整合， 快速响应全球化的竞争。 高校不仅承担着人才培养的重任,还承担了一些前沿科技和技术的研究。同 样,作为培养和造就新世纪人才的教育系统和学校， 也面临同样的社会环境变化 趋势。然而,很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了 一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式 . 电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定 性变化的管理和教学的方法和模式却没有随着社会发展的大趋势进行相应变革。 面对知识全球化和民族素质提高的教育要求，以及一系列的教育市场化竞争的 挑战， “数字化校园”正在日臻成熟并发挥越来越重要的作用。 “数字化校园“的目标就是为了使校园的使用者可以更有效的利用校园来开 展教学、科研活动并更方便快捷地进行学习、生活。因此校园的主人：学生 - —教师——管理人员就成为数字化校园的服务对象，他们的主要校园活动：教 学-—科研——管理——生活就成为数字化校园的内容主体.“数字化校园”的 目标用一个词来表示就是服务” ，为学生、 教师、管理人员提供更好的服务就是 数字化校园的宗旨。 目前云计算、互联网+、大数据分析、移动和物联网发展迅猛，数以亿计的 用户通过互联网服务时时刻刻都产生大量的交互， 这些交互通过手持设备、 RFID、 无线传感器产生大量的数据 ,IDC 预计到 2020 年全球数据将增加到 35ZB(1ZB=1024EB、1EB=1024PB） ，是 2009 年的 45 倍，其中 80％以上为非结构 化数据。这些需要处理的数据量越来越大、增长迅猛,而业务需求和竞争压力对 数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本 无法应付与处理。由此而生产了Big Data 技术来处理此类问题。大数据技术将 是 IT 领域新一代的技术与架构,他将帮助人类从大量、 复杂的数据中提取价值， 它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进 行分析研究,从而发现重要的趋势信息。 因此大数据的有效管理和挖掘将成为未 来竞争和增长的基础，并日益成为企业的生产要素和战略资产，预计也将带来 新一轮生产率的提升和消费者体验改善， 类似工业革命的大数据时代已经来临, 我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量 .大数 据将给 IT 行业开拓一个新的黄金时代， 作为成都重要的高校我们有义务在这些 前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四 川和成都。 云计算是一种新型的信息资源管理和计算服务模式，是继大型计算机、个人 电脑、互联网之后信息产业的一次革命.云计算可将分散的计算、存储、 服务资 源有机整合起来管理和服务，转变了传统 IDC 运行管理理念，是未来计算的发 展方向。云计算以其资源动态分配、按需服务的设计理念,具有低成本解决海量 信息处理的独特魅力。 云计算+大数据将会为现有的数据中心增加可用性特点能 高效地、安全地运营；另一方面,并能降低数据中心的能源消耗和运行成本;我 们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的服务 供给模型，它提供给客户可自治的服务，实现资源的按需分配、按量计费。云 计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注 于自己的业务，有利于降低单位资源成本，促进全社会的开拓创新。 浪潮从事教育行业已经有数十年经验， 致力于帮助教育用户提供一体化的数 字化校园解决方案,在教育行业有数量众多的成功案例， 浪潮承诺站在用户角度， 寻求最为合理的解决方案，最大限度满足客户需求. 1.21.2 建设目标建设目标 本次建设目标为：利用云计算技术打造XXX高校大数据分析、高性能应用等 高校科研基础平台。 云计算资源中心建设后，将包括校园云计算虚拟化中心、大数据分析、和 高性能计算中心，并为此三个中心提供统一管理平台。通过云计算资源中心的 建设，物理资源将被组织起来统一调配和供应，提供给学校各学院、部门、教 师及学生使用。 并且通过云数据中心为学校提供大数据分析和高性能计算服务。 通过资源集中化,资源的共享得以实现，应用在资源之间的迁移也成为可能。当 资源集中后，对于相同资源进行管理的代价将大幅度降低，而资源的使用率将 成倍提升.从而解决数据中心当前面临的问题，更有效的推动信息化的发展。 基于云计算的大数据和高性能中心建设目标主要有以下几个方面：基于云计算的大数据和高性能中心建设目标主要有以下几个方面： 1、资源纬度集约化.通过虚拟化方式，为各学院、部门和师生提供基础计 算服务和数据存储。 2、数据纬度一体化.方便数据共享,为大规模数据整合和交换提供可能。 3、管理纬度服务化。利用云计算方式，实现基础软硬件资源的统一管理、 按需分配、综合利用，降低各部门系统建设成本和日常运行维护费用。 高校数字校园云计算平台建设着重点为：提供IAAS服务的服务器虚拟化中 心,提供校园师生教学办公用的校园云盘中心和提供高性能计