国家标准-全国信息技术标准化网

国家标准信息技术 大数据存储与处理系统功能要求 （征求看法稿）编制说明 一、 任务来源 依据国家标准委2016年第一批国家标准制修订安排的通知，全国信息技术标准化技术委员会启动了信息技术 大数据存储与处理平台技术要求（立项号20160598-T-469）的制定工作。本标准为自主制定标准，起草单位为华为技术有限公司、浪潮电子信息产业股份有限公司、中国电子技术标准化探讨院等，主办单位为华为技术有限公司，归口单位为全国信息技术标准化技术委员会（SAC/TC28）。 二、 编制背景 随着信息技术的不断发展，数据生成总量呈现了爆炸式的增长，海量的数据给社会带来大量信息的同时，也使得人们面临着信息爆炸带来的迷惑。如何从如此浩大的数据总量中提取出能够被有效利用的信息数据，成为了现今这个“大数据时代”急需解决的问题。 而大数据存储与处理平台是实现用可扩展的体系架构对大量数据进行有效的存储、处理及分析的核心技术，各个IT公司和开源组织纷纷供应各自的解决方案和产品。对这些解决方案和产品进行系统探讨，提炼出一套一站式、弹性的、高性能的、高可用性的大数据存储与处理平台技术标准将有助于大数据领域的技术发展和大数据的产业发展。 三、 编制原则 本本标准内容以信标委大数据标准工作组、JTC1 WG9大数据工作组和NIST的探讨成果为基础，以目前业界主要大数据企业的主流大数据产品为依据进行研制。参考信息技术 大数据参考架构等大数据在研标准，探讨制定相应的基本功能要求，保障大数据存储与处理平台的应用实力。 为使标准能够适应我国的实际需求，对我国大数据存储与处理平台的研制和运用具有指导性和适用性，在标准制定过程中，主要遵循了如下几个原则 1要符合国家的有关政策法规要求； 2要与已颁布实施的相关标准相协调； 3要结合产业对实际应用需求； 4要充分考虑我国大数据存储与处理平台的实际技术水平和发展应用，满意应用基本要求，并对先进技术保持兼容性。 四、 简要过程说明 2016年6月12日国标委正式下达标准安排任务。牵头单位先组织编制组形成标准草案V1.0。 2016年8月11日，华为技术有限公司牵头组织第一次编制会（济宁），浪潮电子信息产业股份有限公司、中兴通讯股份有限公司、百分点、南瑞集团、上海计算机软件技术开发中心、海康威视、勤智数码科技股份有限公司、杭州华三通信技术有限公司、上海华东电信探讨院、浪潮软件、中国电子技术标准化探讨院、万达信息、微软、南大通用、亚信数据、上海大数据联盟、山东标准化探讨院、浙江标准化探讨院、久远银海、华宇软件、百分点等单位的专家参与了本次会议。牵头单位汇报标准项目信息技术 大数据存储与处理平台技术要求标准框架，参编单位对标准框架一级书目及二级书目进行探讨和调整并对标准内容编写进行工作分工。 2016年10月，标准编制组形成标准草案探讨稿V1.2。 2016年10月11日，参与全国信标委组织的开题答辩（北京）。 2016年11月10日，华为技术有限公司牵头组织其次次编制会（南京），浪潮电子信息产业股份有限公司、中兴通讯股份有限公司、南瑞集团、上海计算机软件技术开发中心、海康威视、勤智数码科技股份有限公司、杭州华三通信技术有限公司、浪潮软件、中国电子技术标准化探讨院、南大通用等单位的专家参与了本次会议。牵头单位汇报标准项目信息技术 大数据存储与处理平台技术要求V1.2的修改状况，参编单位对标准技术条款进行逐项探讨。 2017年4月，标准编制组形成标准草案探讨稿V1.4。 2017年6月14日，华为技术有限公司牵头组织第四次编制会及扩大看法征集会（北京），浪潮电子信息产业股份有限公司，勤智数码科技股份有限公司、上海计算机软件技术开发中心、陕西省信息化工程探讨院、哈工大大数据集团、联想、北明软件、Intel、浪潮软件、北京国电通网络技术有限公司、中科院沈阳自动化探讨所、中国电科院、杭州海康威视、湖北省标准化与质量探讨院、北京邮电高校、中电长城网际、科大讯飞、福建亿榕、国网浙江电力公司、中国电科第28所、长虹佳华、美林数据、华胜天成、南大通用、中兴等单位的专家参与了本次会议。对标准草案V1.6全文进行了探讨，形成修改看法，确定增加部分内容并进行了分工。确定将标准名称更改为信息技术 大数据存储与处理系统功能要求 2018年5月，标准编制组形成标准征求看法稿。 五、 本标准结构和主要内容说明 本标准在确定主要内容时主要基于如下几个方面 1 与我国大数据参考框架保持一样； 2 充分考虑了功能要求的通用性。 本标准规定了大数据存储与处理平台的基本技术要求。 本标准适用于指导大数据存储与处理平台的设计、开发及运维工作。 本标准拟在提出大数据存储与处理平台的基本架构基础上，依据大数据参考架构中的存储与处理平台的基本架构，对其中各模块提出基本功能要求。本标准涵盖了对大数据存储与处理平台的各个层次中的功能模块。 本标准分为6个章节，第1章“范围”；第2章“规范性引用文件”；第3章“术语和定义”；第4章“缩略语”；第5章“大数据存储模块”，包括基本要求、分布式文件系统、分布式关系数据库、分布式列数据库和分布式图数据库要求；第6章“大数据处理模块”，包括基本要求、批处理、流处理、图计算、内存计算和批流融合计算框要求。 六、 专利说明 无。 七、 采纳国际标准和国外先进标准状况 本标准为自主制定，未采纳国际标准或国外先进标准。 八、 与有关的现行法律、法规和强制性国家标准的关系 本标准符合现有法律法规的要求。 本标准与现有国家标准不冲突、不冲突，也不重复。 九、 重大分歧看法的处理经过和依据 无重大分歧。 十、 标准性质的建议 建议作为举荐性国家标准发布实施。 十一、 贯彻标准的要求和措施建议 建议和大数据相关标准一起贯彻实施。 十二、 替代或废止现行相关标准的建议 无。 信息技术 大数据存储与处理系统功能要求标准编写组 2018年5月