电商大数据采集系统建设方案

-----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 电商大数据采集分析系统建设方案电商大数据采集分析系统建设方案 V1.0-20200610 重庆炙迅科技有限公司 一、建设背景一、建设背景 数据是国家基础性战略资源，是 21 世纪的“钻石矿“。党中央、国 务院高度重视大数据在经济社会发展中的作用，党的十八届五中全会 提出“实施国家大数据战略 “，国务院印发《促进大数据发展行动纲 要》 ，全面推进大数据发展，加快建设数据强国。 “十三五“时期是我 国全面建成小康社会的决胜阶段，是新旧动能接续转换的关键时期， 全球新一代信息产业处于加速变革期，大数据技术和应用处于创新突 破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机 遇。抢抓机遇，推动大数据产业发展，对提升政府治理能力、优化民 生公共服务、促进经济转型和创新发展有重大意义。 二、建设内容二、建设内容 坚持 “统一规划、分步实施，整合资源、协同共享，突 出重点、注重实效 ”的原则，打造集约、开放、共享的平台体 系，平台主要包括一下内容： 1、大数据采集系统。大数据采集系统。 可以实现与县电商平台、物流平台 等无缝对接，实现县乡村三级物流体系数据全部汇总上报。 同时采集系统与第三方数据采集平台对接，抓取淘宝、京东 等数据。同时也可以定制开发与本地第三方平台对接，研制 --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 数据适配接口，对接各应用系统获取各类异构数据，并采用 大数据主流的框架和系统对数据进行统一存储，为数据的挖 掘和分析打好基础。 2、大数据分析加工系统。大数据分析加工系统。实现大数据的效果呈现，可实 现县电子商务上行、下行，产品类别，日交易额及相关流水 等数据多重风格形式展示。采用数据挖掘、数理统计等相关 --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 技术，构建大数据分析框架，提取数据中隐含的、未知的、 极具潜在应用价值的信息和规律，通过数据报表工具，根据 需求制定多样的，针对性的数据报表。 3 3、大数据显示大屏、大数据显示大屏。主要用来展示县电子商务大数据情 况，通过大屏集中展示县电子商务发展情况和发展进程，重 点包括有关电商交易额、快递订单量、村级店运营、交易产 品信息数据，管理所有农村电商信息及与其相关的资源，同 时作为全县电子商务运营指挥中心，可以成为对外展示电子 --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 商务的窗口。同时，所有数据显示都可进行编辑校准，有效 避免程序计算出错的状况。 --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 三、战略分析三、战略分析 电子商务大数据平台的建设是采用数字化技术手段、 网格化管理模式，建立长效管理联动新机制、提升电子商务 统计的科学水平和乡村振兴运行效率的新思路，对地区的电 子商务产业发展、经济快速发展具有重要意义。 1、 有利于基础信息资料的共享，增强产业管理和服务 能力。平台将为全县各部门提供有效的信息共享机制和信息 更新机制，电子商务基础数据及时更新，保持一致性、准确 性和权威性。有利于电子商务基础信息资料的共享，增强政 府管理和服务能力。有利于推进电子商务服务创新的实施。 2、 有利于加强政府决策的准确率，减少人力成本。通 过系统统计分析出社会不稳定因素的原因和问题，有针对性 的展开管理措施，集中人力、物力施政，避免公共服务资源 浪费。减少其它社会管理服务职能部门的系统建设，避免各 部门投入经费重复建设类似系统，降低工作成本，为国家 财政节省了开支。 3、通过平台的面向大众提供电子商务、民生民意、本地 生活等功能。村民使用能促进产品经销、方便生活、通过提 升自我管理能力、增进情感认同，对党和政府更加拥护；乡 镇使用该系统，更加密切与群众的联系，融洽干群关系，提 高做好新形势下群众工作的能力，推动乡村振兴战略实施。 --完整版学习资料分享---- -----WORD-----WORD 格式格式-- --可编辑可编辑-- --专业资料专业资料---------- 四、技术保障四、技术保障 1.1. 客户端数据加解密和压缩方案客户端数据加解密和压缩方案 对一些 敏感 的采集 数据 ，需 要在数 据传 输过 程中进 行加 密处 理。采集数据压缩，为了节省流量和带宽，高效发送 客 户端 采集的数据，需要使用快速且高压缩比的压缩算法， 目 前考虑使用世界先进的GZIP 和定制的 LZ77 算法。 2. 基于携程的分布式消息中间件基于携程的分布式消息中间件 HermesHermes 消息队列的数据存储方案消息队列的数据存储方案 由于数 据采 集服务 的消 息量 非常大 ，所 以采 集数据 需要 存储到 Kafka 中。Kafka 是一种世界领先的分布式的，基于发 布/订阅的消息系统，能满足采集服务高吞吐量、高并发和实 时数据分析的要求。 --完整版学习资料分享----