电商大数据分析平台建设目标及设计方案详解

电商大数据分析平台演进路线 本方案以电商大数据实践为背景，详细阐述大数据分析平台的演进路线、实现步骤与设计方案。 第一阶段：基础平台搭建 (2013年) 以基础平台搭建为主，配合初期业务开展。 应用建设从客户信息管理、风险管理和运营管理三方面开展。 搭建大数据处理平台和实时分析平台。 应用方面开展实时分析和数据产品封装。 开展客户信息管理、信用风险评级和业务统计分析三类应用建设。 开展贴源数据整合，初步建立企业级数据视图。 实现对管理分析类应用和实时分析类应用的支撑。 规划数据管控蓝图，初步实施数据质量和技术元数据管理。 第二阶段：深化分析体系 (2014年-2015年) 全面开展内部管理分析、实时分析和沙盘演练应用建设。 初步展开增值数据产品开发工作。 全面开展大数据分析平台建设，引入更多数据源。 丰富并完善平台数据区建设。 随着应用体系的搭建，完善数据质量和元数据建设。 开展数据标准化工作。 深化分析体系，形成深度智能化业务分析。 第三阶段：持续优化提升 (2015年以后) 性能持续优化、数据平台持续完善。 持续深化数据管控体系，形成金融集团企业级的数据管控体系。 总结 该方案涵盖了大数据分析平台从基础搭建、深化分析到持续优化的完整演进路线，为电商企业构建高效、智能的大数据分析体系提供了清晰的路径和指导。

通过加强业务协作，将分散在供应链金融、人人贷、保理等业务系统中的数据集中整合到数据平台，建立企业级视图，促进业务的集成和协作。这不仅为企业级分析和交叉销售提供基础，还为金融业务创新创造了有利条件。同时，提升数据建设效率和数据质量，改善企业整体数据的实用性和安全性，有效推动IT系统的建设和运行效率。

大数据分析平台总体架构——数据访问层 即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看。 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等。 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警。 决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持。 静态报表：按照预先定义格式，批处理报表，在线查询报表等。 Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度。 问题发现Office集成Web服务 挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值。 数据科学家业务系统 Web服务：将分析应用的功能发布为Web服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果。 多种展现形式满足各层级用户及应用系统使用需求。

大数据分析平台一期硬件配置（续）所有服务器均采用开放的X86架构，单台服务器建议配置如下：服务器类型服务器功能数量CPUMemory网口操作系统内置盘数据交换平台数据接口服务器51664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1流程调度&ETL平台流程调度&ETL服务器71664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1元数据服务器Hive元数据库服务器21664G210GbtCentos 6.34600GB 15K SAS disks RAID 0+1管理分析平台数据集市服务器432128G410GbtCentos 6.32300GB 15K SAS disks RAID 0+11632128G210GbtCentos 6.314300GB 15K SAS disks RAID 0+1内存数据库服务器420256G210GbtSLES for SAP applications 11 SP28 600GB 10k SAS disks RAID 5BI应用服务器21664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1WEB服务器21664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1

在大数据分析平台的设计中，结合非结构化和半结构化数据管理分析，采用X86 MPP集群和Hadoop集群等技术，实现了京东业务系统的结构化数据计算和沙盘演练功能。此外，还包括数据交换平台、实时分析平台以及历史归档查询平台等多个关键组件，全面支持大数据区的管理和应用。

随着电商行业数据的积累，金融集团管理分析类应用的建设现状和存在的问题日益显现。目前，虽然已建立了面向整个零售业务的数据仓库，但仍面临着数据利用不充分、风险评估体系不完善、客户360度视图缺失等挑战。未来，需重点关注数据平台整体架构、数据质量治理及数据应用的建设。此外，应注重电商大数据的实践，以实现更加精准的管理分析和业务优化。

大数据分析平台的演进可以分为多个阶段：首先是建立数据交换平台和NAS存储集群，设计并实施数据库和数据区交换组件；其次是搭建历史归档查询平台和内部管理分析应用平台，部署MPP集群和BI分析应用环境；最后是优化数据交换平台，增强基础计算平台，引入更多数据源并优化实时分析平台。这些措施实现了数据按照贴源数据模整合和生命周期归档管理，提升了实时分析环境的能力。

数据管控层电商大数据实践方案 金融数据管控体系包含：- 组织架构- 评价与考核- 管控流程- 管控平台 数据标准管理数据质量管理元数据管理工作流管理 组织- 数据与信息标准化委员会- 数据管理人- 数据所有人- 数据生产人- 数据使用人- IT支持团队 考核指标- 责任评价标准- 执行评价政策- 执行评价标准 数据类型- 数据格式- 业务分类 数据质量- 真实性定义- 及时性定义- 完整性定义 元数据- 技术元数据- 流程评价与考核流程- 考核指标- 建立/维护流程标准- 建立/维护流程组织- 建立/维护流程评价与考核- 业务含义一致性定义 数据认责平台- 安全等级- 权限限定 业务元数据管理- 元数据- 数据全生命周期- 数据安全管理- 数据标准- 数据安全- 元数据 数据安全- 审计定义- 保留策略- 数据停用- 数据共享- 数据移动- 数据存储- 数据创建

近年来，电商评论数据分析技术日益成熟，涵盖了评论爬取、数据清洗、词云生成以及情感分析等多个关键步骤。这些技术不仅帮助企业深入了解消费者反馈，还能提升产品改进和营销策略制定的精准度。