大数据分析平台总体架构：数据管控层电商实践方案

大数据分析平台总体架构——数据访问层 即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看。 多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等。 主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警。 决策层管理层业务人员即席查询静态报表多维分析仪表盘挖掘预测 仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持。 静态报表：按照预先定义格式，批处理报表，在线查询报表等。 Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度。 问题发现Office集成Web服务 挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值。 数据科学家业务系统 Web服务：将分析应用的功能发布为Web服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果。 多种展现形式满足各层级用户及应用系统使用需求。

在大数据分析平台的设计中，结合非结构化和半结构化数据管理分析，采用X86 MPP集群和Hadoop集群等技术，实现了京东业务系统的结构化数据计算和沙盘演练功能。此外，还包括数据交换平台、实时分析平台以及历史归档查询平台等多个关键组件，全面支持大数据区的管理和应用。

电商与金融大数据平台：数据产生层架构解析 结构化数据 电商零售业务：供应商、采购、商品、销售等信息，存储于关系型数据库。 金融集团业务：客户、账户、金融产品、交易等信息，存储于关系型数据库。 非结构化数据 企业内部：用户访问日志、投诉、点评等，存储形式多样化。 企业外部：政策法规、互联网信息、地理位置、社交媒体等，以非结构化数据为主。 源数据获取 增量为主，全量为辅：优先获取增量数据，辅以全量数据加载。 云数据推送平台：通过分析源系统日志识别、获取增量数据。 初始数据加载：对于无法获取增量的系统，采用全量模式进行初始加载。

在电商大数据实践中，企业内外部的非结构化和半结构化数据被采集并存储，经过结构化处理后，最终得到用于数据模型的结构化数据。数据按照HDFS文件存储，并建议保留1年。平台包括集市区、沙盘区、增值产品区、主题区和归档区，支持批量作业访问。少量高级业务人员利用MapReduce分布式计算进行大数据分析，包括文本检索、语义分词、图像识别和音频识别。与主题区和贴源区形成Hadoop集群（HDFS），保证无单点故障，实现全天候运行。平台还支持历史数据查询和归档，使用Hive提供查询服务。另外，独立的Hadoop集群（HDFS+Hive）同样具备高可用性，保证数据按照归档规则存储，支持历史数据的有效管理。

通过加强业务协作，将分散在供应链金融、人人贷、保理等业务系统中的数据集中整合到数据平台，建立企业级视图，促进业务的集成和协作。这不仅为企业级分析和交叉销售提供基础，还为金融业务创新创造了有利条件。同时，提升数据建设效率和数据质量，改善企业整体数据的实用性和安全性，有效推动IT系统的建设和运行效率。

电商大数据实践已经在外部非结构化数据统一制定目标和分析模型自定义报表工具行列简单定义方式多种格式报表集团决策层集团职能管控层各级业务操作层关注集团主要经营指标业务人员使用BI应用实现业务协作和创新BI分析工具供应链金融系统POP系统其他业务系统云数据推送平台已实现了主要零售及金融业务系统数据清洗整合，为未来金融集团数据平台提供了丰富的数据源。通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力采购管理系统查看职能部门的业务经营情况统一定义BI应用统一划分分析主题统一设计数据模式统一规划分析方法统一部署技术基础

京东金融大数据分析平台的整体架构演示文稿，可供架构设计参考。

大数据分析平台一期硬件配置（续）所有服务器均采用开放的X86架构，单台服务器建议配置如下：服务器类型服务器功能数量CPUMemory网口操作系统内置盘数据交换平台数据接口服务器51664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1流程调度&ETL平台流程调度&ETL服务器71664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1元数据服务器Hive元数据库服务器21664G210GbtCentos 6.34600GB 15K SAS disks RAID 0+1管理分析平台数据集市服务器432128G410GbtCentos 6.32300GB 15K SAS disks RAID 0+11632128G210GbtCentos 6.314300GB 15K SAS disks RAID 0+1内存数据库服务器420256G210GbtSLES for SAP applications 11 SP28 600GB 10k SAS disks RAID 5BI应用服务器21664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1WEB服务器21664G210GbtCentos 6.32600GB 15K SAS disks RAID 0+1

电商大数据分析平台演进路线 本方案以电商大数据实践为背景，详细阐述大数据分析平台的演进路线、实现步骤与设计方案。 第一阶段：基础平台搭建 (2013年) 以基础平台搭建为主，配合初期业务开展。 应用建设从客户信息管理、风险管理和运营管理三方面开展。 搭建大数据处理平台和实时分析平台。 应用方面开展实时分析和数据产品封装。 开展客户信息管理、信用风险评级和业务统计分析三类应用建设。 开展贴源数据整合，初步建立企业级数据视图。 实现对管理分析类应用和实时分析类应用的支撑。 规划数据管控蓝图，初步实施数据质量和技术元数据管理。 第二阶段：深化分析体系 (2014年-2015年) 全面开展内部管理分析、实时分析和沙盘演练应用建设。 初步展开增值数据产品开发工作。 全面开展大数据分析平台建设，引入更多数据源。 丰富并完善平台数据区建设。 随着应用体系的搭建，完善数据质量和元数据建设。 开展数据标准化工作。 深化分析体系，形成深度智能化业务分析。 第三阶段：持续优化提升 (2015年以后) 性能持续优化、数据平台持续完善。 持续深化数据管控体系，形成金融集团企业级的数据管控体系。 总结 该方案涵盖了大数据分析平台从基础搭建、深化分析到持续优化的完整演进路线，为电商企业构建高效、智能的大数据分析体系提供了清晰的路径和指导。