档提供了企业数据中心系统平台技术方案建议书,涵盖总体建设方案、功能框架、技术架构、数据流图等内容。该方案帮助企业建立一个完整的数据中心系统,涵盖IT基础设施、企业级ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台等模块。
总体建设方案
本方案的总体建设思路图表明,数据中心系统平台的建设需要从总体上考虑整个系统的架构,包括IT基础设施、企业级ETL平台、存储与计算中心、服务层、应用层、统一门户、统一平台管控等模块。
功能框架
本方案的功能框架系统分为企业级ETL平台、存储与计算中心、服务层、应用层、统一门户、统一平台管控六个模块。企业级ETL平台负责数据采集、加工、汇总、分发等过程,存储与计算中心提供统一的数据存储与计算,服务层提供数据共享服务,应用层提供应用服务,统一门户提供统一的域名分配、鉴权管理等功能,统一平台管控提供数据、应用、资源的统一管控。
技术架构
本方案的技术架构分为数据采集、计算存储服务、数据共享服务、平台管控四个模块。采用Hadoop云技术,可以满足计算能力线性扩展、多租户能力、数据汇总能力。计算存储服务采用Hadoop的HDFS文件系统提供大数据存储,基于Yarn提供跨平台的资源管理。数据共享服务采用基于HTTP协议的OpenAPI完成同步处理与基于消息队列(MQ)完成异步处理,实现类SOA面向服务的架构体系。
数据流图
本方案的数据流图表明,Mc信令(实时)数据通过Socket消息适配模块接入至Esper计算引擎进行实时处理,向应用提供事件API服务,支撑实时营销应用。非实时数据通过非实时ETL方式装载到Hadoop的HDFS文件系统,实现全量数据留存。
本方案帮助企业建立一个完整的数据中心系统,涵盖IT基础设施、企业级ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台等模块,并提供了详细的技术架构和数据流图,供企业参考和实施。