数据分析平台

海量数据时代，数据分析需求紧迫。京东金融构建大数据分析平台，助力企业有效利用数据实现精准决策。

大数据分析平台Spark在“蘑菇云”行动中发挥了关键作用。

随着互联网、移动互联网和物联网的蓬勃发展，我们已经置身于海量数据的时代。据数据调查公司IDC预测，到2011年，全球数据总量将达到1.8万亿GB。在这样的背景下，对海量数据进行精准分析已经成为一项非常紧迫的需求。

Apache Kylin是一个开源的分布式分析引擎，提供基于Hadoop的SQL查询接口和多维分析（OLAP）功能，支持处理超大规模数据。最初由eBay公司开发并贡献给开源社区。它能够在亚秒内查询庞大的Hive表。本资料涵盖了移动、百度、美团和京东等企业在Kylin平台上的实际建设案例。

在ArcGIS平台上，大数据分析和挖掘正成为关键的研究方向和实践应用领域。利用其强大的空间数据处理能力，ArcGIS正在推动大数据时代下地理信息系统的革新和应用拓展。

京东金融大数据分析平台的整体架构演示文稿，可供架构设计参考。

深入探讨了基于Hadoop平台的大数据分析技术的发展及功能模块的应用，对关键技术进行了比较分析，并优化了整体结构框架，以便数据分析平台在各种场景下都能发挥作用。

利用通信CDR数据库进行后台操作和数据分析，便于深入了解通信行为模式和优化网络性能。

这本书是关于大数据分析的教科书，由斯坦福大学知名教授Anand Rajaraman和Jeff Ullman整理编写而成，内容非常实用。

在电商大数据实践中，企业内外部的非结构化和半结构化数据被采集并存储，经过结构化处理后，最终得到用于数据模型的结构化数据。数据按照HDFS文件存储，并建议保留1年。平台包括集市区、沙盘区、增值产品区、主题区和归档区，支持批量作业访问。少量高级业务人员利用MapReduce分布式计算进行大数据分析，包括文本检索、语义分词、图像识别和音频识别。与主题区和贴源区形成Hadoop集群（HDFS），保证无单点故障，实现全天候运行。平台还支持历史数据查询和归档，使用Hive提供查询服务。另外，独立的Hadoop集群（HDFS+Hive）同样具备高可用性，保证数据按照归档规则存储，支持历史数据的有效管理。