天气数据分析

这是一份包含南京机场过去四年天气详细数据的数据挖掘数据集，适用于微软商业解决方案。

获取近五年天气数据

搜狗日志数据分析：使用 MapReduce 和 Hive 对搜狗日志数据进行清洗和查询。 用户基站停留数据统计：基于运营商提供的用户基站停留数据进行统计分析。 气象数据温度统计：根据气象数据中心的数据对温度信息进行统计。

信息增益计算示例：以天气数据集为例 本示例使用天气数据集 weather，目标是计算使用属性“wind”（风力）划分数据集 S 所获得的信息增益。 数据集 S： | outlook | temperature | humidity | wind | play ball ||---|---|---|---|---|| sunny | hot | high | weak | no || sunny | hot | high | strong | no || overcast | hot | high | weak | yes || rain | mild | high | weak | yes || rain | cool | normal | strong | no || overcast | cool | normal | strong | yes || sunny | mild | high | weak | no || sunny | cool | normal | weak | yes || rain | mild | normal | weak | yes || sunny | mild | normal | strong | yes || overcast | mild | high | strong | yes || overcast | hot | normal | weak | yes || rain | mild | high | strong | no | 计算步骤： 计算数据集 S 的信息熵。 根据属性“wind”的取值将数据集 S 划分成子集。 分别计算每个子集的信息熵。 计算划分后子集信息熵的加权平均值。 信息增益 = 数据集 S 的信息熵 - 划分后子集信息熵的加权平均值。 具体计算过程: (此处省略具体计算过程，建议参考信息熵和信息增益的计算公式进行计算。) 结果: 通过计算可以得到数据集 S 对属性“wind”的信息增益。

标题“全国天气信息.zip”指出这是一个压缩文件，内含2020年1-3月的中国各地气象数据。数据量超过20万条，涵盖风向、空气质量等多维天气信息，并计划后续更新。压缩包包含“城市天气信息.sql”和“全国城市天气信息.xlsx”两个文件，分别提供SQL数据库格式和Excel表格格式，方便数据分析与处理。

此文件包含江西省南昌市2017-2019年各日的天气信息，数据包括日期、最高温、最低温、天气状况以及风向风速等基础信息。文件适合有需求的用户下载，便于进一步研究和使用。

对比之前的案例，我们注意到当前数据集中缺少了“天气”这一属性。之前的属性及规则如下表所示： | 编号 | 风度 | 温度 | 是否外出 || ---- | ---- | --------- | -------- || 1 | 中 | 20-30℃ | 外出 || 2 | 低 | 30-35℃ | 不外出 || 3 | 大 | 10-20℃ | 不外出 || 4 | 大 | 30-35℃ | 外出 || 5 | 低 | 20-30℃ | 不外出 | 在缺少天气信息的情况下，数据挖掘的结果可能会出现偏差。

利用通信CDR数据库进行后台操作和数据分析，便于深入了解通信行为模式和优化网络性能。

这本书是关于大数据分析的教科书，由斯坦福大学知名教授Anand Rajaraman和Jeff Ullman整理编写而成，内容非常实用。

使用 Python pandas 和第三方包演示功能的数据集，包含于《利用 Python 进行数据分析》中。