topn

该数据集适用于使用Spark框架进行大规模数据TopN计算的场景。

TopN：获取指定分组内满足指定条件的前N行数据。RowNumber：获取当前行在分组内排序后的行号。Rank：获取当前行在分组内去重排序后的行号。DenseRank：获取当前行在分组内不去重排序后的行号。

1. 背景 在学习MapReduce框架时，为更好掌握其在大数据处理中的应用，我们着重在此项目中实现TopN中文词频统计。该实验通过MapReduce对汉字词频进行统计，并输出频率最高的TopN中文词汇。 2. 实验目标 实现英文词频统计，并掌握其MapReduce实现流程。 使用中文分词工具，实现中文词频统计。 重点实现TopN中文词频统计，掌握从数据处理到TopN结果的完整流程。 3. 实现过程 （1）英文词频统计：先通过MapReduce进行英文文本的分词统计，处理后输出英文单词的词频。 （2）中文词频统计：借助中文分词工具，针对输入的中文文本实现汉字或词组的频次统计。 （3）TopN中文词频统计：在实现词频统计的基础上，利用MapReduce的Reduce阶段对统计结果进行汇总，并从中筛选出词频最高的TopN词汇，写入输出文件。 4. 项目实现要点 Map阶段：主要负责读取并分词输入文本，对单词或汉字进行计数。 Reduce阶段：聚合相同词语的计数值，并对结果进行排序以实现TopN统计。 5. 总结 本项目深入探索了MapReduce在文本词频统计中的应用，尤其是实现中文TopN词频统计的方法，为之后的大数据框架学习提供了基础实践。项目代码及实现细节后续将打包分享，供大家参考学习。