Nutch

Apache Nutch 2.3.1 源码压缩包包含网络爬虫的完整源代码，采用ivy2进行依赖管理，并可通过 ant runtime 进行编译。

2004年诞生的Nutch搜索引擎，其基于Lucence的架构能够高效抓取互联网网页数据。然而，随之而来的海量非结构化数据存储问题成为了Nutch发展的瓶颈。关系型数据库无法有效处理此类数据，而解决数据存储和管理是提供搜索服务，包括算法优化检索速度等后续工作的基础。

Seeker 实现了一个搜索引擎，采用 Apache Nutch 抓取指定域名的网页，并通过 Apache Hadoop 构建倒排索引。利用 MongoDB 数据库存储数据和索引，提升响应速度和扩展性。该系统采用 REST Web 服务与部署在 Apache Tomcat 服务器上的 Web 应用程序通信。网页排名依据 TF-IDF 算法和链接分析算法确定。

Hadoop是由Apache Lucene创始人Doug Cutting创建的。Lucene是一个应用广泛的文本搜索系统库，而Hadoop起源于开源的网络搜索引擎Apache Nutch。它最初作为Lucene项目的一个重要核心组成部分。内容：Hadoop 2.6.5的源代码，适用于进一步的开发与学习。