DTU数据挖掘课程创建的在线Python项目

这是Coursera提供的一门关于数据挖掘的在线课程。

Turbot的安装方法是通过运行python setup.py install命令完成。导入Turbot库后，可以创建Turbot对象并使用它来回答问题，例如“Bjarne Stroustrup的出生日期是1950年12月30日”，或确认“天空是否是蓝色”。

此存储库包含我完成的清华大学机器学习和数据挖掘课程项目。

建议在设置应用程序时使用virtualenv。要安装所需的模块，只需键入： python setup.py install。在某些计算机上，此命令一开始可能会失败，因为numpy没有使用setuptools正确安装。要解决此问题，请直接使用pip安装numpy，如pip install numpy==1.9.1，然后执行setup.py install。课程信息从xml获取，这是运行应用程序的要求。要将课程导入MongoDB，请运行以下命令： python course_import.py。配置应用程序可以通过添加app.cfg文件或环境变量来完成。

BotScraping是一款用于零售场所的数据挖掘工具，用于采购。该项目已转移到私有存储库，但您仍可以在此处找到INITIAL 2010 PROTOTYPE代码。网页抓取（Web抓取或Web数据提取）是一种使用正则表达式从网站提取信息的计算机软件技术，通常通过模拟对Internet的人类探索来实现，以获取商品、服务或作品。采购是从外部来源购买商品、服务或作品，以满足质量、数量、时间和地点等方面的需求。公司和公共机构通常制定流程，以确保业务的公平和公开竞争，并最大程度地减少欺诈和串通风险。

数据挖掘是信息技术领域的重要分支，涉及从复杂数据中发现有价值信息和模式。华沙大学的数据挖掘课程通过作业和项目，深入培养学生对核心概念和技术的理解。课程内容涵盖数据预处理、分类、聚类、关联规则挖掘和预测等关键技能。学生将学习数据清洗、集成、转换和规约等预处理步骤，以提高后续分析的准确性和效率。分类任务将使用决策树、随机森林、支持向量机等算法进行模型建立和预测。聚类则利用K-means、层次聚类和DBSCAN等算法实现数据分组，无需事先知道类别标签。关联规则挖掘和预测则依赖于Apriori和FP-Growth算法等方法。课程还涉及时间序列分析、回归模型和深度学习技术。学生通过项目展示数据解释能力和沟通技能。

搜索历史频繁模式挖掘是《大数据挖掘技术》@复旦课程项目的关键内容，从搜狗实验室用户的查询日志数据（2008年）中发现具有高支持度的关键词频繁二项集。在技术实施方面，我搭建了一个由五台服务器组成的微型Hadoop集群，并用Python实现了Parallel FP-Growth算法的三个MapReduce过程。为了快速开始，请确保已安装Python以及jieba中文分词库。若未安装jieba，请在命令行中执行：pip install jieba # for python pip3 install jieba # for python3，或直接运行无jieba版本的find_pair_nojieba.py（功能上会缺少关键词近似匹配）。只需运行.src/demo/find_pair.py而无需修改任何文件，即可输入您想匹配的查询词。

问题摘要：学生无法根据他们在课程中的表现以及与课程的在线学习环境(moodle)的互动来预测他们的最终成绩。目的：研究数据挖掘技术，对Moodle上的数据实施最适用的模型，对学生的成绩进行预测。任务包括：研究不同的数据挖掘技术，审查在类似领域实施的模型，查看在所述问题的领域中实现的其他模型。确定最适用于对Moodle格式的数据进行预测的技术，在给定的上下文中设计独特的数据预测模型，比较和评估所选模型与现有数据模型的准确性，展示研究结果，可视化结果。

使用Clementine窗口可轻松创建新项目。 可在没有打开项目的构建状态下创建项目，也可关闭现有项目并重新开始。 在流工作区菜单中，选择“文件”→“工程”→“新建工程...”命令。