Konstanz 信息挖掘工具 (KNIME)

数据挖掘学习主要集中在weka和KNIME两个工具上。weka支持分析模块的直接API调用，方便集成到项目中，并提供直观的GUI进行数据分析。KNIME虽然无法直接调用分析API，但其界面清爽易用，可以与R和weka结合使用。考虑到实际应用需求，决定使用weka作为主要数据挖掘工具，利用其Java开发的特性和多样的分析算法来解决问题。

Web刮板是一个后台工具，利用Google Chrome无头浏览器进行网页抓取。要求Node.js版本需大于8.x或在Docker环境中运行。通过以下步骤启动API：手动克隆git仓库：git@github.com:digestoo/web-scraper.git，切换到目录web-scraper，运行npm install，设置端口为8080并启动npm。API支持环境变量设置：PROXY_URL用于代理网址，EXECUTABLE_PATH用于自定义Google Chrome路径（在chrome://version中可找到），USER_DATA_DIR指定用户配置文件路径，SLOW_MO用于指定操作减慢的毫秒数，HEADLESS=false可关闭无头模式，全局用户代理设置USER_AGENT。如在本地运行遇到问题，请参阅相关文档。

数据信息中的\"@data\"标记独占一行，其余是各个实例的数据。每个实例占一行，实例的各属性值用逗号\",\"分隔。如果某个属性的值是缺失值（missing value），则用问号\"?\"表示，且这个问号不能省略。例如：@data sunny,85,FALSE,no ?,78,90,?,yes

初步了解数据挖掘的基本概念、功能、目标和方法，探索信息检索的实质。

广工大四专业课课程PPT探讨了数据挖掘和信息安全两门课程的关键内容。

结合大数据和云服务 内容概述

提出了一种基于在线信息服务平台的数据二次整合模型，并使用 VC 开发工具实现了二次挖掘的框架。

数据挖掘区别于传统的查询、报表、联机分析等数据分析方式，其核心在于无需预设假设，直接从数据中挖掘信息、发现知识。 数据挖掘的目标是发现那些先前未知、切实有效且具有实用价值的信息。 先前未知意味着这些信息是预先无法预料的，甚至可能与直觉相悖。 有效性保证了信息的可靠性和准确性，能够为决策提供支持。 实用性则强调信息能够应用于实际场景，解决实际问题。 例如，一家连锁店通过数据挖掘发现看似毫无关联的商品——婴儿尿布和啤酒——之间存在着惊人的联系，这便是数据挖掘发现未知信息的典型案例。

使用 Parquet CLI 查看 Parquet 文件的元数据，可了解文件中的行组数量、行组大小、列编码、列统计信息、字典编码回退和索引信息。