无监督

什么是无监督学习 无监督学习的类型 聚类 降维 异常检测 无监督学习的应用 客户细分 模式识别 欺诈检测

使用密集轨迹和转导学习，细节改进的Matlab代码介绍了一种无监督试管提取算法，用于从视频中提取动作。该方法已在Matlab R2015a上进行了Linux平台测试，并提供了该算法的Matlab实现。如果您认为此无监督试管提取方法对您的研究有帮助，请考虑引用以下文献：@inproceedings{marian2015unsupervised, title={Unsupervised Tube Extraction Using Transductive Learning and Dense Trajectories}, author={Marian Puscas, Mihai and Sangineto, Enver and Culibrk, Dubravko and Sebe, Nicu}, booktitle={Proceedings of the IEEE International Conference on Computer Vision}, pages={1653--1661}, year={2015}. 该算法采用MIT许可证授权。

在本篇文章中，我们将专注于大数据Spark ML机器学习的核心内容，涵盖监督学习和无监督学习的关键方法。主要涉及以下几种算法： 1. 分类算法 分类算法在监督学习中应用广泛，如逻辑回归和决策树，适用于对数据进行类别标记并进行准确预测。 2. 回归算法 回归算法帮助我们在监督学习中构建精确的预测模型，例如线性回归和支持向量机，尤其适用于数值预测。 3. 聚类算法 在无监督学习中，聚类算法用于将数据点分成组，如K-means和层次聚类，适用于数据分组和发现隐藏模式。 4. 推荐算法 推荐算法广泛应用于个性化推荐系统，通过分析用户行为数据生成个性化推荐，如协同过滤算法。 5. 频繁模式挖掘算法 此类算法用于挖掘数据集中频繁出现的模式，比如关联规则挖掘，有助于发现数据的潜在关联性。 该文章将为您详细介绍这些算法在Spark ML中的应用，提供深入的实战案例。

Vanilla Temporal Pooling是由中国哈尔滨工业大学语音实验室的Jiqing Han和Shiwen Deng开发的一种音频信号无监督时序特征学习方法。该方法利用非线性支持向量回归(SVR)直接连接BoAW直方图序列与时间索引，有效地捕获任意持续时间的音频信号时间动态模型。此外，为了提升特征表示的信号重构能力，我们还嵌入了稀疏编码方法于传统的BoAW框架中。如果您对我们的研究感兴趣，请引用：@article{zhang:2018:temporal pooling, title={Unsupervised Temporal Feature Learning Based on Sparse Coding Embedded BoAW}, author={Liwen Zhang, Jiqing Han and Shiwen Deng}, conference={Interspeech}, year={2018}.

Prim Matlab代码用于无监督图像匹配和目标发现，由Huy V. Vo等人于CVPR 2019提出。入门代码使用Matlab 2017a编写，可能需要修改以适应其他版本。安装步骤：首先执行git clone https://github.com/vohuy93/OSD.git，然后cd OSD。依赖关系：下载使用随机Prim算法生成区域建议的代码，并放入UODOptim/文件夹，执行git clone https://github.com/smanenfr/rp.git，接着运行cd rp; matlab -r "setup"。测试代码主要在VOC_6x2上运行，脚本为scripts/run_UOD.m，在终端中从UODOptim文件夹运行cd scripts; matlab -r "run_OSD"。引文格式：@INPROCEEDINGS{Vo19UOD, title = {Unsuperv

无监督学习是一类强大的机器学习方法，其核心在于从无标签数据中学习内在结构和模式。常见的无监督学习技术包括： 聚类分析: 将数据点划分为不同的组，使得组内相似度高，组间相似度低。 主成分分析 (PCA): 一种降维技术，通过线性变换将原始数据映射到低维空间，保留数据的主要特征。 稀疏编码与学习: 通过学习一组基向量，将数据表示为这些基向量的稀疏线性组合，从而实现特征提取和降维。

空手道俱乐部（Karate Club）是一个无监督学习的扩展库，专注于图形数据。它集成了最先进的方法，可用于节点和图级别的网络嵌入技术，并提供各种重叠和不重叠的社区检测方法。该框架涵盖了广泛的网络科学、数据挖掘、人工智能和机器学习领域，适用于多个会议、研讨会和期刊。新引入的图分类数据集可从相关资源获取。如果空手道俱乐部及其数据集对您的研究有帮助，请考虑引用相关文献。

FastAlign是一个简单、快速且无监督的Matlab代码IST，用于字对齐。如果您使用此软件，请确保遵循适当的引用要求。源代码可在此存储库中找到。输入格式要求将句子对按照 ||| 分隔，并进行标记化处理。示例包括德语-英语平行语料库的使用。构建FastAlign需要现代C++编译器和构建系统，同时可以优化性能使用OpenMP库。

非监督分类与监督分类流程对比 | 流程步骤 | 监督分类 | 非监督分类 | 备注 ||---|---|---|---|| 1. 初步分类 | √ | √ | || 2. 选择训练样本 | √ | | 仅监督分类需要 || 3. 确定分类器 | √ | | 仅监督分类需要 || 4. 分类合并专题判断 | | √ | 仅非监督分类需要 || 5. 分类后处理 | √ | √ | || 6. 检验分类结果 | √ | √ | || 7. 统计分析、输出结果 | √ | √ | |

本研究利用VGG16卷积神经网络对微观结构图像进行特征提取，并结合M3C聚类算法实现无监督分类。 数据与方法: 本研究使用包含1925张图像的数据集，从中随机选取100张进行分析。 首先，利用预训练的VGG16网络提取图像特征，具体而言，使用第五个卷积层的输出，并进行平均池化以降低特征维度。 接着，使用M3C聚类算法对提取的特征进行聚类分析，确定最佳聚类数量。 最后，利用项目共识值识别高置信度和不明确的数据，用于后续半监督学习框架的训练。 数据共享: Python、R和Matlab之间的数据共享通过Excel文件实现。 所需软件包: Python: Keras, Numpy, Xlsxwriter, Xlrd, Sklearn, Seaborn, Matplotlib, copkmeans R: M3C, ConsensusClusterPlus Matlab: S4VM 代码使用: 将所有代码文件下载到同一文件夹，并在Python、R和Matlab中设置该文件夹为工作目录。 提供了一个包含预期输出结果的Excel文件，用于验证代码执行结果。