《统计学习方法》是机器学习领域的经典教材，由李航老师编写。第二版深入介绍了各种机器学习算法，包括今天要讨论的k-近邻（k-Nearest Neighbor，简称k-NN）算法。k-NN算法是一种实用的监督学习方法，用于分类和回归问题。它基于实例学习，通过查找训练集中与未知样本最接近的k个已知样本来预测未知样本的类别或数值。k-NN算法的核心思想是“近朱者赤，近墨者黑”，即认为一个样本的属性值应与其周围最邻近的样本相似。在实际应用中，我们需确定合适的k值，通常选择较小的整数如3、5或7，以影响算法性能。该算法包括数据预处理、距离计算、最近邻选择、预测、模型评估和调优等步骤。虽然k-NN算法简单易懂，但在大数据集上计算复杂，对数据规模和k值选择敏感。