Coursera机器学习课程MATLAB主成分回归代码及Python实现示例

本存储库包含Andrew Ng课程中若干练习的Python实现。课程要求学习者使用Octave/MATLAB实现算法如线性回归和逻辑回归，而其他作业则基于课程提供的代码。我将大部分代码改为了现有的Python实现，如Scikit-learn。目前包括线性回归、逻辑回归、多类分类与神经网络、神经网络学习、正则化线性回归与偏差方差、支持向量机、K均值聚类和主成分分析、异常检测与推荐系统等。

此资源涵盖了斯坦福大学Andrew Ng在Coursera平台上教授的机器学习课程，需要约60小时的学习时间投入。课程通过实践教学介绍了机器学习的基础知识，包括线性回归、逻辑回归、神经网络和支持向量机等常见的有监督学习算法。此外，还涵盖了偏差和方差、L2正则化、误差指标以及学习/验证曲线等概念。课程还包括无监督学习算法如k均值聚类和降维技术。最后，课程介绍了推荐系统和大规模机器学习的相关内容。

《Python机器学习》中第五章深入探讨了主成分分析 (PCA) 的概念和应用。PCA是一种用于提取主要特性的降维技术，在机器学习中广泛应用于数据可视化、特征选择和降噪等任务。

这个存储库包含了Andrew Ng教授机器学习课程作业的Python版本。这门课程是最受欢迎的在线机器学习入门课程之一，为学生提供了使用Python进行编程的机会。在过去几年中，Python在机器学习领域的应用迅速增长，因此我决定将所有MATLAB/OCTAVE编程作业重新编写为Python版本，以便学生能够更轻松地使用这个生态系统。这些新的编程作业与课堂教学完美结合，无需使用MATLAB进行任何操作。

基于PCA基本原理编写了主成分分析算法代码，不使用封装函数，且符合吴恩达机器学习课程要求。

主成分回归（PCR）是利用主成分分析（PCA）降维技术结合线性回归建模的方法。PCR通过PCA提取的主成分来减少变量维度，并在此基础上进行回归建模。具体步骤包括：1. 数据标准化，确保各变量在PCA中具有相同重要性；2. PCA，得到主成分集合，捕捉大部分原始变量方差；3. 选择保留的主成分数量，通常根据解释的累积方差百分比确定；4. 使用选定的主成分进行线性回归建模，构建在主成分空间中的模型。

Matlab代码实现了主成分分析（PCA）方法。

机器学习算法Python实现目录一、1、代价函数其中：下面就是要求出theta，使代价最小，即代表我们拟合出来的方程距离真实值最近共有m条数据，其中代表我们要拟合出来的方程到真实值距离的平方，平方的原因是因为可能有负值，正负可能会抵消前面有系数2的原因是下面求梯度是对每个变量求偏导，2可以消去实现代码： #计算代价函数def computerCost(X,y,theta): m = len(y) J = 0 J = (np.transpose(Xtheta-y))(Xtheta-y)/(2m) #计算代价J return J注意这里的X是真实数据前加了一列1，因为有theta(0) 2、梯度下降算法代价函数对求偏导得到：所以对theta的更新可以写为：其中为学习速率，控制梯度下降的速度，一般取0.01,0.03,0.1,0.3.....为什么梯度下降可以逐步减小代价函数假设函数f(x)泰勒展开：f(x+△x)=f(x)+f'(x)△x+o(△x)令：△x=-αf'(x) ,即负梯度方向乘以一个很小的步长α将△x

这是用MATLAB实现的主成分分析法的源代码，包含了数据，可以直接运行。