MATLAB代码实现逻辑回归的复合正则优化方法随机原始-对偶近邻超梯度方法

MATLAB 中的共轭梯度优化方法是一种用于解决非线性最优化问题的有效算法。它通过迭代地构造共轭方向，逐步逼近最优点。这种方法对于大规模稀疏优化问题尤其有用。

本代码库提供 Matlab 代码，用于论文中基于空间正则化超测度的超光谱图像聚类。SalinasA 和 PaviaU 两个真实 HSI 数据集来自。此外，还可以从代码库访问合成 HSI，即 FourSpheres 和 ThreeCube。

在Matlab中实现了原始DPG方法的二维节点DPG，基于Tim Warburton和Jan Hesthaven的节点DG代码及Leszek Demkowicz和Jay Gopalakrishnan的原始DPG方法。支持四边形和三角形网格，具备三角形网格的自适应性。混合/鞍点公式（Dahmen等人）和带通量的DPG均已实施。示例代码包括：mixDPG_poisson.m和primalDPG_poisson.m，分别展示了在正方形上使用混合DPG公式和原始DPG公式解决带不同BC（D、N、R/C）的泊松问题。参考文献包括：Jan S Hesthaven和Tim Warburton的《节点不连续伽辽金方法：算法、分析和应用》，以及Leszek Demkowicz、Jay Gopalakrishnan的《没有一阶重构的原始DPG方法》（计算机与应用数学，2013年第66卷第6期，1058–1064页）。

fmin_adam是来自Kingma和Ba的Adam优化算法，它使用自适应学习率的梯度下降，并对每个参数单独应用Momentum。Adam设计用于解决随机梯度下降问题，适合在使用小批量数据估计每次迭代的梯度时，或在随机dropout正则化的情况下使用。有关用法，请参考以下格式： [x, fval, exitflag, output] = fmin_adam(fun, x0, stepSize, beta1, beta2, epsilon, nEpochSize, options] 有关详细参考，请查看功能帮助。GitHub存储库中包含多个示例： [https://github.com/DylanMuir/fmin_adam]。参考文献：[1] Diederik P. Kingma，Jimmy Ba. “亚当：随机优化方法”

Matlab代码abs Double_Stochastic_Gradients双随机梯度的代码此存储库包含两个用于大规模内核方法的双随机梯度实现[1]。第一个是在MNIST 8M数据集上的Matlab代码实现。第二个是基于cuda-convnet包的GPU实现[2]。参考[1]戴博、谢博、鸟鹤、梁颖玉、阿南特·拉吉、玛丽亚-弗洛里娜·巴尔坎和乐松。通过双随机梯度的可扩展内核方法。arXiv：1407.5599：[2]

利用四参数逻辑回归模型拟合数据点或进行数据插值。

分位数袋外 (QOOB) 保形是一种用于预测推理的无分布方法。QOOB 主要用于回归问题，但也可以扩展到分类等非回归问题。 使用方法 克隆代码库： git clone https://github.com/AIgen/QOOB.git 运行代码： 需要 MATLAB 环境 (MATLAB 2019b 开发，MATLAB 2019a 测试)。 直接调用 QOOB 生成预测集 代码库包含 QOOB 和其他基线保形方法的实现，可以重现论文 [3] 中 QOOB 与其他保形方法在 11 个 UCI 数据集上的比较结果。

介绍了在Matlab中使用随机梯度下降（SGD）算法优化期权预算的方法。该方法是基于L. Bottou的SGD和Inria的JSGD的变体，允许用户通过接口选择任意目标函数进行优化（类似于Schmidt的minFunc）。提供的源代码和示例展示了如何使用softmax目标函数进行实现。相比于传统的梯度下降（GD）方法，SGD能够更有效地处理大规模数据集，并减少计算梯度的负担。

要运行一个学习者的单个实例，请使用exampleKNN.m脚本。要重新运行实验，请运行deployConfig.m。我们总共实施了五名学习者：随机抽样-按比例随机抽取训练集中标签的比例随机森林-传统的随机森林算法，以固定深度生长自举树-预测由树预测的标签的模式KNN（k最近邻）-从训练集中预测k最近邻标签的模式朴素贝叶斯-假设给定标签的每个特征在条件上均独立于所有其他特征-通过在训练集中计数来学习概率，并根据未归一化的贝叶斯规则预测具有最高概率的标签Logistic回归-传统的logistic回归分类器使用Barzilai Borwein方程对更新进行了梯度下降训练-预测每个输出最可能的标签我们还实现或硬编码了几个伪随机数生成器（PRNG）。除非另有说明，否则每一项我们都支持k = 2、3和5个标签的值。Mercenne Twister-我们在Matlab内置的Mercenne Twister算法的默认实现中包装了一个函数。线性同余生成器-我们已使用Borland C。