双随机梯度

Matlab代码abs Double_Stochastic_Gradients双随机梯度的代码此存储库包含两个用于大规模内核方法的双随机梯度实现[1]。第一个是在MNIST 8M数据集上的Matlab代码实现。第二个是基于cuda-convnet包的GPU实现[2]。参考[1]戴博、谢博、鸟鹤、梁颖玉、阿南特·拉吉、玛丽亚-弗洛里娜·巴尔坎和乐松。通过双随机梯度的可扩展内核方法。arXiv：1407.5599：[2]

介绍了在Matlab中使用随机梯度下降（SGD）算法优化期权预算的方法。该方法是基于L. Bottou的SGD和Inria的JSGD的变体，允许用户通过接口选择任意目标函数进行优化（类似于Schmidt的minFunc）。提供的源代码和示例展示了如何使用softmax目标函数进行实现。相比于传统的梯度下降（GD）方法，SGD能够更有效地处理大规模数据集，并减少计算梯度的负担。

fmin_adam是来自Kingma和Ba的Adam优化算法，它使用自适应学习率的梯度下降，并对每个参数单独应用Momentum。Adam设计用于解决随机梯度下降问题，适合在使用小批量数据估计每次迭代的梯度时，或在随机dropout正则化的情况下使用。有关用法，请参考以下格式： [x, fval, exitflag, output] = fmin_adam(fun, x0, stepSize, beta1, beta2, epsilon, nEpochSize, options] 有关详细参考，请查看功能帮助。GitHub存储库中包含多个示例： [https://github.com/DylanMuir/fmin_adam]。参考文献：[1] Diederik P. Kingma，Jimmy Ba. “亚当：随机优化方法”

这份MATLAB代码包含了雅各比迭代的原型实现，以及用于生成算法收敛图的脚本。详细设置说明可在文件夹SETTING-UP中找到，包括所需库的下载指南、代码位置及构建运行的步骤。matrix_list.txt列出了代码所用矩阵的清单。编辑此文件以自定义矩阵列表，并执行cd matrices/download.sh下载矩阵及其对应的右侧向量。要在所有矩阵上运行算法，请执行cd data/produce_data.sh。该脚本将输出保存在data/文件夹中。算法的线程数和MIS_PER_EPOCH参数在produce_data.sh中定义，后者决定了主要迭代次数与每个时期的评估频率。使用make_plot.m脚本生成收敛图。

我们考虑了两个正则化项，其中一个是由线性函数组成的，涉及广泛的正则化随机最小化问题。该优化模型抽象了人工智能和机器学习中的许多重要应用程序，如融合的套索和图导正则化逻辑回归。该模型的计算挑战包括两个方面：一是封闭形式解决方案不可用，二是当输入数据样本数量庞大时，目标中期望值的完整梯度计算非常昂贵。为了解决这些问题，我们提出了一种随机的超梯度方法，即随机原始-对偶近邻超梯度下降（SPDPEG），并分析了其在凸目标和强凸目标上的收敛性。对于一般的凸目标，SPDPEG生成的均匀平均迭代将以O（1 / t）速率收敛。对于强凸目标，SPDPEG生成的均匀和非均匀平均迭代分别以O（log（t）/ t）和O（1 / t）速率收敛。已知所提出算法的速率顺序与一阶随机算法的最佳收敛速率相匹配。融合逻辑回归和图导正则化逻辑回归问题的实验表明，所提出的算法执行效率非常高，并且始终优于其他竞争算法。

这个算法用于计算函数的梯度。

实现梯度下降法的 Matlab 程序，需要输入具体参数。

LightGBM 是一款开源、高效的梯度提升算法库。它以其轻量级、高性能而著称，在机器学习领域广泛应用，尤其适合处理大规模数据集。

这项改进稍微修改了MATLAB用于GPU数组的梯度计算函数，显著提高了处理大型数组（例如1024*256数组）的速度，速度提升达到2-5倍。

Matlab研究室上传的视频均含完整可运行代码，适合新手。主函数为main.m，其他文件为调用函数。操作简易，适用Matlab 2019b及以上版本。详细步骤包括将文件放入当前文件夹、打开main.m并运行，程序将生成运行结果。提供仿真服务，如定制程序和科研合作，请私信博主。