解锁无约束最优化问题的两大法宝
求解无约束最优化问题的途径主要分为两大类:直接搜索法和梯度法。
- 直接搜索法:适用于目标函数高度非线性、导数难以获取或计算的情况。常用的方法包括:
- 单纯形法
- Hooke-Jeeves搜索法
- Pavell共轭方向法
- 梯度法:在目标函数的导数可求的情况下,梯度法展现出更优越的性能。常见的方法有:
- 最速下降法
- Newton法
- Marquart法
- 共轭梯度法
- 拟牛顿法
MATLAB优化工具箱提供了强大的工具来应对无约束非线性规划问题,例如 fminunc
和 fminsearch
函数。