解锁无约束最优化问题的两大法宝

求解无约束最优化问题的途径主要分为两大类:直接搜索法和梯度法。

  • 直接搜索法:适用于目标函数高度非线性、导数难以获取或计算的情况。常用的方法包括:
    • 单纯形法
    • Hooke-Jeeves搜索法
    • Pavell共轭方向法
  • 梯度法:在目标函数的导数可求的情况下,梯度法展现出更优越的性能。常见的方法有:
    • 最速下降法
    • Newton法
    • Marquart法
    • 共轭梯度法
    • 拟牛顿法

MATLAB优化工具箱提供了强大的工具来应对无约束非线性规划问题,例如 fminuncfminsearch 函数。