Pegasos 算法通过迭代优化目标函数来计算权重向量 W。在每次迭代中,算法会根据选择的样本数据和当前的权重向量计算损失函数的梯度,并根据梯度更新权重向量。

具体来说,Pegasos 算法的权重向量更新规则如下:

  1. 初始化: 将权重向量 W 初始化为零向量或随机向量。
  2. 迭代更新: 对于每次迭代 t,执行以下步骤:
    • 从训练数据集中随机选择一个样本 (x, y)。
    • 计算预测值:ŷ = sign(Wᵀ * x)。
    • 如果预测错误 (ŷ ≠ y),则更新权重向量:W = (1 - λ/t) * W + (η * y * x)。
    • λ 是正则化参数,用于控制模型的复杂度。
    • η 是学习率,用于控制每次更新的步长。
    • 如果预测正确 (ŷ = y),则更新权重向量:W = (1 - λ/t) * W。
  3. 重复步骤 2 直到达到预设的迭代次数或损失函数收敛。

最终得到的权重向量 W 即为 Pegasos 算法学习到的模型参数。