学习笔记|最大熵模型学习的拟牛顿法
量化策略s
发表于
最大熵模型学习还可以用拟牛顿法。
对于最大熵模型而言，
目标函数：
（可参见学习笔记|最大熵模型学习的IIS法）
梯度：
其中
i=1,2,...,n
相应的拟牛顿法BFGS算法如下。
最大熵模型学习的拟牛顿法：
输入：特征函数；经验分布，目标函数f(ω)，梯度，精度要求ε；
输出：最优参数值；最优模型。
（1）选定初始点，取为正定对称矩阵，置k=0；
（2）计算。若，则停止计算，得；否则转（3）；
（3）由求出；
（4）一维搜索：求使得
（5）置；
（6）计算，若，则停止计算，得；否则，按下式求出：
其中，
（7）置k=k+1，转（3）。
参考文献
【1】统计学习方法（第2版），李航著，清华大学出版社