LM法と信頼領域法

　Levenberg-Marquardt法（LM法）は非線形最小二乗問題を解く有力なアルゴリズムである．現在数値計算で一般的に用いられているのは，信頼領域法を組み合わせた手法である．minpackやGSLは具体的な実装例として非常に有名であり，また数値的にも安定した結果が得られる．1978年のmoreによる"The Levenberg-Marquardt algorithm: Implementation and Theory"が原典である．ただし，論文と実装には初期値選定等にかかわる部分で際が見受けられる．

　何度か解説を残しておこうと試みたのだが，やはり原論文を直接当たるのが良いという結論に達した．理解する上で参考にした文献を残しておく．

• Jorge J. More, "The Levenberg-Marquardt algorithm: Implementation and theory," Lecture Notes in Mathematics, vol. 630, p.105-116, 1978.

これが実装する上での，というかminpackの中身を理解するための原論文．実は非常にわかりやすく書いてあるのだが，入手しにくいのが難点か．院読に普通においてあった，ラッキー．

• University of Chicago, "Minpack," http://www.netlib.org/minpack/
• GNU "GNU Scientific Library," http://www.gnu.org/software/gsl/

有名な実装例．というか，これ以外はあまり性能が良くない．

• 金谷健一，"これなら分かる最適化数学，" P.132--134，共立出版，2005．

非線形最小二乗問題の基本が分かる．

• 矢部博，八巻直一，"非線形計画法，" P.46--52，朝倉書店，1999．

非線形問題全般が，道筋を立ててわかりやすく書いてある．絶版なのが残念．院読にさりげなく置かれていたのと運命的に出会った．

• 梅田靖，``数理計画法--7. 無制約非線形最適化法(2)--，" 大阪大学工学部応用理工学科機械工学科目3年次第1学期講義ノート 2008年度版，http://www-lce.mech.eng.osaka-u.ac.jp/japanese/MP7.pdf

信頼領域法に関して，さらにわかりやすい．

　所感だけでも残しておくか．ヤコビ行列をQR分解して，最後は特異値分解に持ち込んむ．また，ダンピングパラメータλを決めるのに，信頼領域法のHebdenの仕組みを用いる．変数の正規化もやっているが，これだけでは十分な性能が出ないので注意．Intel MKLにも同様のライブラリが用意されているので，こちらを用いても良さそう．特に速いというわけでもない．