EM algorithm（EMアルゴリズム、Expectation Maximization algorithm）について - データサイエンティスト上がりのDX参謀・起業家

EMアルゴリズムはいろんなところで使われます。

基本的には未知パラメータの推定方法の一種です。

とりあえず箇条書でまとめます。

提案論文：Maximun likelihood from incomplete data via the EM algorithm.
Dempster AP, Laird NM and Rubin DB. JRSS B. 39,1-38. 1977.

提案者のRubinは欠測分野、因果推論の権威で次の教科書も書いています。

教科書：The EM algorithm and its extensions.
McLachlan GJ and Krishnan T. Wiley. (1997)

EMアルゴリズムだけで一冊の本が出ているわけですが、この本はBishop本で紹介されてたので良本なのでしょう（@doryokujinさんはこの本で勉強したらしいです）。

残念ながら日本語で分かりやすく説明されている本はありませんでした。

日本語の本を読むより、Bishop本とHastie本を英語のまま読んだ方が分かりやすかったです笑

また@doryokujinさんお勧めのPDF資料はこちらです。

以下、EMアルゴリズムの説明です。

混合正規分布の具体例

この例はBishop本とHastie本の両方でEMアルゴリズムの導入で説明されていました。
目的：観測データに平均と分散の違う2つの正規分布を混合した分布を仮定し、パラメータを推定したい。
- mixture model
- 混合効果モデル（mixed model）とは似て非なるものなので注意！
パラメータ：平均2つ、分散2つ、混合割合1つ

【幾何的イメージ】

【Rでの例】

EMアルゴリズムはパラメータ推定のための計算手順の1つ
「EMアルゴリズム」というパッケージがあるわけではなく、いろいろな場面で使われている
phmmパッケージ
- Cox回帰に混合効果モデルを当てはめて、EステップでMCMCを使ったEMアルゴリズムで推定する
- Vaida, F. and Xu, R. "Proportional hazards model with random effects", Statistics in Medicine, 19:3309-3324, 2000.
mlmmmパッケージ
- 欠測のあるデータに混合効果モデルを当てはめて、EMアルゴリズムとスコア法を組み合わせた方法で推定する
- Schafer, J.L. and Yucel, R.M. (2002) Computational strategies for multivariate linear mixed-effects models with missing values. Journal of the Computational and Graphical Statistics, Volume 11, Number 2, 437–457.
MFDAパッケージ
- 0関数クラスタリング（混合モデルを仮定したクラスタリング？）のパラメータ推定にEMアルゴリズムを使う