混合モデル

1918年、ロナルド・フィッシャーが関連する項目間の特性を変量効果モデルとして導き出した事に由来する[1]。1950年代、チャールズ・ヘンダーソンが固定効果モデルである最良線形不偏推定量（BLUE）および変量効果モデルである最良線形不偏予測量（BLUP）を規定した[2][3][4][5]。

その後、混合モデルは最尤推定量、非線形混合効果モデル、欠測のあるモデル、混合効果モデルのベイズ推定量の計算等に用いられるようになった。混合モデルは各測定点での値が相互に影響し合うケースに用いられ、現在ではヒトに対する臨床試験や動物実験で汎用されているほか、工業統計においても使用されている。

行列を用いて以下の様に記述する。

${\displaystyle {\boldsymbol {y}}=X{\boldsymbol {\beta }}+Z{\boldsymbol {u}}+{\boldsymbol {\epsilon }}}$

ここで、

• ${\displaystyle {\boldsymbol {y}}}$ は既知の測定値ベクトルであり、その平均は ${\displaystyle E({\boldsymbol {y}})=X{\boldsymbol {\beta }}}$ である。
• ${\displaystyle {\boldsymbol {\beta }}}$ は固定効果の未知ベクトルである。
• ${\displaystyle {\boldsymbol {u}}}$ は変量効果の未知ベクトルであり、その平均は ${\displaystyle E({\boldsymbol {u}})={\boldsymbol {0}}}$ で、分散共分散行列は ${\displaystyle \operatorname {var} ({\boldsymbol {u}})=G}$ である。
• ${\displaystyle {\boldsymbol {\epsilon }}}$ は測定誤差の未知ベクトルであり、その平均は ${\displaystyle E({\boldsymbol {\epsilon }})={\boldsymbol {0}}}$ で、分散は ${\displaystyle \operatorname {var} ({\boldsymbol {\epsilon }})=R}$ である。
• ${\displaystyle X}$ ならびに ${\displaystyle Z}$ は各々、${\displaystyle {\boldsymbol {y}}}$ から ${\displaystyle {\boldsymbol {\beta }}}$ ならびに ${\displaystyle {\boldsymbol {u}}}$ の測定値に関する既知の計画行列である。

${\displaystyle {\boldsymbol {y}}}$ と ${\displaystyle {\boldsymbol {u}}}$ の結合密度関数は次の様に書ける: ${\displaystyle f({\boldsymbol {y}},{\boldsymbol {u}})=f({\boldsymbol {y}}|{\boldsymbol {u}})\,f({\boldsymbol {u}})}$

${\displaystyle {\boldsymbol {u}}\sim {\mathcal {N}}({\boldsymbol {0}},G)}$ と ${\displaystyle {\boldsymbol {\epsilon }}\sim {\mathcal {N}}({\boldsymbol {0}},R)}$ および ${\displaystyle Cov({\boldsymbol {u}},{\boldsymbol {\epsilon }})={\boldsymbol {0}}}$ には正規分布を仮定し、${\displaystyle {\boldsymbol {\beta }}}$ と ${\displaystyle {\boldsymbol {u}}}$ の同時密度関数（結合密度関数とも）を最大化すると、ヘンダーソンの“mixed model equations (MME)”が得られる[6][2][4]。

${\displaystyle {\begin{pmatrix}X'R^{-1}X&X'R^{-1}Z\\Z'R^{-1}X&Z'R^{-1}Z+G^{-1}\end{pmatrix}}{\begin{pmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {u}}}\end{pmatrix}}={\begin{pmatrix}X'R^{-1}{\boldsymbol {y}}\\Z'R^{-1}{\boldsymbol {y}}\end{pmatrix}}}$

このMMEを解く時、 ${\displaystyle \textstyle {\hat {\boldsymbol {\beta }}}}$ と ${\displaystyle \textstyle {\hat {\boldsymbol {u}}}}$ はそれぞれ、${\displaystyle {\boldsymbol {\beta }}}$ と ${\displaystyle {\boldsymbol {u}}}$ の最良線形不偏推定量（BLUE）と最良線形不偏予測量（BLUP）である。これは、目的変数の条件付き分散が単位行列のスカラー倍にならない場合のガウス＝マルコフの定理の解である。条件付き分散が既知である時、逆分散の加重最小二乗推定値はBLUEであるが、条件付き分散が既知であることは稀である。従ってMMEを解く時は、分散と加重推定値を同時推定する必要がある。

この様な混合モデルに適用する方法の一つとして、EMアルゴリズム[7]がある。EMアルゴリズムにおいては分散成分が結合尤度における未観測の局外パラメータとして扱われる。現在は、R言語（「nlme」ライブラリの「lme」関数）やSASシステム（「proc mixed」プロシジャ）に実装されている。混合モデル式の解法として、誤差が正規分布する場合は最尤推定法を用いる[8][9]。

• Milliken, G. A., & Johnson, D. E. (1992). Analysis of messy data: Vol. I. Designed experiments. New York: Chapman & Hall.
• West, B. T., Welch, K. B., & Galecki, A. T. (2007). Linear mixed models: A practical guide to using statistical software. New York: Chapman & Hall/CRC.

• 線型回帰
• 分散分析
• 一般線形モデル
• 一般化線形モデル
• 一般化線形混合モデル
• 固定効果モデル
• 変量効果モデル（またはランダム効果モデル）
• マルチレベルモデル
• Mixed-design analysis of variance
• 反復（繰り返し）測定デザイン（Repeated measures design）

統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
要約統計量	連続確率分布 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック-ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数 ・ケンドールの順位相関係数 ）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 <! -- 名前に回帰とついていますが確率を回帰する分類手法です --> 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法 （k-means++法 ） DBSCAN 密度推定 カーネル密度推定 （ カーネル ） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉表示 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存分析	生存関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ