点推定における再パラメータ化の衝撃

 点推定における再パラメータ化の衝撃
ボブ カーペンター

2016年4月24日

概要
変数を変更する時、変換の変化率を説明するために、ヤコビアンの調整が必要になります。調整をすることによって、事後確率に対する期待値に基づく推論が再パラメータ化のもとで不変であることが保証されます。一方で、事後分布の中央値は再パラメータ化の結果として変化します。 このノートでは、ベイズ事後確率および事後中央値に対するヤコビアン調整の効果を実証するために、Stanを使用して成功確率を母数に持つ反復2値試験モデルをコード化し、対数オッズの再パラメータ化を行います。 事後中央値はベイズ推定値と同様に、再パラメータ化の元で不変量である最尤推定値と対比します。 途中で、一様分布の変数を変換することによってロジスティック分布を導き出します。

 

変数変換の可視化
$\theta \in (0, 1)$が成功確率だと仮定します。このとき、オッズ比は$\frac{\theta}{1-\theta} \in  (0, \infty)$です。例えば、もし$\theta=0.75$ならばオッズ比は$\frac{0.75}{1-0.75} = 3$で、一方で$\theta=0.25$ならば、オッズ比は$\frac{0.25}{1-0.25}=\frac{1}{3}$です。オッズ比3は便宜的に$3:1$と書かれ、(成功の確率が)"three to one odds"と発音され、一方でオッズ比が$\frac{1}{3}$は$1:3$と書かれ、(成功の確率が)"one to three odds"(もしくは"three to one odds against")と発音されます。もし$\theta=0.5$ならば、オッズ比は$1:1$もしくは"even"です。

対数オッズはそのまま対数化したオッズのことで、ロジット関数:$(0, 1)\rightarrow \mathbb(R)$が、成功確率を$logit(\theta) = log\frac{\theta}{1-\theta}$で対数オッズへ変換します。
対数オッズの素晴らしい点は、ゼロを中心に左右対称ということです。成功確率が0.5である場合、オッズ比は1で、対数オッズは0になります。成功確率が0.75である時には対数オッズはちょうど$log3$になり、大体1.10で、成功確率が0.25なら、対数オッズ比はちょうど$log\frac{1}{3} = -log3$で、大体-1.1です。対数オッズの変換は対称性
$logit(\theta) = -logit(1-\theta)$
を持ち、対象オッズ比においてゼロを中心とした対称事前分布を定義する際に便利です。

それでは、成功確率を意味する、一様に分布する乱変数$\theta \sim Uniform(0,1)$が得られたと仮定します。我々は大量のサンプルからヒストグラムを書くことが出来ます。

```R
theta <- runif(100000, 0, 1);
hist(theta, breaks=20);
```
[Image]

一様分布であることは明らかです。それでは、対数オッズに変換した時には何が起こるでしょうか?

```R
logit <- function(u) log(u / (1 - u));
logit_theta <- logit(theta); hist(logit_theta, breaks=20);
```

[Image]

$\theta$の分布は一様であるが、$logit(\theta)$の分布はまったくそうではなさそうです。 変数の非線形での変化は、いくつかの場所で他よりも分布を引き伸ばします。 いつものようにこの変化率は、以下のヤコビアンの定義で示すように、微分によって定量化されます。 この場合、$logit(z)$の密度を$\theta$とその微分の密度の観点から解析的に定義することができます。 結果は以下のようにロジスティック分布になります。
2018-01-05 20:47:55 / ajhjhaf
原文サイトを表示
[ 原文 ] http://mc-stan.org/users/documentation/case-studies/mle-params.html
Creative Commons License この作品は、クリエイティブ・コモンズ・ライセンスの下でライセンスされています。
クリエイティブ・コモンズ・ライセンス