金融・投資用語集 > スチューデント化残差

スポンサードリンク

スチューデント化残差

スチューデント化残差（スチューデントかざんさ、studentized residual）とは、統計学において、残差をその標準偏差の推定量で割って補正したものである。スチューデント化は「外れ値」の検出にあたり重要な技法である。

「スチューデント化」の名称はウィリアム・ゴセットの筆名「スチューデント」にちなむ。

誤差と残差

誤差と残差の違いを理解することは非常に重要である。簡単な線形回帰モデル

$Y_i=\alpha_0+\alpha_1 x_i+\varepsilon_i,$

を考えよう。ここで「誤差」 εi, i = 1, ..., n は統計的に独立ですべて同じ分散 σ2 をもつものとする。

残差は真でなく観測もできない誤差ではなく、観測可能なデータに基く誤差の推定値である。最小二乗法で α0 と α1 を推定したとき、（誤差と異なり）残差は、独立ではありえない。なぜなら二者は以下の拘束条件を満たすからである。

$\sum_{i=1}^n \widehat{\varepsilon}_i=0$ $\sum_{i=1}^n \widehat{\varepsilon}_i x_i=0.$

（ここで $\varepsilon_i$ は i 番目の誤差、 $\widehat{\varepsilon}_i$ は i 番目の残差を表す。) さらに、誤差と異なり残差は、同じ分散を持たない。分散は対応する x-値が x-値の平均から遠ざかるにつれ増加する。真の誤差の分散がすべて等しいにもかかわらず残差の分散が異なるという事実は、スチューデント化が必要な主要な理由である。

スチューデント化の手順

この簡単なモデルでは、計画行列は

$X=\left[\begin{matrix}1 & x_1 \\ \vdots & \vdots \\ 1 & x_n \end{matrix}\right]$

であり、「ハット行列」(hat matrix) H は計画行列の列空間へのen:直交射影である。

H = X(XTX) － 1XT.

「てこ値」（てこち、leverage、レバレッジ）hii　はハット行列の第 i 対角要素である。 i 番目の残差の分散は

$\mbox{var}(\widehat{\varepsilon}_i)=\sigma^2(1-h_{ii}).$

対応する「スチューデント化残差」は

${\widehat{\varepsilon}_i\over \widehat{\sigma} \sqrt{1-h_{ii}\ }}$

ここで $\widehat{\sigma}$ は適当な σ の推定量である。

内部スチューデント化と外部スチューデント化

σ2 の推定量は

$\widehat{\sigma}^2={1 \over n-m}\sum_{j=1}^n \widehat{\varepsilon}_j^2$

ここで m はモデルの母数の個数 (この例では 2)である。 i 番のデータが「外れ値」かどうかを検討する時には、i番の観測を分散の推定には用いないことが望ましい。結局、以下の推定量が用いられる。

$\widehat{\sigma}_{(i)}^2={1 \over n-m-1}\sum_{\begin{smallmatrix}j = 1\\j \ne i\end{smallmatrix}}^n \widehat{\varepsilon}_j^2,$

ここで i番の観測を除くすべての観測に基く。後者の推定量を用いる場合、 i 番の観測は「除外された」ので、「外部スチューデント化残差」 (externally studentized residual)または「削除後スチューデント残差」 (deleted studentized residual) という。前者を用いる場合、i 番の観測を「含んだ」ので、「内部スチューデント化残差」 (internally studentized residual) という。

誤差が独立で、期待値 0 で分散 σ2 の正規分布する場合、i 番の外部スチューデント化残差の確率分布はスチューデントのt分布となる。その自由度は n － m － 1 であり、値域は $-\infty$ to $+\infty$ である。

一方、内部スチューデント化残差の値域は $0 \pm \sqrt{\mathrm{r.d.f.}}$ である。ここで自由度は残差の自由度すなわち n － m である。"i.s.r" で内部スチューデント化残差を表し、誤差は独立同一正規分布 (independent identically distributed Gaussian) 変数と仮定すると、

$\mathrm{i.s.r.}^2 = \mathrm{r.d.f.}{t^2 \over t^2+\mathrm{r.d.f.}-1}$

ここで t はt分布でその自由度は r.d.f. － 1 である。実は、上式は i.s.r.2/r.d.f. がベータ分布に従うことを示す。 r.d.f. = 3 のとき、内部スチューデント化残差は $-\sqrt{3}$ and $+\sqrt{3}$ で一様分布する。

自由度が１しかない場合、内部スチューデント化残差を表す上式は適用できない。この場合、内部スチューデント化残差は +1 か -1 のどちらかにそれぞれ 50 パーセントの確率で分布する。

（内部スチューデント化残差分布の標準偏差は常に１であるが、ある実験の内部スチューデント残差の標準偏差がすべて１であることを意味しない。訳者には意味不明。）

文献

英語版元記事に掲げられていたものである。

Residuals and Influence in Regression, R. Dennis Cook, New York : Chapman and Hall, 1982.

この項目「スチューデント化残差」は、数学に関連した書きかけの項目です。加筆・訂正などをして下さる協力者を求めています。（ポータル数学／ウィキプロジェクト数学）

内部リンク

DFFITS

変更履歴
Wikipedia All text is available under the terms of the GNU Free Documentation License.

スチューデント化残差の書籍検索結果

スチューデント化残差

目次

誤差と残差

スチューデント化の手順

内部スチューデント化と外部スチューデント化

文献

内部リンク