Tech Tips

  1. 要素技術
  2. 3127 view

Excel2010を使って t検定 で新手法と旧手法の差を統計的に調べる

Mathmatics

統計的に新手法が既存手法に比べて優れているかどうかを確認するのにはt検定を使う。 t検定はExcelで簡単に実行することができるためその方法を紹介する。
ABテストをやるようなエンジニアの人はこれを覚えておくと、信頼できる形で結果を上司に報告することができるため便利。

この記事はExcelでt検定をやる方法を説明するのがメインのため、その他はかなり雑に説明している。そのため、t検定自体の説明は例えば下記を参考にして欲しい。

環境

  • OS
    • Windows7 Enterprise SP1
  • Office
    • Microsoft Office Professional Plus 2010
  • Excel
    • 14.0.7128.5000(32bit)

t検定 超概要

t検定 とはデータ群AとBの平均に差異があるかどうかを調べるのに使用できる。
t検定 ではデータ群が正規分布という統計的性質を持つことが要求されるので、普通にデータを取得すればたいていはこれは満たされると思うが、気をつけて欲しい。片側検定と両側検定という2種類あるが、新手法が旧手法に対して優れているかどうかを見る場合は片側検定だけで大丈夫。

Excelでの事前準備

Excelでt検定をするためには、「データ分析」というメニューを表示させる必要がある。デフォルトでは表示されない設定になっているため、以下の方法で表示させる。

t検定 excel 1

t検定 excel 2

t検定 excel 3

t検定 excel 4

4つ目の画像の赤枠を見ると分かるように、これで「データ分析」のメニューを出すことができる。

t検定 実行

以下の画像の左端を見ると分かるように、母集団AとBについて同数のデータを集める。データ少なすぎると実行できるので注意。
このデータは、あるシステムの旧手法Aと新手法Bのクリック率(CTR)である。劇的ではないが、新手法BのCTRの方が高そうに見える。
統計的にもそう言えるのか t検定 で見てみる。
t検定 excel 4

以下の手順で t検定 を実行してみる。

t検定 excel 5 width=

t検定 excel 6
αのところは0.1か0.05か0.01を入れるのが一般的だ。
研究結果などの厳密性が必要な部分については0.01などを採用するが、仕事で使う分には0.1でもいいと思う。

t検定 excel 7

たくさん結果が出ているが、見るべきところは「P(T<=t) 片側」である。この値が先ほど指定したαの値以下になっているかどうかを見る。もし、αの値以下になっていれば新手法の方が効果が高いといえる。

要素技術の最近記事

  1. Udacity Self-Driving Car Engineer Nanodegree …

  2. TF-Agents で独自の環境を利用する方法

  3. Amazon Rekognition Video を使って動画内の顔検出と境界ボックスの描…

  4. [触ってみた]Microsoft Quantum Development Kit

  5. Tensorboardを使ってニューラルネットワークと学習の状況を可視化する

関連記事

PAGE TOP