前後データ（Pre-Post）の比較分析で使う統計手法
広告運用の理想的な効果検証方法のひとつに「ABテスト」あります。Google 広告にも「下書きとテスト」というABテストのための便利な機能が搭載されています。
- Google 広告ヘルプ：キャンペーンの下書きとテスト
しかし、状況によってはABテストが実施できないケースもあるかと思います。その場合、よく採用されるがpre-post分析（前後比較） での効果検証です。
pre-post分析を統計学的な確からしさを踏まえて検証するには、いくつか抑えておくべき点があります。今回はそれらを具体例とともにご説明します。
①平均の検定（t検定）
検証できること
A群の平均値、B群の「平均値」は、統計的有意な差があるか？
問題例
12/11(金)から、IMPを増やすためにある施策を実施した。pre-postで平均値を比較すると増加しているが、これは統計的に有意であると言えるか？
サンプルデータ
回答
平均の比較ですから、t検定を使います。Excelに T.TEST という便利な関数があるのでそれを使うと良いです。出てきた値（p値）は、小さければ小さいほど有意であると判断してよいです。上記の例では、0.01を下回っていたので、99%有意でIMPが増えていると結論付けることができます。（サンプルデータファイル参照）
補足
t検定の概念としては、「A群とB群の平均値と標準偏差が検定のもと」になっています。ですので、データの「ブレが少ない」「N数が多くなる」ほど有意性が高まる傾向にあります。要するに「これらが正規分布すると仮定したときに、端っこ何％のとこで重なる？」についての答えを出しています。上記の例で言えば、「端っこ0.57%の部分だけで結論が逆になるといえる」ということになります。
この手法を扱うときの注意点としては、「あくまで平均値の大小を統計的に比較しているだけ」という点です。ですので、例えばIMPを上昇に影響を与えた要素が複数存在する場合は、当然ながら、この手法だけでは評価することは難しいです。
②比率の検定（χ二乗検定）
検証できること
A群の比率、B群の比率は、統計的有意な差があるか？
問題例
12/11(金)から、クリック率を増やすためにある施策を実施した。pre-postでクリック率を見ると高くなっているが、これは統計的に有意であると言えるか？
サンプルデータ
回答
比率の比較ですから、χ二乗検定を使います。t検定と同じく、Excelに CHISQ.DIST.RT という便利な関数があるのでそれを使うと良いです。出てきた値（p値）は、小さければ小さいほど有意であると判断してよいです。上記例では、0.01を下回っていたので、99%有意でクリック率が高くなっていると結論付けることができます。
補足
χ二乗検定の概念としては、「A群とB群の分母・分子・その比率が検定のもと」になっています。ですので、N数が多くなるほど有意性が高まる傾向にあります。
また、以下の統計処理をしています。（詳細の説明は控え、参考程度に記載しておきます）
- 期待度数（もし全体の比率だったとしたら・・の数）を元データを比較したときに、それとどれくらい差分があるのか？で検定している。
- これらがχ二乗分布すると仮定したときに、２群が独立しているか？を検定している。
- t検定は両側検定するが、χ二乗検定は片側検定（右側）で行う。
注意点は、t検定と同じく、CTRの上昇に影響を与えた要素が複数存在する場合は、当然ながら、この手法だけでは評価することは難しいです。
