グロースハック

PDCAサイクルにおいて、バイアスを除去した効果検証(Check)を行うためにはどのようなPlanningを行う必要があるかをまとめる。 要約 以下のいずれかに該当するようにテストを設計する 施策の対象者の選択(介入)ロジック 指標の予測可否 介入条件の予測可否 介入群と同様なトレンドの群がある 介入を連続値の閾値で決定している 効果検証手法 完全ランダム - - - - 無作為化比較試験 人為的 可 - - - 回帰分析 人為的 不可 可 - - 傾向スコアマッチング 人為的 不可 不可 はい - Causal Impact 人為的 不可 不可 いいえ はい 回帰不連続デザイン a. 無作為化比較試験（A/Bテスト） 適用ケース 無作為に適用される施策であること ex.トップページのデザイン変更 ユーザーアカウントがテスト/コントロール群のどちらに割り振られたかがデータからわかること 特定の条件を満たしたユーザーにのみ影響する施策は選択バイアスを考慮する必要があるためこの手法は使えない。 ex. アンケートに回答したユーザーにクーポンを送付、クーポンの売上への貢献度を調べたい場合など。 アンケートに回答している時点で購入意欲が高く、クーポン有/無のグループの性質が異なっているため比較ができない。 このケースでA/Bテストを適用したければ アンケートに回答したユーザーからランダムでクーポン配布 とすれば選択バイアスを打ち消せるが、サンプル数確保、ユーザー体験、ビジネス機会損失などを考慮する必要がある。 検証手順 施策によって改善される指標を決定 (PdM) ex. 訪問頻度、滞在時間 テスト群の割合、テスト期間の決定（PdM, DS) 施策が適用される人数 (ex. テスト期間中における新トップページのアクセスUU数) が1000人を超えるように見積もる A/Bテストの実施 (Dev) LaunchDarklyなどを用いる 統計的仮説検定 (DS) p-hacking回避のため、2で決めたテスト期間の終了時に一度だけ検定を行う。...