A/Bテストの方法

「勘」ではなく「データ」で判断する。

A/Bテストとは

パターンA（現状）
パターンB（変更案）

ランダムに振り分けて、どちらが良いか比較

テストすべき場所

効果が出やすい

1. CTAボタン（文言、色、位置）
2. ヘッドライン（キャッチコピー）
3. 価格表示
4. フォームの項目数
5. ファーストビュー

優先度

トラフィックが多いページから
コンバージョンに近い場所から

仮説の立て方

良い仮説

「CTAの文言を『無料で始める』から
『今すぐ試す』に変えると、
クリック率が上がるのでは？」

理由: より行動を促す表現だから

悪い仮説

❌「青より赤のほうがいいはず」
→ 根拠がない

❌「全部変えてみよう」
→ 何が効いたかわからない

テストの進め方

1. 現状を把握

現在のCTAクリック率: 3%
目標: 5%に改善

2. 仮説を立てる

「文言を変えればクリック率が上がる」

3. バリエーションを作る

A: 無料で始める（現状）
B: 今すぐ試す（変更案）

4. テストを実行

50%のユーザーにA、50%にBを表示

5. 結果を分析

A: 3.2%
B: 4.1%
→ Bが28%改善

6. 統計的有意性を確認

サンプルサイズ十分？
p値 < 0.05？

ツール

無料

- Google Optimize（終了）
- Growthbook（オープンソース）
- Posthog（A/B機能あり）

有料

- Optimizely
- VWO
- LaunchDarkly

自作

// シンプルなA/Bテスト
function getVariant(userId: string): 'A' | 'B' {
  const hash = hashCode(userId)
  return hash % 2 === 0 ? 'A' : 'B'
}

// 使用
const variant = getVariant(user.id)
if (variant === 'A') {
  // 現状
} else {
  // 変更案
}

サンプルサイズ

必要な数

変化率5%を検出するには:
・1,000〜10,000セッション
・1-2週間のテスト期間

計算ツール

Evan Miller's A/B Test Calculator
https://www.evanmiller.org/ab-testing/sample-size.html

結果の読み方

統計的有意性

有意（p < 0.05）: 結果を信頼できる
非有意: まだ判断できない、またはサンプル不足

信頼区間

「Bは3.5%〜4.7%の範囲（95%信頼区間）」
→ 下限がAより高ければ採用

よくある間違い

早すぎる判断

❌ 100人で「Bが勝った！」
→ 偶然の可能性が高い

複数要素の同時変更

❌ 色と文言と位置を全部変える
→ 何が効いたかわからない

セグメント無視

全体では差がなくても、
モバイルユーザーだけで見ると差があるかも

継続的な改善

テストカレンダー

週1: 新しいテストを開始
週2: 結果を確認、次の仮説を検討
週3: 勝ちパターンを採用、新テスト

記録を残す

| テスト | 仮説 | 結果 | 学び |
|-------|------|------|------|
| CTA文言 | ... | +28% | 行動喚起が効く |
| 価格表示 | ... | 差なし | ... |

次のステップ

• アナリティクス活用
• ランディングページ