「全体では勝ったのに、セグメント別に見ると全部負けている」——これは計算ミスではなく、セグメント別比較で実際に起こりうる現象です。
本記事では、出し分けの効果測定で結論を誤る4つの落とし穴と、正しい評価手順を解説します。
記事のポイント
- 全体とセグメントで結論が逆転する仕組み（シンプソンのパラドックス）
- 構成比が変わるだけで全体平均が動く
- 後からセグメントを切って勝ち負けを探してはいけない理由
- 対照群を残さないと何も判定できない
- 正しい評価の手順
目次
- なぜセグメント別比較で間違えるのか
- ①全体とセグメントで結論が逆転する
- ②構成比の変化が全体平均を動かす
- ③後からセグメントを切る（多重比較）
- ④対照群がない
- 正しい評価の手順
- Dejamで内訳まで確認する
- よくある質問
- まとめ
なぜセグメント別比較で間違えるのか
原因は、セグメントごとに「母数の比率」と「もともとのCVR」が違うことです。
出し分けの評価では、次の3つが同時に動きます。
| 動くもの | 影響 |
|---|---|
| セグメント内のCVR | 本来見たい効果 |
| セグメントの構成比 | 全体平均を動かす |
| セグメントの母数 | 検出力を変える |
全体平均だけを見ると、この3つが混ざった数字を見ることになります。
パーソナライゼーションの設計は「Webパーソナライゼーションとは？9つの手法とCVR改善への使い方」を参照してください。
①全体とセグメントで結論が逆転する
これはシンプソンのパラドックスとして知られる現象です。 具体例で示します。
ある出し分けテストの結果です。
| Aパターン（対照） | Bパターン（出し分け） | |
|---|---|---|
| モバイル | 100CV / 10,000 = 1.00% | 18CV / 2,000 = 0.90% |
| PC | 20CV / 1,000 = 2.00% | 180CV / 9,000 = 2.00% |
| 合計 | 120CV / 11,000 = 1.09% | 198CV / 11,000 = 1.80% |
数値を整理すると、Bパターンはモバイルで負け、PCで同等、それでも全体では1.09% → 1.80% と大きく勝っています。
理由は構成比です。 Aパターンはモバイルが91%を占め、BパターンはPCが82%を占めています。CVRの高いPCの比率が高いBパターンは、セグメント内で勝っていなくても全体では勝ちます。
これは出し分けの効果ではなく、トラフィックの振り分けの偏りです。
| 見ている数字 | 結論 |
|---|---|
| 全体CVR | 出し分けは成功 |
| セグメント別CVR | 出し分けは失敗（または効果なし） |
正しいのはセグメント別です。 全体の数字は構成比に汚染されています。
この偏りは、出し分けの条件とデバイスが相関している場合に発生します。 「モバイルにだけポップアップを出す」ような設計では構造的に起きます。
②構成比の変化が全体平均を動かす
テスト期間中に流入の構成が変わると、それだけで全体CVRが動きます。
| 期間 | 広告流入（CVR 0.5%） | 指名検索（CVR 5%） | 全体CVR |
|---|---|---|---|
| 期間1 | 9,000 | 1,000 | 0.95% |
| 期間2 | 5,000 | 5,000 | 2.75% |
施策を何もしていなくても、全体CVRは0.95%から2.75%に上がります。 指名検索の比率が増えただけです。
前後比較（施策の前と後を比べる）が危険なのはこのためです。
| 比較方法 | 構成比の影響 |
|---|---|
| 前後比較 | 受ける（期間が違えば構成も違う） |
| 同時期のABテスト | 受けない（同じ期間・同じ流入を分割する） |
出し分けの評価は必ず同時期のABテストで行ってください。 「先月より改善した」は施策の効果を示しません。
とくに広告の配信量を変えた月は要注意です。 広告費を絞ると相対的に指名検索の比率が上がり、全体CVRが改善したように見えます。
③後からセグメントを切る（多重比較）
全体で有意差が出なかったテストを、後からセグメント別に切り直して「モバイルでは勝っていた」と結論づけるのは誤りです。
理由は、切り方の数だけ偶然の当たりが出るからです。
| 切った軸 | 組み合わせ |
|---|---|
| デバイス（2） | 2通り |
| 流入元（4） | 4通り |
| 新規／再訪（2） | 2通り |
| 時間帯（3） | 3通り |
| すべての組み合わせ | 48通り |
有意水準5%で48回比較すれば、偶然「有意差あり」が出る確率は非常に高くなります。 何も効果がなくても、どこかのセグメントで差が出ます。
対処は3つです。
| 対処 | 内容 |
|---|---|
| セグメントを事前に決める | テスト開始前に「モバイルで見る」と宣言する |
| 発見は仮説として扱う | 後から見つけた差は、次のテストで確かめる |
| 有意水準を調整する | 比較回数に応じて基準を厳しくする |
最も実務的なのは1つ目です。 テスト設計の時点で「どのセグメントで評価するか」を書いておけば、後付けの解釈ができません。
判定の考え方は「AAテストでABテストの有意性を見極める」、関連する誤りは「ABテストのデメリットと限界」も参照してください。
④対照群がない
出し分けを全員に適用すると、比較対象がなくなります。
| やり方 | 評価できるか |
|---|---|
| 全員に出し分けを適用 | できない（前後比較しかできず構成比に汚染される） |
| 出し分けあり50% / なし50% | できる |
| 出し分けあり90% / なし10% | できる（期間は伸びる） |
「効果があるはずだから全員に適用する」は、効果を検証する機会を放棄しています。
対照群は10%でも残してください。 期間は伸びますが、判定可能性が生まれます。
正しい評価の手順
| 順番 | やること |
|---|---|
| 1 | 評価するセグメントを事前に決める（2つまで） |
| 2 | 主要指標を1つ決める（CVRかRPVか粗利か） |
| 3 | 対照群を残して同時期に走らせる |
| 4 | 必要なサンプル数に達するまで途中で判定しない |
| 5 | セグメント別とセグメント内の構成比を両方確認する |
| 6 | 全体の数字は参考として見る |
| 7 | 後から見つけた差は次のテストの仮説にする |
5番が本記事の要点です。 セグメント別のCVRと、各セグメントの母数（構成比）を並べて出してください。構成比が偏っていれば、全体の数字は使えません。
主要指標を1つに決めるのも重要です。 CVR・RPV・粗利・客単価をすべて見て「どれかが良ければ勝ち」とすると、多重比較と同じ問題が起きます。
Dejamで内訳まで確認する
ABテスト
対照群を残した同時期の比較が基本の形です。 出し分けをABテストの枠組みで実施すれば、構成比の偏りと前後比較の問題を両方回避できます。
ヒートマップ（クリックイベント計測）
プラン別・ボタン別のクリック数が取れます。 全体CVRが上がっていても、主力商品のクリックが減っていることがあります。内訳を見ないと、全体平均に隠れた悪化を見逃します。
自動解析
どのコンテンツがCVRに貢献しているかをAIが解析します。出し分けによって、貢献していたコンテンツが読まれなくなっていないかを確認できます。
分析用のセグメントをGA4側で用意する手順は「GA4のセグメントの作り方」を参照してください。
よくある質問
Q. 全体では勝ったのにセグメント別では負けています。どちらが正しいですか？
A. セグメント別が正しいです。 全体の数字は各セグメントの構成比に汚染されています。CVRの高いセグメントの比率が偏っていると、セグメント内で勝っていなくても全体では勝ちます（シンプソンのパラドックス）。
Q. 前月と比較して改善したので成功ですか？
A. 判定できません。 流入の構成が変わるだけで全体CVRは動きます。施策を何もしなくても、指名検索の比率が増えれば全体CVRは上がります。評価は必ず同時期のABテストで行ってください。
Q. 全体で差が出なかったので、セグメント別に見直してもいいですか？
A. 見るのは構いませんが、結論にはできません。 切り方の数だけ偶然の当たりが出ます。デバイス・流入元・新規再訪・時間帯を組み合わせると48通りの比較になります。後から見つけた差は次のテストの仮説として扱ってください。
Q. 出し分けを全員に適用してはいけませんか？
A. 対照群を10%でも残してください。 全員に適用すると比較対象がなくなり、前後比較しかできません。前後比較は構成比の変化に汚染されます。
Q. どの指標で判定すべきですか？
A. 事前に1つに決めてください。 CVR・RPV・粗利・客単価をすべて見て「どれかが良ければ勝ち」とすると、多重比較と同じ問題が起きます。ECなら RPV か粗利が実態に近くなります。
まとめ
出し分けの効果測定について、要点を整理します。
- 出し分けの評価ではCVR・構成比・母数の3つが同時に動く
- 全体とセグメントで結論が逆転する（シンプソンのパラドックス）
- 逆転したときに正しいのはセグメント別。全体は構成比に汚染されている
- 構成比が変わるだけで全体CVRは動く。 前後比較は使えない
- 評価は同時期のABテストで行う
- 広告費を絞った月は、指名検索の比率が上がり全体CVRが改善したように見える
- 後からセグメントを切って勝ち負けを探さない（48通りの比較になる）
- 評価するセグメントはテスト開始前に2つまで決めておく
- 対照群を10%でも残す。 全員に適用すると判定できない
- 主要指標は事前に1つに決める
- セグメント別のCVRと各セグメントの母数を並べて出す
CVR改善ならDejam！全体平均に隠れた悪化を見逃さない
Dejamは、LP制作・ヒートマップ分析・ABテスト・AI自動解析をオールインワンで提供するCVR改善特化ツールです。「数字は良くなっているが本当に効いているか分からない」という段階から、内訳まで確認して判断するまでを総合支援します。
Dejamが選ばれる理由
- ワンプロダクトで完結: LP制作・ヒートマップ分析・ABテストをすべて単一ツールで実施
- 月額3万円〜利用可能: オプティマイズプラン月額3万円〜 / CMSプラン月額5万円〜 / オールインワン月額12万円〜
- ユーザー課金なし: 何名で使っても追加費用は発生しない
- ISMS認証取得: ISO/IEC 27001:2022 & JIS Q 27001:2023認証取得済み
- 毎週アップデート: 市場トレンドとユーザーリクエストに応じて機能を毎週拡充
- 権威ある実績: 代表がダイレクトアジェンダで2連覇。LPO顕彰制度「LPO AWARD」主催者
Dejamの主要機能
- LP/記事LP制作: ノーコード・コードの切り替えに対応。AIで生成したコードを直接取り込み可能
- ヒートマップ: 5種類（クリック/クリックイベント/熟読/滞在/離脱）。データ保存期間無制限
- ABテスト: デザイン変更テスト・リダイレクトテスト・ポップアップテストの3種類。AIが自然言語でテストコードを自動生成
- 自動解析: どのコンテンツがCVRに貢献しているかAIが自動解析。ゴールデンルート機能でページ遷移の最適パスも特定
- プロジェクト管理: 改善施策の進捗をチームで共有できる
クリックイベント計測でプラン別・ボタン別の内訳が取れます。 全体CVRが上がっていても主力商品のクリックが減っていることがあり、内訳を見ないとこの悪化に気づけません。
