ABテストツールが出す判定結果には、2つの異なる統計的な考え方が使われています。頻度論（フリークエンティスト）とベイズ統計です。
どちらを使っているかによって、結果の読み方と「いつ止めていいか」が変わります。 本記事では両者の違いと、自社にどちらが向いているかの判断基準を解説します。
記事のポイント
- 頻度論のp値とベイズの事後確率は意味が違う
- ベイズは「Bが勝つ確率は92%」のように直感的に読める
- 少ないデータではベイズが扱いやすい
- 途中で覗いて打ち切ってよいのはどちらか
- 使っているツールがどちらを採用しているかの確認方法
目次
- なぜ2つの方式があるのか
- 頻度論（p値・有意水準）
- ベイズ統計（事後確率）
- 結果の読み方の違い
- どちらを使うべきか
- 途中で覗いて打ち切れるか
- ツールの確認方法
- Dejamの判定方式
- よくある質問
- まとめ
なぜ2つの方式があるのか
同じデータから「勝った／負けた」を判断する方法が複数あるためです。
| 頻度論 | ベイズ統計 | |
|---|---|---|
| 確率の捉え方 | 長期的な頻度 | 信念の度合い |
| 出す数字 | p値・信頼区間 | 事後確率・信用区間 |
| 問いの形 | 「差がないとしたら、この結果はどれくらい珍しいか」 | 「Bが勝っている確率はどれくらいか」 |
| 事前の知識 | 使わない | 使える（事前確率） |
| 少数データ | 扱いにくい | 扱いやすい |
ABテストの基本的な進め方は「ABテストとは？基本の仕組み・やり方・成果を出すポイント」を参照してください。本記事は判定方式に絞って扱います。
頻度論（p値・有意水準）
頻度論は「差がないと仮定したときに、観測された差がどれくらい起こりにくいか」を計算します。
| 用語 | 意味 |
|---|---|
| 帰無仮説 | 「AとBに差はない」という仮定 |
| p値 | 帰無仮説が正しいとき、観測された差以上の差が出る確率 |
| 有意水準 | 判定の基準（一般に5%） |
| 信頼度95% | p値が5%未満 = 有意水準を下回った状態 |
「信頼度95%」は「Bが勝つ確率が95%」ではありません。 ここが最も誤解される点です。
正: 差がないと仮定すると、この差が偶然出る確率は5%未満 誤: Bが勝つ確率が95%
公開されているABテスト事例に書かれている「信頼度95%」「信頼度99%」は、ほぼすべてこの頻度論の値です。
頻度論の制約は、サンプルサイズを事前に決める必要があることです。 途中で覗いて有意差が出た時点で止めると、偽陽性が増えます。この問題は「ABテストのデメリットと限界」でも扱っています。
ベイズ統計（事後確率）
ベイズ統計は「事前の知識（事前確率）と観測データを統合して、事後確率を算出する」手法です。
| 特徴 | 内容 |
|---|---|
| 事前確率を使える | 過去のテスト結果や業界水準を前提に組み込める |
| データが入るたびに更新できる | 逐次的に確率が更新される |
| 少量データでも推定できる | データが増えるほど精度が上がる |
| 結果が確率で示される | 非専門家でも解釈しやすい |
| 信用区間を出せる | 結果の不確実性を範囲で示せる |
ベイズの出力は「Bが勝っている確率は92%」という形です。 これは直感的な読み方とそのまま一致します。
ベイズ統計をABテストに使うと、新しいデータが入るたびに仮説の成立確率が更新されます。 そのためテスト配信中にほぼリアルタイムで結果を確認できます（参考: 【一気に解説】ABテスト、リダイレクトテスト、多変量テスト、ベイズ統計とは？ - Ptengine）。
結果の読み方の違い
同じテスト結果に対して、2つの方式は違う言い方をします。
| 頻度論 | ベイズ統計 | |
|---|---|---|
| 出力の例 | p = 0.03（信頼度97%） | Bが勝つ確率 92% |
| 読み方 | 「偶然とは考えにくい」 | 「92%の確率でBが良い」 |
| 意思決定 | 有意水準を下回ったら採用 | 許容できる確率に達したら採用 |
| 勝ち幅の扱い | 別途計算が必要 | 分布として得られる |
意思決定の観点ではベイズのほうが扱いやすいです。 「Bが勝つ確率が80%でよければ採用する」という判断ができます。
頻度論では「95%未満だから採用しない」という二値の判断になりがちです。 実務では「90%でも採用したい施策」があります。
どちらを使うべきか
| 状況 | 向いている方式 |
|---|---|
| トラフィックが少ない | ベイズ |
| トラフィックが豊富 | どちらでもよい |
| 過去のテスト結果が蓄積している | ベイズ（事前確率に使える） |
| 早く意思決定したい | ベイズ |
| 社外・学術的な報告が必要 | 頻度論（p値が標準） |
| 公開事例と比較したい | 頻度論（事例はp値ベース） |
トラフィックが少ないサイトではベイズが現実的です。 頻度論で必要なサンプルサイズを待つと、数か月かかることがあります。
ただしベイズにも前提があります。
| 注意 | 内容 |
|---|---|
| 事前確率の設定が結果に影響する | 無情報な事前分布を使うのが一般的 |
| 「確率が高い」は「差が大きい」ではない | 勝ち幅も併せて見る |
| 早期に高確率が出ることがある | 最低実施期間は設けるべき |
「ベイズなら少ないデータでいい」を「すぐ止めていい」と読み替えないでください。 曜日や時間帯の変動を拾うため、最低1〜2週間は回すのが実務の基準です。
途中で覗いて打ち切れるか
これが両者の最も実務的な違いです。
| 途中で覗く | 途中で打ち切る | |
|---|---|---|
| 頻度論 | 見てよい | してはいけない（偽陽性が増える） |
| ベイズ統計 | 見てよい | 条件付きで可能 |
頻度論では、覗いて有意差が出た瞬間に止める（ピーキング）と偽陽性が増えます。 事前に決めたサンプルサイズに達するまで待つ必要があります。
ベイズでは逐次的に確率が更新されるため、打ち切りの設計が可能です。 ただし「何%に達したら止める」を事前に決めておくことが条件です。
どちらの方式でも、「都合のいい数字が出たときに止める」のは不可です。 判定の考え方は「AAテストでABテストの有意性を見極める」も参照してください。
ツールの確認方法
使っているツールがどちらを採用しているかを確認してください。 画面の数字の意味が変わります。
| 表示されている語 | 採用方式 |
|---|---|
| p値・有意水準・信頼区間 | 頻度論 |
| 「改善確率」「勝率」「Probability to be best」 | ベイズ |
| 事後確率・信用区間 | ベイズ |
| 「信頼度95%」 | 頻度論（ただしベイズの表示に流用されることもある） |
「信頼度」という表記は両方で使われるため、それだけでは判別できません。 ドキュメントで確認してください。
両方を併記するツールもあります。 判定の基準を1つに決めてから使ってください。ツールの比較は「ABテストツールおすすめ比較」を参照してください。
Dejamの判定方式
Dejamは、ABテスト機能でベイズ推定を用いた統計的有意差判定に対応しています。
2025年1月17日のアップデートで実装されました（ABテスト機能でベイズ推定・統計的有意差判定ができるアップデートを実施）。
| 実装内容 |
|---|
| ベイズ推定を用いた統計的有意差判定 |
| ABテストレポートに「平均訪問回数」「平均PV」「平均CV」の指標追加 |
ベイズ推定を採用している理由は、データが少ない状況でも判定できることと、結果が確率で示されるため解釈しやすいことです。 専門家でなくても読める形で提示されます。
ABテスト
デザイン変更テスト・リダイレクトテスト・ポップアップテストの3種類に対応し、結果の判定までツール内で完結します。 AIが自然言語の指示からテストコードを生成するため、実装から判定までの工程が短くなります。
ヒートマップ
判定の前に「そもそも変更箇所が見られているか」を確認できます。 読まれていない箇所を変えたテストは、どちらの統計方式でも差が出ません。
自動解析
どのコンテンツがCVRに貢献しているかをAIが解析します。テストする箇所の優先順位づけに使えます。
よくある質問
Q. 「信頼度95%」はBが勝つ確率が95%という意味ですか？
A. 違います。 頻度論の信頼度95%は「差がないと仮定したとき、この差が偶然出る確率が5%未満」という意味です。「Bが勝つ確率」を直接示すのはベイズ統計の事後確率です。
Q. ベイズと頻度論、どちらを使うべきですか？
A. トラフィックが少ない・早く意思決定したい場合はベイズが向いています。社外への報告や公開事例との比較が必要な場合は、p値ベースの頻度論が標準です。
Q. ベイズなら少ないデータで判定していいですか？
A. 「少ないデータで扱える」は「すぐ止めていい」ではありません。 曜日・時間帯の変動を拾うため、最低1〜2週間は回してください。また「何%に達したら止める」を事前に決めておく必要があります。
Q. 途中で結果を見て打ち切ってもいいですか？
A. 頻度論では不可です（偽陽性が増えます）。ベイズでは条件付きで可能ですが、打ち切りの基準を事前に決めておくことが条件です。どちらでも「都合のいい数字が出たときに止める」のは不可です。
Q. 使っているツールがどちらか分かりません。
A. 画面の表記で推測できます。 p値・有意水準・信頼区間なら頻度論、「改善確率」「勝率」「事後確率」ならベイズです。ただし「信頼度」は両方で使われるため、ドキュメントで確認してください。
まとめ
ABテストのベイズ統計と頻度論の違いについて、要点を整理します。
- 頻度論はp値、ベイズは事後確率を出す。意味が違う
- 「信頼度95%」は「Bが勝つ確率95%」ではない
- 公開事例の「信頼度95%／99%」はほぼすべて頻度論の値
- ベイズは「Bが勝つ確率92%」のように直感的に読める
- ベイズは事前確率を使える・データが入るたびに更新できる
- トラフィックが少ないならベイズが現実的
- 社外報告・公開事例との比較が必要なら頻度論が標準
- 頻度論ではピーキング（途中で打ち切る）は不可
- ベイズは条件付きで打ち切り可。基準を事前に決めるのが条件
- 「少ないデータで扱える」は「すぐ止めていい」ではない。最低1〜2週間
- ツールの採用方式は画面の表記とドキュメントで確認する
- Dejamはベイズ推定を用いた統計的有意差判定に対応（2025-01-17）
CVR改善ならDejam！ベイズ推定で判定まで完結する
Dejamは、LP制作・ヒートマップ分析・ABテスト・AI自動解析をオールインワンで提供するCVR改善特化ツールです。「テストは回せるが止める判断ができない」という段階から、統計的な裏付けをもって意思決定するまでを総合支援します。
Dejamが選ばれる理由
- ワンプロダクトで完結: LP制作・ヒートマップ分析・ABテストをすべて単一ツールで実施
- 月額3万円〜利用可能: オプティマイズプラン月額3万円〜 / CMSプラン月額5万円〜 / オールインワン月額12万円〜
- ユーザー課金なし: 何名で使っても追加費用は発生しない
- ISMS認証取得: ISO/IEC 27001:2022 & JIS Q 27001:2023認証取得済み
- 毎週アップデート: 市場トレンドとユーザーリクエストに応じて機能を毎週拡充
- 権威ある実績: 代表がダイレクトアジェンダで2連覇。LPO顕彰制度「LPO AWARD」主催者
Dejamの主要機能
- LP/記事LP制作: ノーコード・コードの切り替えに対応。AIで生成したコードを直接取り込み可能
- ヒートマップ: 5種類（クリック/クリックイベント/熟読/滞在/離脱）。データ保存期間無制限
- ABテスト: デザイン変更テスト・リダイレクトテスト・ポップアップテストの3種類。ベイズ推定による統計的有意差判定に対応
- 自動解析: どのコンテンツがCVRに貢献しているかAIが自動解析。ゴールデンルート機能でページ遷移の最適パスも特定
- プロジェクト管理: 改善施策の進捗をチームで共有できる
ベイズ推定による判定に対応しているため、担当者の力量に依存しないテスト終了の判断ができます。 ABテストツールの導入時は配信機能に目が向きがちですが、実務で差が出るのはレポートと判定です。
