AB Flows のレポートとは、テストのパターンごとの訪問者数・コンバージョン数・コンバージョン率と、ベイズ統計にもとづく「最良である確率」「オリジナルを上回る確率」「95%信用区間」「期待改善率」を表示する画面です。p値や有意差判定の代わりに確率で結果を示すため、統計の専門知識がなくても「どのパターンを採用すべきか」を判断できます。
レポートに表示される指標
| 指標 | 意味 | 見方 |
|---|---|---|
| 訪問者数 | そのパターンに割り当てられ、表示（インプレッション）が計測されたユニーク訪問者の数 | 各パターンで同程度に増えていれば振り分けは正常です |
| コンバージョン数 | ゴールを達成した訪問者の数（1訪問者につき1回まで） | |
| コンバージョン率（CVR） | コンバージョン数 ÷ 訪問者数 | 観測された実績値です |
| 95%信用区間 | 真のコンバージョン率が95%の確率で含まれる範囲 | 区間が狭いほど推定が安定しています。データが少ないと広くなります |
| 最良である確率 | すべてのパターンの中で、そのパターンのコンバージョン率が最も高い確率 | 全パターンの合計が100%になります |
| オリジナルを上回る確率 | そのパターンのコンバージョン率がオリジナル（コントロール）より高い確率 | 95%以上で勝者候補になります。オリジナル自身には表示されません |
| 期待改善率 | オリジナルに対して、コンバージョン率が相対的にどれだけ改善すると見込めるか | 例: +12% はオリジナルの1.12倍が見込めるという意味です |
勝者候補が表示される条件
次の2つを両方満たすパターンが「勝者候補」として表示されます。
- オリジナル以外のパターンで、オリジナルを上回る確率が95%以上であること
- そのパターンの訪問者数が100以上であること
条件を満たすパターンがあれば、そのパターンを勝者として採用することを検討できます。訪問者数の条件は、ごく少ないデータで偶然高い確率が出ることを防ぐためのものです。
計算方法
AB Flows はベイズ推定（Beta-Binomial モデル）でコンバージョン率を推定します。
- 各パターンのコンバージョン率を、事前分布を一様分布 Beta(1, 1) としてモデル化します。
- 観測データから、事後分布 Beta(1 + コンバージョン数, 1 + 訪問者数 − コンバージョン数) を作ります。
- 各パターンの事後分布から 20,000 回サンプリングし、「最良である確率」「オリジナルを上回る確率」「期待改善率」をサンプル中の割合と平均から求めます。
- 95%信用区間は、事後分布の 2.5 パーセンタイルと 97.5 パーセンタイルです。
事前分布が一様分布であるため、データが少ない段階では確率が50%付近に寄り、データが増えるにつれて実績に近づきます。
頻度論の有意差判定との違い
| 観点 | AB Flows（ベイズ） | 従来のA/Bテストツールに多い頻度論（p値） |
|---|---|---|
| 結果の表現 | 「Bがオリジナルに勝つ確率は 96%」 | 「p = 0.03 で有意差あり」 |
| 途中経過の確認 | いつ見ても、その時点での確率として解釈できる | 途中で何度も見ると誤判定が増える（多重検定の問題） |
| 必要なサンプル数 | 事前に固定しなくてよい。勝者候補の条件（95%・100訪問者）で運用する | 事前に検出力からサンプル数を決めるのが原則 |
ただし、ベイズ推定でも十分なデータがなければ確率は安定しません。次の目安を推奨します。
- 各パターンの訪問者数が100以上になるまでは結論を出さない
- 曜日による変動を含めるため、少なくとも1〜2週間は配信する
- 「オリジナルを上回る確率」が90%前後で行き来する場合は、データを増やしてから判断する
日別グラフ
レポートには、パターンごとの訪問者数とコンバージョンの日別推移が表示されます。日付の区切りは日本時間（Asia/Tokyo）です。テストを一時停止した期間は配信されないため、その期間の数値は0になります。
GA4 ゴールのレポート
GA4連携でゴールを設定したテストでは、AB Flows が作成したパターン別オーディエンスと実施期間で GA4 のデータを絞り込み、イベント数・キーイベント数・セッションおよびユーザー単位のキーイベント率を表示します。GA4のデータ反映には遅延があるため、当日分は翌日以降に確定します。詳しくは GA4 連携 を参照してください。