ABテストの基礎【リスティング広告】

広告文の良し悪しを判断するために行われるABテスト。
クライアント様とのお話の中で決まって話題に上がるかと思います。

その中でよく言われるのが「クリック率が低い方を止めて」「CVが多い方を残して」などなど。
もちろん２種類の広告文を比較して良い方を残していこうというのが目的ですから、クリック率が低い方を止める事もCVが多い方を残す事も問題ありません。
ただ、見落とされがちなのが「何を比較しているのか」という点です。

あなたは何を比較しているのかを予め設定せずにABテストを行っていませんか？

目標を確認する

目標の確認は大前提となります。
ここでいう目標とは「CVの増加」や「CPAの抑制」などといったざっくりとしたものです。

例えば、「CPAの抑制」という目標を持ったアカウントでABテストを行った際に単純に「CVが多い方」を残しますか？
CVが多いからと言ってCPAが低いとは限りません。
CPAをここから抑えられる見込がないのであれば単純にCVの多い広告を残すのは目標とは真逆の事をしていることになります。

ABテストに限りませんが施策を行うときは必ず目標に照らしあわして、その意図に沿った施策になっているかを確認しましょう。

目的を持つ

ABテストの目的を明確にすべきです。
比較するのはクリック率なのか、CV率なのか、インプレッション数なのか。
目的が無いままABテストを行うと、何を基準に良し悪しを判断すればいいのか分からなくなってしまい結論が出しづらくなります。

指標を揃える

目標に沿い、目的を明確にした上でABテストの結果を見ます。
この時によくある間違いは同期間だけで比較しようとしてしまう事です。
管理画面上で比較し易いため陥りやすいとは思いますが、実際には目的に沿った指標を揃えて比較しなければ意味がありません。

クリック率の場合

クリック率の比較を目的とする場合、揃えないといけない指標は「インプレッション数」か「クリック数」です。
クリック率とは「クリック数÷インプレッション数」ですので、どちらかの数値が同じ（或いは近似値）で算出しなければ率だけを見てもあまり意味を成しません。

CV率の場合

CV率を比較する場合は「CV数」か「クリック数」です。
セールやキャンペーンで、その期間内でのCV数を比較するといったケースであれば「期間」を揃えた比較で問題ありませんが、通年で配信している場合は前述の指標を揃える事で判断しやすくなります。
CV率の比較とは、流入数に対してどれだけ成果が獲得できたかを判断するという事です。