前置き
日々の運用、お疲れ様です。
今回は、GoogleAdwordsで、実施していたディスプレイ広告のバナー検証後の結果に関して、興味深いデータが取れましたので、その考察をしたいと思います。
まず、AB検証の方法に関して、いくつかパターンがあるかと思いますが、今回の検証では、オーソドックスに、「CTR（クリック率）」「CVR（コンバージョン率）」など、案件の目標に対して、重要な数値をメインに、検証しております。 それでは、実際の事例を見ながら、考察したいと思います。
事例
今回の事例にあげる概要は、以下の様なものです。
- Adwordsディスプレイ広告メニュー：リマーケティング
- バナー種類：2種類（パターンAとパターンBという感じで、訴求軸が異なるものを用意）
- バナーサイズ：160×600、300×250、468×60、728×90
- 目標数値：CVの最大化
- 検証参照数値：CTR、CVR
- 検証期間：約60日間
※検証中、検証データの正確性を期す為、入札調整を含め、一切の設定変更は無し。
上記の通り、よくあるAB検証の方法で、検証してみました。
それでは、バナー検証データを見ていきます（以下、画像）。
こちらのデータの通り、バナー別・訴求軸別に見ても、「パターンB」の方が、パフォーマンスとしては、良好のようです。
その為、とある時期に、パターンBのバナーのみ掲載するように、設定を変更しました。
設定変更前後のデータが、以下となります。
画像中の「バナー切り替え日」を境として、パフォーマンスとして、改善傾向に向かうと思いきや、IMP（インプレッション）が減少傾向であり、かつ、ディスプレイのIMPシェア等も低下傾向となっております（オレンジ枠、及び赤枠部分）。
これまでの見地では、一定数発生していたIMPボリュームに対して、パフォーマンス良好なバナーを集中させることで、全体のパフォーマンスの改善に繋げることができると考えていましたが、今回の事例では、少し趣が異なるようです。（そもそも、IMP自体が減少している為。）
この点、今回の事象の要因として、想定となりますが、「リマーケティングが持つ、配信特性」にあると考えています。
つまり、リマーケティングの配信特性として、「リスト化されたユーザー」に対して、配信する仕組みとなりますが、その「リスト化されたユーザー」単位でも、広告ランクに紐づく「品質」のようなものを、媒体側が設定しているかもしれないということです。
その為、切替後5日目に、入札強化を実施以降で、「IMP」「IMPシェア」等が改善傾向に有ります。 今後の進捗次第では、今回実施したAB検証が、果たして、アカウント改善にとって、いいものかどうか、見定める必要があるかもしれません。
まとめ
いかがでしたでしょうか？
バナー含め、広告文のAB検証後、そのデータ・結果から、パフォーマンスが良い方だけを残すように、設定を変更すれば、その後のパフォーマンスは、さらに改善されるであろうと思われがちですが、今回の事例では、そうはいきませんでした。
運用上、AB検証を実施していくことは、確かに重要な施策と思いますが、今回の事例を通して、考えるべきことは、AB検証の、「実施前の安定化させたデータの推移」「実施中のデータ推移の変化の度合い」「実施後のデータから導き出した改善案と、改善案実施後のデータ推移」など、つまるところ、常日頃の進捗管理からの「データの変化」に関して、注意深く、洞察していく必要があると考えております。
AB検証後も、結果に安住することなく、運用・調整していきたいものですね。
