【Google AdWords】新機能、広告バリエーションでA/Bテストの効率化してみた（実施～結果編）

皆さんこんにちは。
梅雨入りが発表され、ジメジメとした日が続いていますね。
土日に雨が降ると洗濯が出来なくて、次週の服のバリエーションが狭くなってしまいます。
金曜日に「OK,Google 明日の天気教えて！」と唱えて「明日の名古屋の天気は、雨でしょう」と
帰ってきたときの悲壮感たるや…。

…前回と同じ前フリで申し訳ありません。
今回は前回もお伝えしたAdwordsの新機能「広告バリエーション」を実際に動かしてみたので、
使用感や使用してみた結果、結果表示画面の見方などをご紹介できればと思います。

広告バリエーションのおさらい

前回の記事で広告バリエーションの概要と設定方法について解説しました。

【Adwords】新機能、広告バリエーションでA/Bテストの効率化してみた（準備編）：https://quartet-communications.com/info/listing/technique/45662

簡単におさらいすると、広告バリエーションとは「テキスト広告のテキスト内容を簡単な設定でテストでき、元の広告とテスト広告の配信結果比較も簡単にできる」機能です。
広告文のABテストをする際に行う入稿などの面倒な作業が、一つの画面でできるのもメリットの一つでしたね。

テスト開始の経緯と案件概要

簡単ではございますが今回テストする案件と、その概要を軽くご紹介。

案件：新しい機能を備えた携帯用充電器の販売
きっかけ：新しい機能訴求広告文よりも訴求軸の違う特定の広告文の方が、CTRが2~3％程高かったため。
テスト内容：新しい機能訴求の広告をもう一方の訴求軸に寄せた広告文に変更。
条件：予算配分はテストとオリジナルで50%ずつ
実施期間：1ヶ月

キャンペーンをまたがなければ「キャンペーンのテスト」機能で良かったのですが、
今回はキャンペーンをまたいで、且つ広告文のみの変更テストであったため、広告バリエーション機能を使用しました。
実施期間はとりあえず1ヶ月、という形で決定しました。

以上のような状態でテストをスタートしました！

1ヶ月後…（テスト結果と画面の見方）

実際の結果表示画面がこちらです。

通常の管理画面とはまた違った感じの画面が登場しました。
基本的には見るべき数値が出ている画面ではあるのですが、何やら見慣れない数値の表示もありますね…。
ということで、配信の結果を見ながら画面と各数値の見方について解説していきます。

画面上部

画面上部では広告バリエーションで作成した広告がオリジナルの広告文と比べて、どのくらいのパフォーマンスを発揮したのかを確認出来ます。

赤枠より上の部分には広告バリエーションで作成した広告の実際の配信実績数値が表示されます。
赤枠で囲んだ部分には、広告バリエーションで作成した広告とオリジナル広告の数値差が表示されます。

この数値が記載されている部分にカーソルを合わせると、この数値の内容が表示されます。

上画像の赤枠内「-26%[-51%,-1%]」という数値が表示されています。
なんか難しそう…と思われそうな表記の仕方ですが内容は至ってシンプル。

カッコの外の数値はオリジナルと広告バリエーションの数値の差異を示しています。
画像だと、広告バリエーションはオリジナルよりもクリック率が-26%という結果にを示しています。

また、カッコ内は信頼区間を表示しています。
この信頼区間は、統計学上の「95％信頼区間」での指定範囲を表す数値になります。
画像にも書いてありますが、クリック率においては95％の確率で-51％～-1％の差異が生じますよ、ということです。

また、数値の横に「*」が記載されているものは、媒体の判断上、統計的に有意であると判断されたデータです。
データ不足だと判断された場合、下のようなポップアップが出て数値を確認することが出来ません。

画面下部

画面下部では、広告バリエーションで作成した各広告がどのくらいのパフォーマンスを発揮したのかを確認することが出来ます。
広告バリエーションで作成した広告単体の各指標数値が一覧で見ることが出来ます。
また、各指標の数値の横（画像では「-」となっている）の？マークにカーソルを乗せると、先述した信頼区間の数値が表示されます。

テスト結果のまとめ

まとめると、統計的に有意なこのデータが示すのは、テストとオリジナルの掲載結果を比較し、
結果（-26%）に対して、95％の確率でクリック率が-51%~-1%の範囲で動く可能性がある（-26%を基準に±25%動く）ものである、ということです。

1ヶ月という短い時間でのテストでしたが、媒体の判断上、有意な数値であることからもおよそ信頼に足る数値であると考えられます。長期的なテストを行えば、更にデータ収集ができるため、統計的有意性も高くなっていくことでしょう。
テスト期間が短いときには早めの判断材料にもなるので、従来のABテストよりも時短になる可能性も十分に考えられます。
※商材や配信内容によってデータの蓄積スピードには差があります

今回のテストでは、少なくとも短期間では良い効果が出ない、即効性のない広告であると判断出来ました。そのため、今回のテスト広告文の採用は見送り、また新たな原因を探すことになりました。

まとめ

前回の記事では広告バリエーション機能はABテストの際に準備の手間をある程度省いてくれる、入稿の手間などがなくなるということをご紹介しましたが、今回の記事では結果画面の見方と、統計的に結果が出ることのご説明をさせていただきました。

入稿にかかる手間の排除や、予算配分面でテスト条件を分けられるところ、そして今回ご説明した結果を信頼区間という形で数値化し、広告の差し替えもワンクリック…。
かなり有用性のある機能なのではないでしょうか。ABテスト以外の用途でも様々な活用方法が見いだせそうです。

また、結果表示についてはクライアント様にご説明する際にも従来のABテストのような、出てきた各指標の数値で「良くなるだろう」、「良くならないだろう」という説明に加えて「95%の確率で~%から~%の中で動くだろう」という事を認識、説明ができるのは運用者にとっても、大きな強みになりそうです。その根拠となる数値が管理画面上に自動で出てくるのはまた一つ時短の要素として有効なのではないでしょうか。