ランディングページのA/Bテストと有意差検定
ランディングページのA/Bテストをする際に、弊社ではその結果を判定するために有意差検定（インプレッション数をページ表示回数、クリック率を成果数に読みかえてご利用ください）を行います。
有意差検定とは、A/Bテストを行った結果から統計的にある２つの値の間に意味のある差があるかどうかを判定するためのものです。新薬の治験等にも採用されている手法で、どちらが効果があったかを、統計学的な見地から裏付けることができます。
リスティング広告を出稿する際に、リンク先に設定するページを複数に分けてA/Bテストをすることが多いかと思いますが、有意差を裏付けるにはあまりにも母数が少ない状態で判断してしまうと、結果を見誤りかねないので注意が必要です。
また、ランディングページのA/Bテストを実施する際に、キャッチコピーだけを変更してテストをしたいといわれる方がいらっしゃるのですが、こういったクリエイティブ案のほんの一部分だけを変更してテストしても、どちらが明らかに有効であるかを判定してしまうことは難しく、実のところこのようなテストはA/Bテストで行うべきものではありません。
A/B テストとは何ですか。
A/B テストでは、複数のまったく異なったバージョンのページについて、そのコンバージョン結果をテストできます。 元のテスト ページ (テストしたいコンテンツが含まれているページ) から開始し、このページの別バージョンを作成します。 ページのコンテンツの変更、デザインの変更、レイアウトの変更など、あらゆる変更が可能です。 オリジナル ページと比較対象のページへのトラフィックを変更して、ユーザーの反応が最もよいコンテンツを特定します。
A/B テストは、ウェブサイト オプティマイザーを使用したテストの簡易バージョンです。 トラフィックが少なく、結果をすぐに確認したい場合は、最初に A/B テストを作成することをお勧めします。
ページに含まれるキャッチコピーやビジュアル要素等の部分最適化を行っていきたい際には、多変量テストをすることが必要です。
多変量テストは、同時に複数の可変要素をテストすることができるテスト方法です。 たとえば、ページの見出し、画像、広告テキストをページ セクションとして指定し、それぞれに 3 つのパターンを作成することができます。 ページのテストを行うと、ユーザーには見出し A、画像 B、広告テキスト C の組み合わせや、見出し B、画像 C、広告テキスト A の組み合わせなどが表示されます。
ページの特定のセクションを最適化する場合は、多変量テストをお勧めいたします。 ただし、トラフィックが低いページの場合は、より信頼性の高い結果を得るために、A/B テストでページ全体のテストを行うこともできます。
