ABテストは取り組みとして、「簡単」で「評価が明確」といったイメージもあり、多くの企業で取り入られているWeb改善施策である。しかし一方で、「やってはみたが変化がない」「ABテストをすることが目的になってしまっている」という声を聞くケースも少なくない。この連載では、このような状況に陥らないために、ABテストを実施する前に意識すべき三つの軸を紹介する。今回は、その中でも最も重要な「“誰に”ABテストを実施するのか」という点に関して解説していく。

ABテストは「何をするか」から考えるな

　ABテストというものが日本でも認知され始めたころ、よく話題にあげられていたのが、バラク・オバマ前大統領の実施したABテストである。メインビジュアルやボタンなど、24通りのABテストを通して、6000万ドルの寄付金を得たという事例だ。この事例を見て、「メインビジュアルを変更する」「ボタンの色・文言を変える」といった施策ベースでABテストが考えられることが多くなった印象だ。

　しかしながら、実際は何の考えもなしにメインビジュアルやボタンを変更したところで、大きな成果が得られることはほとんどない。ABテストは「何をするか」よりも「誰に対してのものか」を明確にしなければその効果を発揮することはできない。

Webサイトにはユーザーが混在している

　「誰」を明確にするということはどういうことか。まず理解すべきは、「Webサイトにはユーザーが混在している」ということを理解するべきだ。
 
　当社の場合、BtoBサービスのWebサイトでは左サイドの無料版登録を目的としていた。サイトをヒートマップで見たところ、無料版の登録フォームにユーザーが集まっていた。
 
　では、次に「無料版を登録しなかったユーザー」に限定をしたデータに関して検証したい。


　ナビゲーションと合わせて右上のボタンにクリックが集まっている。これは「アカウントをお持ちの方はこちら」、つまりサービスを登録済みの「絶対に無料版には登録しないユーザー」ということだ。具体的にはTOPページ訪問者の約20％が既存ユーザーという状態であった。

　この状況を把握せずABテストをするとどういうことが起こるのだろうか。当社のサイトで「無料版登録を増やすためにボタンを変更するABテスト」を実施した場合、既存ユーザーが混ざった状態で評価することになるため「絶対に登録しないユーザー」を常に分母に含めることになる。そうなると、「新規ユーザー」に絞れば効果が出ていたテストも評価データが薄まり、「結果が出ていない」という判断になることもある。

　ほかにも、「一時的な広告、メディア露出による流入増加が分母に含まれている」「特定の要素をクリックしたユーザーにしか対象にならないテストに訪問者全体を含めている（ハンバーガーメニューのテストなど）といった意図しないユーザーが検証に混ざっているケースがある。

　ABテストを実施する上で「誰」を明確にするのであれば、「誰を対象とするか？」という観点に加えて「対象ユーザー以外のデータが混ざっていないか？」という点に焦点を当てる必要があるということだ。