データサイエンスアカデミー|データサイエンティスト育成講座

COLUMN
連載コラム

2016.01.20

A/Bテストとは、Webページの一部分、またはページそのものをAとBの2パターン用意し、どちらの方がより効果の高い結果が得られるかを実験する方法です。
スプリットテスト、スプリットランテストとも呼ばれます。

Webマーケティングに携わっている方々にとっては、非常に馴染みの深く、また効果的な手法ですが、

施策効果検証という視点ではWebマーケティングに限らず、リアルなＤＭ施策やカタログ施策などの効果検証でも用いられています。

■ＡＢテストとは？

一方で、施策効果として例えば

Ａという施策では5%の反応率で、Ｂという施策では5.2%の施策効果だった。。これってＢの方が効果があったと言えるのか？

なんてことはよく議論になります。

例えば、あるカード会員に対して高級外車の販売促進ＤＭを送付したり、不動産販売の施策を実施するなど、そもそもＣＶＲの非常に低い反応率を見る場合などは

微細な％の差でも重要になってきます。

そこで、データサイエンスの基礎に立ち返り、しっかりと適切な検定手法を見極めて施策効果の比較を行うことが重要になります。

多くの場合は、カイ二乗検定を用いて独立性を検定しています。

そのABテストの判断は本当に正しいのか？

また、施策効果のＣＶＲの比較（施策Ａと施策Ｂの反応率の差が有意なのかどうか？）を確認するためには”対応のないデータの二つの母比率の差の検定”を用いることもあります。

■2群の母比率の差の検定が出来るサイト

それぞれで厳密な検定上の違いはあると思いますが、正しく理解した上でA/Bテスト評価を行うことでより説得力のある施策効果検証が出来ます。

データサイエンスアカデミーでは、
無料セミナー・説明会を実施中！