施策効果検証のためのA/Bテストについて

A/Bテストとは、Webページの一部分、またはページそのものをAとBの2パターン用意し、どちらの方がより効果の高い結果が得られるかを実験する方法です。
スプリットテスト、スプリットランテストとも呼ばれます。

 

Webマーケティングに携わっている方々にとっては、非常に馴染みの深く、また効果的な手法ですが、

施策効果検証という視点ではWebマーケティングに限らず、リアルなDM施策やカタログ施策などの効果検証でも用いられています。

 

■ABテストとは?

http://www.mizeni.com/articles/what-is-ab-testing

https://www.gyro-n.com/column/ab-test/

 

一方で、施策効果として例えば

Aという施策では5%の反応率で、Bという施策では5.2%の施策効果だった。。これってBの方が効果があったと言えるのか?

なんてことはよく議論になります。

 

例えば、あるカード会員に対して高級外車の販売促進DMを送付したり、不動産販売の施策を実施するなど、そもそもCVRの非常に低い反応率を見る場合などは

微細な%の差でも重要になってきます。

 

そこで、データサイエンスの基礎に立ち返り、しっかりと適切な検定手法を見極めて施策効果の比較を行うことが重要になります。

多くの場合は、カイ二乗検定を用いて独立性を検定しています。

 

そのABテストの判断は本当に正しいのか?

https://anagrams.jp/blog/evaluation-criteria-of-ab-test/

http://webseeya.com/2015/08/06/ppc-abtest-excel-chitest/

 

また、施策効果のCVRの比較(施策Aと施策Bの反応率の差が有意なのかどうか?)を確認するためには”対応のないデータの二つの母比率の差の検定”を用いることもあります。

■2群の母比率の差の検定が出来るサイト

http://murak.net/post/statistics/665

https://software.ssri.co.jp/statweb2/tips/tips_20.html

 

それぞれで厳密な検定上の違いはあると思いますが、正しく理解した上でA/Bテスト評価を行うことでより説得力のある施策効果検証が出来ます。