「誤差」を考えない試算は皮算用
前回は単純なクロス集計から売上を増加させる可能性のある要因を明らかにし、またいくら売上が増加するのかといった額の試算も行なったが、これはあくまで皮算用だと述べた。
これが皮算用でしかない理由は、この計算が「誤差」というものをまったく考慮していないからだ。
フィッシャーたちの時代とそれ以前の統計学の大きな違いは、誤差の取扱い方にあると言っていい。データに対して、どれほどの誤差があるか、それは真に知りたい値に対してどれほどの影響を持つか、そして誤差を考慮したうえでも意味のある結果かどうかか、といったことを明らかにできるようになったことがフィッシャーたちによる大きな功績である。
前回のやり方で言えば、「DM送付群と非送付群の売上の違い」というのが真に関心のある値である。単純な推定としては500円違うと示されたが、この500円というのは誤差を含んだ値である。もしまた今後もデータをフォローアップして同じような検討を重ねたとしても、その差は300円だったり、1000円だったり、時には逆にDM非送付群の売上のほうが高くなったり、といった可能性だってあり得るかもしれない。
そして最悪なケースなのは、真の状態としてはDM送付群と非送付群の間に売上の差などまったくないという状況で、たまたま今回だけDM送付群の平均売上が高いという結果が得られてしまった場合である。あるいは、仮に差があったとしてもDM1通分のコストにさえならないという場合も考えられるかもしれない。こうした状況で誤って「DMを積極的に送る」といった戦略をとれば、DMのコスト分だけ丸損となってしまうのである。
「A/Bテスト」とはお馴染みの比較検討のこと
じつは第9回に示したような何の意味をなさない単純集計以外にも、こうした誤差を考えないクロス集計による皮算用、というのもビジネスの現場ではしばしば行なわれている。
たとえば私が以前統計学の講師として招かれたEC企業では積極的に「A/Bテスト」を行なっている。クリックするバナーのサイズを変えたり、ページ間の画面遷移を変えたり、ページの文面やフォントを変えたり、といった細かいデザイン面や機能面の変更を行なううえで、「実際のところ、どちらのデザインが良いのか」といった評価を検証しようというのだ。
参考までに「A/Bテスト」とは、デザインにせよ機能にせよ、AパターンとBパターンを両方試してみて比較する、という意味である。
cakesは定額読み放題のコンテンツ配信サイトです。簡単なお手続きで、サイト内のすべての記事を読むことができます。cakesには他にも以下のような記事があります。