「誤差」を考えない試算は皮算用

　前回は単純なクロス集計から売上を増加させる可能性のある要因を明らかにし、またいくら売上が増加するのかといった額の試算も行なったが、これはあくまで皮算用だと述べた。

　これが皮算用でしかない理由は、この計算が「誤差」というものをまったく考慮していないからだ。
　フィッシャーたちの時代とそれ以前の統計学の大きな違いは、誤差の取扱い方にあると言っていい。データに対して、どれほどの誤差があるか、それは真に知りたい値に対してどれほどの影響を持つか、そして誤差を考慮したうえでも意味のある結果かどうかか、といったことを明らかにできるようになったことがフィッシャーたちによる大きな功績である。

　前回のやり方で言えば、「ＤＭ送付群と非送付群の売上の違い」というのが真に関心のある値である。単純な推定としては500円違うと示されたが、この500円というのは誤差を含んだ値である。もしまた今後もデータをフォローアップして同じような検討を重ねたとしても、その差は300円だったり、1000円だったり、時には逆にＤＭ非送付群の売上のほうが高くなったり、といった可能性だってあり得るかもしれない。

　そして最悪なケースなのは、真の状態としてはＤＭ送付群と非送付群の間に売上の差などまったくないという状況で、たまたま今回だけＤＭ送付群の平均売上が高いという結果が得られてしまった場合である。あるいは、仮に差があったとしてもＤＭ1通分のコストにさえならないという場合も考えられるかもしれない。こうした状況で誤って「ＤＭを積極的に送る」といった戦略をとれば、ＤＭのコスト分だけ丸損となってしまうのである。

「Ａ/Ｂテスト」とはお馴染みの比較検討のこと

　じつは第9回に示したような何の意味をなさない単純集計以外にも、こうした誤差を考えないクロス集計による皮算用、というのもビジネスの現場ではしばしば行なわれている。

　たとえば私が以前統計学の講師として招かれたＥＣ企業では積極的に「Ａ/Ｂテスト」を行なっている。クリックするバナーのサイズを変えたり、ページ間の画面遷移を変えたり、ページの文面やフォントを変えたり、といった細かいデザイン面や機能面の変更を行なううえで、「実際のところ、どちらのデザインが良いのか」といった評価を検証しようというのだ。

　参考までに「Ａ/Ｂテスト」とは、デザインにせよ機能にせよ、ＡパターンとＢパターンを両方試してみて比較する、という意味である。