面白い本を読んだ。あまりの面白さにノンストップで読了。技術革新により超大量のデータを集積する事が可能になった今（アメリカ議会図書館におさめられた文書の文字数は20TB。ぼくのTime Capsuleですら1TBだ！）、そういう超大量のデータを組み合わせ、回帰分析や無作為化比較試験、ベイズ統計などのツールを使いこなしてデータマイニングして行く事で従来の『専門家』の知見・意思決定方法を上回る結果をもたらす事が可能だというスリリングな話だ*1。
ググっているとタイトルと中身が違うという批判がけっこうあるようだけど、邦題の『数学が戦略を決める』といういかにも最近のビジネス書で受けそうな言葉は原題には全くない。原題はSuper Crunchers: Why Thinking-by-Numbers Is the New Way to Be Smart。ここでいうCrunchersというのは計算屋だから、直訳すれば『超計算屋ーなぜ数字で考える事が賢明であるための新しい方法なのか』。
"Number Crunching"というと単なる計算業務という意味でつかわれることもある。用例としては『そんな仕事、ただのNumber Crunchingじゃないか』、『お前の仕事はNumber Crunchingの域を出ていない』などなど。言外には、数字の背後にある『ストーリー』や専門家の経験と知性によって生み出された『戦略』こそが高尚で価値があるという認識がある。確かにぼくたちが普段仕事で扱っているような量のCrunchingではそう考えるのも自然である。しかしそれは大規模データストレージとコンピューターにより天文学的な数字をCrunchできるようになった今覆されようとしている。
Super Crunchingによって何が分かるのか。ワインの値段を回帰分析によって予測するという話から始まり、アマゾンが『おすすめ商品』を提示するのにどのように統計的手法を用いているのか、様々な企業がどのようにデータマイニングを使って『最適な』マーケティングミックスを追求しているのか、政府機関が無作為化比較試験をどのように活用して政策の有効性を評価しようとしているのか、医学においていかにデータベースを活用する事で医者個人の限定的知識とバイアスを排除し誤診を減らせるのか、映画の興行成績をシナリオの多変量解析する事で予測しどう消費者好みのシナリオにかえていくのかなどなど。
人間がどうしても回避する事のできない認知バイアスを冷徹に排除し、人間ではとても処理しきれない膨大な量のデータを生かすデータ実証主義が（ある分野で）いかに強力で、専門家を上回る結果を出しうるのかというデータマイニングの福音書なのだ。同時にこの考え方は人間の知性・自主性や独立性を否定されるようで抵抗も多いのだと言う。しかし実際にはデータマイニングが専門家を完全に排除することを意味しているわけではない。たとえば無作為化比較試験で何と何を比較するのかというそもそもの設問設定は依然人間の手にある。とくにその試験に膨大なコストがかかるのなら仮説がしっかり考えられた物でなければ"Garbage in, Garbage out"でしかない。仮説は考える人間の独創性によりけりで、無作為化試験はその仮説の検証を行ってくれるプロセスだ。勘と経験と『ロジック』に基づく仮説をテストし、バイアスの入らない判断によってよりよい意思決定を可能にしてくれる、といえばよいかね。
せっかくなのでひとつの例を。日本の政府はどうなのか知らないけれど（というより色々な規制によりできないようだ）、統計手法を活用した諸外国の政府の試みがとても先進的で面白い。社会政策を定める時に『科学的な検証』を義務づける方向にどんどん動いているというのだ。例えばメキシコである貧困削減プログラムを考案し、２万４千世帯を対象にそれを適用する村とそれを適用しない村をランダムに抽出して実験を行ったのだという。そして統計的な有意差を確認した後にそのプログラムを200万世帯を超える大規模な世帯に適用し、成功を収めていると言う。先日の給付金論争なんかに関しても、机上の空論をもてあそんでこれが景気浮揚に有効なのかどうなのかを議論し続けたり、対照実験無しにただ実行してそれで良しとするのではなくもっと科学的なアプローチをとるべきだと思う。そういえば以前一緒に働いたHBS卒の切れ者マーケターはこれを厳格に実行し、小さく試して大きく実行する事で成果を出していたのだよね。さて、自分の仕事のエリアでこの考え方を適用できるエリアはどこであろうか。
- 作者: イアン・エアーズ,山形浩生
- 出版社/メーカー: 文藝春秋
- 発売日: 2007/11/29
- メディア: 単行本
- 購入: 98人 クリック: 2,063回
- この商品を含むブログ (223件) を見る
