2007年12月、本屋の店頭で日本語版を見た。 主題はわたしの仕事とかなり重なりがありそうだ。 しかし、日本語版では「絶対計算」という用語がしきりにくりかえされているが、 これは回帰(regression)などの統計的推測をさしているらしい。 この用語には納得がいかないので、英語版を読むことにした。
「絶対計算」「絶対計算者」の原語は、Super Crunching, Super Cruncherである。 ここでSuperは、処理するデータの量が常識はずれに大きいことをさす。 2007年現在のめやすは1テラバイト(1兆バイト)以上である。 ただしデータ量は1〜2年ごとに倍になる。 「crunching」はここではnumber crunchingの略であり、 数値データを計算処理することをさしている。
「number crunching」を日本語に訳すのは確かにむずかしい。 「number」はここでは数値データをさすのだが、 日常語では「数字」と言いそうなところだ。 「crunch」は「すりつぶす」とか「か[噛]む」とかいう意味だが、 「...つぶし」では違った意味になってしまうし、 「...かみ」では一瞬かみつくだけのようにも思われる。 もちつきあるいは鍛冶[かじ]屋にたとえられるかとも思ったが、 「数字つき」とか「数字鍛冶」と言っても説明しないとわからない。 仮に、継続性をくりかえしで表現して、「数字かみかみ」としておこう。 Super Cruncherは「超大型数字かみかみ屋」とでもしておこう。
わたし自身、「超大型数字かみかみ屋」のひとりなのかもしれない。 自分が直接手を下す(計算機にコマンドを打ちこむ)データのためだけでも、 職場に1テラバイトのハードディスクを複数持っていて、 それでも不足しそうなのだ (著者の認識とは違って「もう消すことを考える必要がない」という時代は来そうもない)。 そして、おおぜいの人がかかわるグループとしては、 ペタバイト(千兆バイト)級のデータを扱う必要がでてきた。 しかし、実際「かむ」ことができるのか。 どうかむかを決めたあとの作業は計算機の能力さえあれば進みそうだが、 決めるまでが簡単ではない。 超ではない大型かみかみをしたり、 一歩しりぞいて世界を見わたしたりしながら考えるしかなさそうだ。
データのかみかたにもいろいろあるが、 著者が重視する方法はまず回帰である。 これが非常に強力だというのが著者がいちばん主張したいことのようだが、 比較の相手は個人の経験と主観による方法だ。
自然科学者から見ると、回帰は経験的方法の典型であって、 個人の主観による方法と比べれば客観的にはちがいないが、 とても「絶対」などというものではない。(これが最初に述べた日本語訳への不満だ。) 「絶対」という表現がふさわしいのは、論理あるいは基本的物理法則にもとづく方法だ。 (いつも「絶対的」方法だけで問題が解決されるわけではないので、 次善の策として「経験的」な方法もよく使うのだが。)
回帰のほかに、実験計画法(設定をランダム化すること)も重視されている。 また、ベイズの定理とニューラルネットが紹介されている。 (著者がベイズ流と頻度確率論の区別をよく理解しているかどうか疑問だ。 わたしもよく理解していないが。)
回帰を重視する背景にもなっていると思うが、 著者は多くのものごとが正規分布に従うと思っている。 指数関数など理解していないだろう子どもに 「数量の95%は平均値±2×標準偏差におさまる」という知識を教えてしまうほどだ。 これは、TALEB (2007)とは対照的だ。 TALEBは、 多くのものごとは正規分布でなくべき乗則[注]に従うと主張する。 注目する変数が違うからだろうが、両方とも我田引水ではないだろうか? (ただし、確率微分方程式などによる時間発展の予測を勧めない点では 両者の議論は似ているかもしれない。)
数字かみかみの前に、どんな変数に注目するかを考えるという段階がある。 とくに回帰は、複数の変数の間に直線的関係があるときに有効な方法だ。 (非線形回帰というものもあるが、 変数をうまく変換して直線的関係を考えることと言ってもよいと思う。) 回帰に使えそうな変数の組を判断するには人間の直観も必要だ。 (その補助として計算機による可視化は役にたつが。 [UNWINほかの本の読書ノート]参照。) 著者は、本書の題名をもう少しで「End of Intuition」にしてしまうところだった ほど直観を軽視した論調をとる傾向があるが、 直観も必要だと言っているところもある。 (ちなみに、本書英語版の題名は、 本の売れゆきをよくしたいという動機により、 複数候補をウェブ上で示す実験をして注目されやすかったものが選ばれたそうだ。)
回帰式を作る人が頭を使えば、使う人はあまり頭を使わなくてもよい ということはあるかもしれない。 しかし、式を作る際に使われた経験的データの数値の範囲内では信頼できる 回帰式でも、範囲外への外挿に使うのは危険だ。 少なくともその意味では、回帰式を使う人も頭を使わなくてはならない。 本書の頭に出てくる例では、(ボルドーの)ワインの値打ち(十数年後の値段)が、 その地域の気温・降水量などによる回帰式でよく予測できるということだ。 これまで百年ほどの経験の範囲で 夏が暑いほどぶどうのできがよいというのはもっともだ。 しかし、もしもっとずっと暑い年が来たならば、ぶどうは高温に適応できず、 収穫は悪くなるだろう。
本書の話題は社会のことである。(アメリカ合衆国内の話題が多い。) MARLIN-BENNETT (2004) [読書ノート]や MONMONIER (2002) [読書ノート]の本でも述べられているように、 大企業や政府が個人の情報を集めて処理している。 個人がみな数字かみかみ屋になれるわけではないので、 情報力の不平等が拡大してしまう。 この点、著者は、消費者の立場に立つ情報提供企業もできていることなどを材料として 楽観している。 わたしは楽観はしないが、ではどう対策すればよいのかはよくわからない。
医療に関しては、診断も、治療方法の判断も、 医者個人の主観的判断によるのではなく、 多くの人の経験を集約した統計的・客観的判断によるべきだという。 「evidence-based medicine」である。 この主張はとくに新しいものではなく、 たとえば高橋晄正[こうせい]氏が1960年代(薬害問題に集中する前)に 主張していたことと基本的に同じではないかと思う。 (高橋1970の第3・4章参照。ただしそこには薬害問題を踏まえた議論も含まれている。) しかし情報技術によって大量のデータを短時間に扱えるようになったという変化は確かにある。
著者は、医者や教師が、 (旅客飛行機の乗務員などの場合と同様に) 少数の超大型数字かみかみ屋が作った(または検証した) マニュアルに従って働く労働者になっていくという見通しを述べ、 医療や教育のサービスの質の向上になるのだからそれでよいのだと主張している。 (初等教育の場合は、 ランダム化された実験で効果が高いことが示された Direct Instructionという方法を勧めている。) わたしは、 たとえ、定量的指標によれば数字かみかみシステムのおつげどおりにしたほうがよいとしても、 専門職の人がやる気をなくさないため、 および数字かみかみの入力データの範囲外の事態に対処できるようにするために、 「専門職の人が、おつげも参考にするが、自分の主観も使って判断を下す」 という態勢にするべきだと思う。 (温帯諸国の天気予報は現在だいたいそんな形になっている。)