【2004年夏、新刊目録情報を検索して見つけ、 アメリカに古本を注文したのだが、古本屋が廃業してしまったらしく、 本は送られてこなかった。 2006年夏にそのことに気づき、あらためて注文した。今度は届いた。】
人間は昔から情報を処理しながら生きてきたのだが、 現代人はとくに大量の情報を処理する必要がある。 最近は、データウェアハウス(data warehouse、 業務に関係する統合された持続的なデータベースのことらしい)や データマイニング(data mining、大量のデータの中から価値のある情報を抽出することらしい)ということばがよく聞かれる。 それに関する本も出ているが、次のいずれかであることが多く、 わたしの観点からはものたりない。
経営者には(1)を読んでもらう必要はあるのだろうが、 そこで雇われた人にはもっと技術的・実務的な知識が必要だ。 ところが(3)から(2)の間にはギャップがある。 また、(2)の種類の本に述べられた技術の多くは、 データが誤差を含んでいることを前提としているが、 データが誤差とはとてもいえない「まちがい」を含んでいる場合、 それを取り除いてからでないと有効でないことが多い。 (英語ではこの文脈でerrorというと誤差をさすことが多い。 「誤差」と区別された「まちがい」は必要な概念なのだが決まった用語はないようだ。 必ずしも人がまちがえることではないのでmistakeはあまり適切ではない。 DASU & JOHNSONはglitch ということばを使っている。 なお、 有名な統計学者R.A. FISHERはblunderと呼んでいたそうだ (SALSBURG, 2001)。) (3)の初歩の統計学のうちでも、記述統計、探索型データ解析、 ロバストな(robust、異常値の影響を受けにくいことをさす)代表値推定 (初歩の教材では省略されがちだが)などはよいが、 ふつうの推定、仮説検定など多くは、まちがいを除いてからの仕事だ。 柴田(2001)の用語を使えば、「データの浄化と組織化」が先決問題なのだ。
著者がくりかえし強調しているのは、 データの質の改善には、データ一般の知識だけでなく、対象分野(domain)の知識が 必要なことだ。 わたしも同感だが、 わたし自身は地球環境観測データという対象分野側にいて、 対象分野の知識だけでなくデータ一般の知識をもった人が必要だと考えている。 そういう方向に勉強してもらうための教材として、 柴田(2001)が初級編だとすれば、その次の第2段階で勧められそうなのが本書である。
大量のデータの浄化には、 データを可視化したり要約したりしたうえで、人が検討することが必要だ。 それはいわば探索的データマイニング(EDM)である。 そこにはデータマイニングのために提案されている技術のいくつかは使えるが、 robustであり、比較的短時間で結果が出せるものに限られる。 本書では勧められる方法のいくつかが紹介されているが、 その説明は比較的簡単であり、これを読んだだけでわかるとは限らない。 (たとえば、"DataSphere"の概念はわかると思うが、 それを使ってデータの特徴をどのように抽出するかは、 グラフの例は出てくるものの対象データをじゅうぶん説明していないので 気分的にしかわからない。) しかし、上記(2)として述べた専門的技術解説に進む際の選択の道しるべとしては 役にたつだろう。
著者たちの所属はAT&Tの研究所(別会社になったBell研とは別)である。 それで、日常的な関心は、電気通信会社の業務改善、 たとえば、料金を正しく請求すること、不正利用を防ぐこと、 故障や混雑を早く検出して対処すること、などに向けられているらしい。 また、データベース関係では、 ある電気機器会社で末端から中央に送られた在庫データに無効なものがあまりに多かった という事態をうけて改善のための調査をした例がとりあげられている。 この例も使いながら、企業経営のトップに、 データの質が企業の損得に直結する問題だと認識してもらうことが重要だと言っている。 公共部門でも基本的には同じだと思うが、費用はともかく便益が直接金額として 示されないことが多いので、もうひとくふう必要になりそうだ。