• 城田 真琴, 2012: ビッグデータの衝撃 — 巨大なデータが戦略を決める。東洋経済新報社, 303+vii pp. ISBN 978-4-492-58096-7.

「ビッグデータ」ということばがはやっている。わたしは1980年代以来(最近2年間は離れていたが)そのときどきの意味で大量のデータを扱ってきた者だが、どうも話題がつかめない。それで、いくつか出ていた本のうちで、技術寄りだが巨視的なものを選んで読んでみることにした。

Big dataということばの流行のきっかけは2011年5月にMcKinsey Global Instituteが出した報告書らしいが、そのことばを使っていないものの、2010年2月のEconomistのData Deluge (データの大洪水)という特集が重要だったそうだ(この特集はわたしも見たと思うがとくに印象に残っていない)。

Big dataの特徴はvolume, variety, velocityを兼ね備えたものだそうだ。(わたしは単純でvolumeの大きいデータには慣れている。多様性は頭ではわかっているが実地に扱ったものはそれほど多様ではない。変化の激しいデータをリアルタイムで扱うことはとても苦手だ。)

ウェブ上に分散している構造がそろっていないデータから情報を抽出する技術として、Google社の人が2004年に論文にしたMapReduceというものがあり、オープンソースでそれを実行するHadoopというソフトウェアが作られた。これを使うのが今の(技術史的には瞬間の)業界標準のようなものらしい。これとあわせてデータベースが必要だ。従来からのrelational database (RDB, 標準の言語はSQL)も引き続き大事なのだが、これを使わないNoSQLデータベースも使われている。実行時の拡張性をRDBの特徴であるデータの一貫性の保証よりも優先させたいことがあるからだ。データの分析に使われる技法として、統計処理、機械学習、自然言語処理に関するものが列挙されている。

第3-5章ではビジネスへの応用事例がいろいろ紹介されている。
第6章ではプライバシーとの兼ね合いの問題が論じられている。

第7章「オープンデータ時代の幕開けとデータマーケットプレイスの勃興」では、公開されたデータの活用が論じられているが、公開データを提供しているのはおもに政府だ。アメリカが進んでいて日本は遅れているという論調だが、アメリカ合衆国は計算機などない昔から政府のデータを公開する原則があったので、むしろ比較対象としてはそれ以外の国を見るべきだと思った。また、著者は政府がデータを公開すれば新しい産業が育つと論じているが、政府がデータを提供したこと自体で人々の欲求にこたえた場合は、国民の幸福への貢献にはなるが、産業の拡大への貢献にはならないこともあると思う。それから、本書は一貫して民間の立場に立っているのはよいとして、政府に対してはデータを公開することを要求するばかりで、その費用をどうまかなうのかが論じられていない。政府のデータに対して国民に知る権利があることは筋としてもっともだと思うし、データ収集の費用は支払いずみだとしても、公開するというサービスには手間がかかるのであり、アメリカ政府は昔からそのための部署に人を配置しているのだ。増税やむなしとするか、政府の業務から何々を削ってもこれをやれと言うか、まで考えてくれないと実現がむずかしいと思う。

第8章「ビッグデータへの備え」ではどちらかというと企業経営の立場からの考えかたを述べている。その中で、「データサイエンティスト」という専門職種の人が必要だという。「統計解析や機械学習、分散処理技術などを用いて、大量のデータからビジネス上意味のある洞察を引き出し、意思決定者にわかりやすく伝えたり、データを用いた新しいサービスを作り出せる人材」だそうだ。そのあとの説明を見ると、Hadoopなどのソフトウェアの設定・運用ができるとともに、Rなどを駆使して統計処理プログラムを臨機応変に組める人を求めているようだが、そんな人はなかなかいないと思う。得意分野の違った複数の人からなるチームを組むことを想定しているのだろう。