人間はもともと五感からはいってくる大量のデータを処理しながら生きているとも言えるが、 現代人はさらに計算機などで処理されるような種類のデータを扱うことが多くなった。 主として数量の集まりからなるデータに関しては、統計学を基礎とする手法が発達しており、それには教科書もたくさん出ている。 しかし、実際にデータを扱う仕事には、統計手法以前の課題も多いのだ。 わたしは、実は統計手法は苦手であり、 同業者に貢献できるのはむしろ統計手法以前の課題に関する経験的知識である。 こういう知識を後輩に伝えなければならないと思っているが、言語で表現するのがむずかしくて困っていた。 ようやくここで、わたしの言いたいことに近いことを言語表現してある本に出会った。
リテラシー(literacy)とは読み書き能力である。 (本書の著者の名前は、その本来のliteracyにちなむものだそうだ。) 狭い意味の読み書き能力は文字列と単語の対応をつけられることだが、 小学校の国語の時間に習った読み書き能力はそれだけではなかった。 たとえば、事実の記述と意見とを区別して読みとる、という技能の教育もあった。 さらに広く読み書き能力をとらえることもできる。 同じ程度に断定的なことを言っていても、この人のほうが、 あるいはこのメディアのほうが、信頼できるだろう、といった判断を、 権威に頼るのではなくそれまでに読んだことの経験に基づいてする、 という能力もある。 こういう本はどこに行けば買うなり借りるなりできるか、という知識もある。 誤植や落丁乱丁を検出する能力もある。 その前提として、当然ながら、この文書はどこから始まってどちら向きに書かれているかを認識する能力もある。
データリテラシーとは、数値を主とするデータに関する、 これと似た意味での能力のことである。
本書の章だては次のようになっている。
第1章は本書の話題を概観するともに、統計学的概念との関係づけもしている。 「データサイエンスシリーズ」全12巻の総論という意味もあるようだ。 第2章はデータをどういう構造をもったものとして認識したらよいかを述べる。 数値データも、数値だけでなく、精度、欠損、単位などの属性を伴っている。 またデータ間の関係や、時間・空間座標との関係を適切に表現する必要がある。 その表現の具体的手段として、著者は、DandD (Data and Description)という、 XMLを基礎とした記述体系を導入して使っている。 第3章は、具体的なデータを、第2章で論じたような構造をもつように変換していく 作業の紹介である。 その過程で、疑問点を明らかにしたり、まちがいを訂正したりする作業が含まれることがある。これを「浄化」と呼んでいる。 例としては、実験データ、市場データ、 自動車給油記録(文字通りの「里程」を含む)データ、 疫学データなどとともに、地震や気象などの自然現象の観測データも含まれている。 第4章はbrowsing、つまりデータをながめることである。 まず数値としてながめることも重要だと言っているが、 主として図化して見る方法が紹介されている。 著者によればながめる観点は「均質性の発見」と「穏やかな変化の発見」である。 わたしはむしろ異常値を発見してさらに「浄化」が必要であることを認識することが多い。 第5章では、データ源の種類、 データの公開に伴ういろいろな課題などを論じている。
どの章の論点も、わたしが日ごろ重要だと思っていることと重なっている。 慶応大学藤沢で2001-2006年度に担当していた「地球環境観測」 [授業のページ]の授業のうち、 実習は、browsingの段階をねらったものである。 また、講義では、データの属性や、「流通と蓄積」の実際などに重点を置いている。 「浄化」はわたし自身が日常いちばん時間をかけている作業なのだが、 なかなか教材化できないでいる。 同じ場所で作業しながら技能を「盗んで」もらうしかないかもしれない。 「組織化」も大事だとは思っているのだが、 当面の仕事の結果を早く出したいという気持ちに負けるせいもあって、 当面の仕事ごとに違った作業用の形式統一にとどまっている。
地球環境科学の分野でも、DandDと同様にデータを組織化しようという動きはある。
わたしに身近なところでは、陸面水文モデル研究者によるALMA
(http://www.lmd.jussieu.fr/~polcher/ALMA/dataex_main.html,
日本語では
http://hydro.iis.u-tokyo.ac.jp/~agata/archive/ALMA/)や、
「地球流体電脳倶楽部」(日本の気象などの研究者のグループ)によるDavis
(http://www.gfd-dennou.org/library/davis/)などがある。
どちらも「自己記述型データ形式」であるnetCDF
[別ページ参照]をもとにし、
属性の記述方法を統一しようとしたものである。
しかしそれらはプロジェクト内、あるいは仕事のスタイルが似た研究者のコミュニティ内では機能するのだが、少し範囲をひろげようとすると普遍性の乏しさが感じられる。
ALMAについての経験で言えば、数値モデルの入出力データを扱うぶんにはよいのだが、
観測データまでこの形式に合わせるのはきゅうくつである。
ESML (Ramachandran et al., 2005)は、まだ短い解説を読んだだけなのではっきりしたことは言えないが、もしかすると適度に柔軟かもしれない。
XMLベースである点でDandDとも似たところがあるようだ。
評判を調べたうえで、よさそうだったら使ってみようと思っている。
なお、英語のものを含めても、 本書のような主題の教科書的な本はなかなか見当たらない。 (目録データベースを検索するのもむずかしい。 "data literacy" の連語を題目に含んだ本は見当たらず、 2語に分けてしまうと "data" はほとんど検索キーの用をなさず「読み書き能力」に 関する本の検索になってしまう。 同じ主題が別のことばで表現されているかもしれないが、 "data" 以外にどんな語を使うかは見当がつかない。) ようやく2006年9月(目録で見つけたのは2004年だが)、 「浄化」の部分を中心とするDasu and Johnson (2003)の本に出会うことができた。 なお、Browsingの部分に限れば、J.W. Tukeyの流れをくむ 「探索型データ解析」派の統計学者による本 (たとえばChambersほか, 1983; Cleveland, 1985; 上田, 2005)がかなり近い。 (本書の著者はBell研で開発された「S言語」の利用者・紹介者でもあるので、当然かもしれない。) 「組織化」の部分については、データベース関係の文献に近いものがあると思うが、わたしはまだ探していない。 「流通と蓄積」に関して、とくに著作権がらみの問題については、名和小太郎博士の 一連の著作(たとえば名和, 2004)がある。