地球環境観測2006

観測データの収集・浄化・体系化

GAME-Tの場合

データの収集、データの権利に関すること

わたしは地球観測で得られたデータは人類共有の財産であり だれでも自由に使えるものであるべきだと思っている。 しかし、現実にそれが実現しているのは、 現業または研究の国際共同事業でデータ公開の方針をとりきめたものと、 アメリカ合衆国の政府機関をはじめとする一部の機関による現業観測データ などに限られている。 観測データに対するとらえかたは、国によりまた機関によってまちまちである。 データを機関外に提供するという発想がなかったところもある。 データを近代以前型の役所の権益ととらえているところもあるようだ。 また、近代的な知的財産権の対象としてとらえているところもある。

知的財産権には特許権、著作権などがある。 本、映画、コンピュータプログラムなどは著作権の対象となるが、 データは直接には対象にならない。 日本の場合、データベースは著作権の対象となる。 他の多くの国では、著作権とは別にデータベースに関する知的財産権が設定されている。 名和(2004, 2006), MARLIN-BENNETT (2004)など参照。

GAME-T [「現業観測と実験観測」のページのGAME-Tの項参照] では、多くの国の気象・水文の現業機関に、共同研究への参加を求めた。 そのうちには、現業観測データを提供してもらうことが含まれていた。 この働きかけは、タイに関しては虫明功臣(現所属:福島大)・沖大幹(東大)両氏など、 その他の東南アジア諸国に関しては松本淳氏(現所属:首都大)が中心となった。 国によっては、データは紙に書かれてはいるがディジタル化されておらず、 コンピュータ入力を(お金を払って)依頼したところもある。

そのような働きかけの結果、 多くの現業機関から、観測データの一部を、 GAMEあるいはGAME-Tの成果物として、 世界に公開することを了解してもらうことができた。 また、別の一部は、GAME-Tのメンバーで共有するという形で提供してもらうことができた。

データの浄化、体系化、蓄積、流通

上の見出しの用語は 柴田(2001)[参考書]に従った。 ただし、ここで行なわれた体系化はあまり高度なものではない。

GAME-Tのデータは、東京大学生産技術研究所におかれたサーバー上 http://hydro.iis.u-tokyo.ac.jp/GAME-T/GAIN-T/に集められ、 安形康氏(当時東大・生産研、現在東大・新領域)が管理を担当することになった。 その後タイにもサーバーがつくられたが、内容は東大のサーバーのミラーである。 このサーバーに集められたデータは、実験観測と現業観測のデータを含み、 多様である。 現業観測データのうちでは、 とくに日降水量(1日ごとに集計された降水量)のデータが豊富であり、 気象・水文の両方にとって有用なものでもあるので、 データ整理の作業はこれを優先して行なわれた。

データファイルの形式は、機関ごとに、 また機関としてのデータ提供の体制が整っていない場合は担当者ごとに、 まちまちである。 データを統合して使いやすくするためには、形式を統一することが必要になる。

日降水量の場合に限っても、データの配列が、 地点ごとの時系列の場合もあるし、同じ日付の全地点の表の場合もありうる。 時系列型のうちでも、1年を通して連続でならべた形や、月ごとの形がある。 安形氏は、各地点ごと、各年ごとにファイルを分け、 その中は通しにする形(日付と降水量の2列)に統一した。 また、降水量データでは、 無降水、 微量降水(降水があることはあるが、あらかじめ決められた固定小数点表現で値が0になる場合)、 データ欠損(観測がされなかったか、故障などで異常な値となった)を区別する必要があるが、 それぞれの表現はまちまちである。 安形氏は、無降水を「0」、微量降水を「+0.0」、データ欠損を「-9999」という 表現に統一した。 [データ利用者向け注意: 多くのプログラム言語で数値として読むと「+0.0」は0と区別がつかない。 区別するのには文字として読んで「+」の存在を確かめる必要がある。]

形式統一とともに、明らかにまちがっている値を、 訂正できれば訂正し、できなければ欠損扱いする、という「浄化」作業も行なう。

ただし、降水量の場合、実際に短時間に大量の雨が降ることが ありうるので、数値からみてまちがいと判断することはむずかしい場合が多い。 むしろ、データ利用者が解析を行なう段階で、不自然な特徴を発見したり、 他のデータ源からのデータと照合することによって、まちがいを発見することがある。 一般に、データの品質改善には、 データ利用者からデータ管理者、さらに必要な場合には観測者への 疑問点のフィードバックが重要である。

Web上の上記のGAME-Tのデータ公開のページでは、 安形氏が形式統一と浄化を行なったデータが公開されている。

ただし、観測機関との約束に従って、 一般公開可とされたものはだれでも読めるようになっているが、 GAME-Tメンバー共有とされたものはパスワードつきになっている。 メンバー共有のデータを使いたい人は管理者(安形氏)に連絡をとると、 管理者がGAME-Tの目的の範囲内と判断した場合にはパスワードを教えてもらえる。 このほか、「Original data files」というところに、 各機関から提供されたままの形式のファイルが置かれているが、 これは、権利上は一般公開可のものも含めて、パスワードつきになっている。

データ流通の方法として、インターネット以外にCD-ROMが利用されている。 アジアにはまだインターネットを自由に使えないところも多いので、 オフラインの手段も必要である。

2002年に、GAME-TデータのCD-ROMが発行された(現在品切れらしい)。 これは当時のGAME-Tデータサーバーの内容とほぼ同じである。 データ提供機関によっては、webでの無条件での提供は認めなかった (パスワードつきとなった)が、CD-ROMへの収録は認めたところもあった。 このCD-ROMは研究者向けであり商業利用の可能性が低いと判断したからかもしれない。 その後、第2版のCD-ROM作成が予告されたがまだつくられていない。
しかし、2006年5月に、高橋清利氏(気象研究所)と安形氏の編集による 「GAME Phase 2」データCD-ROMが発行された。 (GAMEのWWWページhttp://www.hyarc.nagoya-u.ac.jp/game/から その情報にリンクがある)。 これは、 GAME-Tでデータが収録された国のほかに中国・韓国・日本を含めたものであるが、 対象期間は1997-2002年に統一されている。 (GAME-Tサーバーにはこれ以外の年のデータもあるが、 それはGAME Phase 2 CD-ROMには収録されなかった。)

参考文献 (参考書のページにあげたもの以外)


2006-10-12, 2007-01-06
増田 耕一 (環境情報学部 非常勤講師)
[地球環境観測2006の入口ページ] [教材目次] [日程] [地球環境観測のトップ]