[2023-05-24] 総論的な話
あつかう予定のデータの種類
- 地点ごとの観測値
- 気象庁 (気象官署、アメダス) の地上気象観測データ (当面、気象庁サイトからダウンロードした csv ファイル)
- 格子点データ 【便宜上、緯度経度2次元、あるいはそれに気圧面がくわわった3次元にかぎる】
- 数値予報初期値データ (気象庁MSM → 気象業務支援センター配信 → 京大生存研でnetCDF化してアーカイブ)
- 再解析データ（JRA55 または JRA3Q の「anl_surf125」 「anl_p125」など）【モデル格子はあつかわない】
- 気象庁 合成レーダー (エコー強度、エコー頂高度)，解析雨量 【個別レーダーデータはあつかわない】
- 気象衛星 ひまわり8・9号 赤外・可視 画像データ（千葉大CEReSで緯度経度格子に変換されたもの） 【オリジナル画像はあつかわない】
- 鉛直分布をもつデータ
- 気象庁 ラジオゾンデ (気象庁サイトで表示されるもの)
- 気象庁 ウィンドプロファイラ (京大生存研アーカイブ)
コンピュータ利用について
- コマンド行インタフェース command line interface (cf. graphical user interface)
- バッチ処理 と 対話型処理
- 手順だて型 (命令型、手続き型) のプログラム言語 (cf. 関数型言語、オブジェクト指向言語 など)
- 手順だて型言語の制御構造 (順次処理、条件分岐、ループ) と 下請け手続き呼び出し
- データ型 (ビット、論理型、整数型、浮動小数点型 (実数型)、文字型、配列のたぐい、複合構造型)
- 型宣言が必要な言語、型があいまいな言語、変数を最初に利用するときに型がきまる言語
- Python というプログラム言語の選択の長所と短所
- Python + matplotlib + Cartopy という気象データ図化技術の選択の長所と短所
- (人間の) 言語と、文字コードの問題
- 日本語圏では、文字コードとして、すくなくとも、ASCII, Shift_JIS, UTF-8 を知っておく必要がある。
- ウェブページ記述言語としての HTML
- ネットワーク利用: HTTP, ターミナル利用 (telnet), FTP, rcp, 暗号化 (https, ssh, scpなど)
演習でつかうコンピュータの選択
- 案1: Linux (Ubuntu) "hamana" + anaconda3、端末として各自のパソコン
- 案2: 各自の Windowsパソコン + anaconda3、共有ファイル置き場として Linux "hamana"
よくつかうデータ構造
- 気象データは、時間 等間隔で多数の時点の値をふくむものが圧倒的に多い。
(たとえば GrADS というソフトウェアはそれを前提としている。)
- 空間位置
- 観測点
- 格子点
- 緯度・経度 それぞれ等間隔の格子
- 地図投影上の座標軸での格子
- 数値モデルの差分法やスペクトル法でつかわれる格子
- 観測点ごとのデータ
- 格子点データ
- ファイルとしてはバイナリファイルにし、
Python では numpy の配列に読みこむのが便利。
- データが何であるのかの情報 (メタデータ) をどのようにもつか。
- 内容データは単純バイナリファイルとし、別にメタデータのファイル (例、GrADS用 ctlファイル) をもつ。
- 内容データとメタデータを同じファイルにふくめる (読みだしにくふうが必要)
- netCDF (unidata.ucar.edu) そのメタデータの書きかたについては CF Convention
- [NetCDFとCF規約] (2010年に書いたおぼえがき)
- Python では xarray または netcdf4 ライブラリをつかう
- GRIB (WMO) version 1 と version 2 があって互換性がない。
- wgrib または wgrib2 (Wesley Ebisuzaki 氏による) で単純バイナリファイルに変換できる。
- GrADS では、あらかじめ ctl ファイルを用意して gribscan または grib2scan で indexファイル (mapファイルともいう) をつくっておけば読める。
- Python での増田の対応
- 気象庁 解析雨量と合成レーダーは、ウェブ上で見つけた Python による解読例を応用。
- JRA55, JRA3Q は まず GrADS で読んでその fwrite で書きだしたファイルを Python で読む。
データの権利についてのメモ
- 計算機プログラム
- 原則として著作権の対象。
- 商品となっているものが多い。
- オープンソースソフトウェアは、ライセンスによってコピー自由としている。
そのライセンスには GPL型 (派生物が「自由」であることを強制する) と
BSD型 (派生物にどんなライセンスをつけるかは自由) がある。
- パブリックドメイン (著作権の対象外) のものもいくらかある。
著作権の期限をすぎたものはパブリックドメインとなる。
また、かつてアメリカ合衆国では、著作権表示がないプログラムはパブリックドメインとされた。
- 研究由来のデータ。パブリックドメインのこともあるが、研究論文などの著作権がかかわることもあり、所有権がかかわることもある。
ちかごろ、公的資金による研究の成果データはオープンアクセスにすることを期待されるようになった。
オープンアクセスでもパブリックドメインとはかぎらず、特殊なライセンスのこともありうる。
- 観測データ
- 自然を観測して得られたデータは原則として著作権の対象ではない。
- それを編纂したデータベースは著作権の対象になる。
- アメリカ合衆国連邦政府が作成したデータは、
機密とされたものや有価物と明示されたものをのぞいて、パブリックドメインとされ、
配布が有料であってもそれは手数料で、コピーは自由である。
- 日本の気象庁の作成したデータも、原則はそれと同様だと聞いたおぼえがある (しかし不確かな記憶であり証拠がない)。
しかし、有料配布されているディスクには著作権表示がはいっていることがある
(編纂物の著作権と考えられる)。その内容データがコピー自由かどうかは微妙なところがある。
- 企業によるデータを利用するにはライセンス契約 (共同研究契約にふくまれることもある) が必要なことが多い。
データ提供体制についてのメモ
- 気象庁が生産するデータ量はふえつづけているが、
気象庁ウェブサイト、気象業務支援センターとも、その増加においついておらず、
あるはずのデータが提供されていないことが多くなっている。
【とくに、CD-R, DVD-R の形で固定されたものがへってしまったので、
解析結果の再現可能性がおとろえたと思う。】
いったん配信したものについては、他機関のボランタリーなアーカイブが重要になっている。
(更新) 実質 2023-05-24 朝, 移動 2023-05-31 朝
増田 耕一 (MASUDA Kooiti)