気象庁の観測データを取得する
[注意] 気象庁のウェブサイトの混雑をさけるため、
この内容に関する授業の時間中には、気象庁サイトのダウンロードメニューの
「CSVファイルをダウンロード」のボタンをおさないでください。
CSVファイルの例としては、このページからリンクしたもの、
または、実習用のLinuxマシンに用意したものを見てください。
気象庁の地上気象観測所
気象庁では、地上気象観測のほか、高層気象観測 [注]、レーダー観測などをおこなっているが、
ここでは、地上気象観測にかぎって説明する。
- [注] ここでいう「高層気象」は、「上空の気象」ぐらいの意味で、対象は対流圏・成層圏である。
「高層大気」という用語はちがう対象(熱圏)をさすことがあるので、区別してほしい。
気象庁の地上気象観測については、
気象庁ウェブサイト https://www.jma.go.jp のうちの「知識・解説」からたどって、
「気象」の「気象に関する観測と予報の技術の解説」の中の
「気象の観測」に解説がある。
とくに、「地上・地域気象観測」の「地上気象観測所について」や
「地域気象観測システム(アメダス)について」を見てほしい。
気象庁の出先機関として観測や予報をする官署(役所)は、気象台と呼ばれる。
各都道府県に1つ以上の「地方気象台」などの「気象台」がある(複数あるのは北海道と沖縄)。
場所は県庁所在地とはかぎらず、埼玉県のばあいは熊谷である。
気象台は観測のほかに予報の業務をもつ。
かつては、気象台の支部のような、「測候所」という官署があった。
測候所の数は減って、いまでは例外的な存在になった。
かつての測候所の大部分は無人化されて「特別地域気象観測所」になっている。
また、有人の「気象観測所」がいくつかあり (たとえば小笠原諸島の父島)、
予報はしないが観測を業務とする職員がいる。
気象台・測候所・気象観測所・特別地域気象観測所
(正式の用語ではないがここでの便宜上「気象官署等」とまとめる) は、
つぎにのべるアメダスの地点でもあるが、通常のアメダス地点よりは観測項目が多い。
気象庁は、無人観測所網「アメダス (AMeDAS)」[注] をもっている。
アメダスの地点には、
降水量、気温、風向・風速、日照時間 または 湿度 (および、地域によって、積雪深)をはかっているところと、
降水量だけのところがある。
- [注] アメダスは気象庁の「地域気象観測システム」である。
AMeDAS という名まえは、「自動気象データ収集システム」にあたる
英語 Automated Meteorological Data Acquisition Systemの略語とされているが、
AMDASとしなかったのは、「雨」とのごろ合わせを考えたにちがいない。
ただし雨だけをはかっているわけではない。
- [注] アメダスの観測項目には、ながらく、日照時間がふくまれ、湿度がふくまれていなかった。
最近、観測点ごとに、観測機器の更新とともに、湿度の観測をおこない、相対湿度の値を発表するように変更されている。
機器更新された地点では日照時間は観測されていない。
2021年3月2日以後、(気象官署等以外の) アメダス観測値にふくまれた日照時間は衛星観測にもとづく推計値である。
「過去の気象データ検索」のつかいかた
気象庁ウェブサイトのホームページ [外] http://www.jma.go.jp から、
「各種データ・資料」のタブを選択し、
その中の「気象」の「気象観測データ」のうち「過去の気象データ検索」を選ぶ。
ここを開くと「各地の気温、降水量、風など」のタブが選択された状態になっている。
これが地上気象観測だ。
「高層の気象、風など」を選択すると、高層気象観測のデータが見られるが、
今回の教材では、その説明は省略する。
「過去の気象データ検索」は、
観測値をブラウザ上に数字の表で表示させて目でみるには便利だ。
ただし、まず地点を選択するので、複数地点をいっしょに見ることはできない。
(ブラウザで別のタブを開いてそれぞれ操作すれば見られるが。)
また、日ごとの値は月ごとの表になっており、
1年をとおした日ごとの値をまとめて見ることはできない。
「地点の選択」「年月日の選択」をしたうえで、
「データの種類」の下にあるいずれかのリンクさきを開くと、観測値の表が見られる。
「地点の選択」は、「都府県・地方を選択」(北海道は細分されているが、そのほかは都府県)、
その中で「地点を選択」という2段階になっている。
- (例) 熊谷地方気象台のデータを見てみよう。
「地点の選択」のうち「都府県・地方を選択」で「埼玉」、「地点を選択」で「熊谷」をえらぶ。
「年月日の選択」で、まず年だけを選択してみる。仮にyyyy年としておく。
すると、「データの選択」の下では、次のリンクさきを選択できるようになる。
- 年ごとの値を表示
- yyyy年の月ごとの値を表示
- yyyy年の旬 [注1] ごとの値を表示
- yyyy年の半旬 [注2] ごとの値を表示
- [注1] 「旬」は10日間をさす。ここでは月のうちを上旬・中旬・下旬とわけていて、下旬の日数は一定でない。
- [注2] 「半旬」は5日間をさす。年をとおして数える方式と月をわける方式があるが、
ここでは月をわけているので、1年は72半旬であり、各月第6半旬の日数は一定でない。
まだ、「データの選択」の右側の列では、次のリンクさきを選択できる。
- 年・月ごとの平年値 [注] を表示
- 3か月ごとの平年値を表示
- 半旬ごとの平年値を表示
- [注] ここでいう平年値は、現時点では原則として1991-2020年の平均値である
[2024-07-17 訂正]。
平年値は「年月日の選択」で指定した年の値ではない。)
「年月日の選択」で、年にくわえて月を指定する。仮にmm月としておく。
すると、「データの選択」の下で、「yyyy年mm月の日ごとの値を表示」、
右側の列で、「mm月の日ごとの平年値を表示」も選択できるようになる。
「年月日の選択」で、年、月にくわえて日を指定する。仮にdd日としておく。
すると、「データの選択」の下で、次のリンクさきも選択できるようになる。
- yyyy年mm月dd日の1時間ごとの値を表示
- yyyy年mm月dd日の10分ごとの値を表示
地点と年月日を指定して、「月ごとの値」「日ごとの値」などを開くと、
「一覧表」と「グラフ」のタブがあって「一覧表」が選択された状態になっている。
「一覧表」の状態だと「主な要素」と「詳細」(複数)のタブがあって「主な要素」が選択された状態になっている。
「詳細」のうちわけは、
「気象台・測候所など」(特別地域気象観測所もふくむ)のばあいは
「気圧・降水量」「気温・蒸気圧・湿度」「風」「日照・雪・その他」である。
アメダスのばあいは「降水量」「気温」「風・日照」「雪」で、
表示される表は、降水量と気温、風・日照と雪、が、それぞれいっしょになっている。
「グラフ」の状態だと、「降水量」「気温」「風」「日照」「雪」のタブがあって
「降水量」が選択された状態になっている。
(気象台・測候所などでも、このページでグラフを表示できる観測項目はアメダスと共通のものに
かぎっているようだ。)
一覧表に「)」「]」「///」のような記号がまざっていることがある。
その説明は、一覧表の下にある「値欄の記号の説明」のリンクさきに説明されている。
「地点・年月日・データ選択」画面の下端近くにある「利用される方へ」というリンクを
たどっても「値欄の記号の説明」に行くことができる。
「過去の気象データ ダウンロード」のつかいかた
このサイトのおもな機能は、利用者が、地点ごとの観測データを、
CSVという形式のファイルとしてダウンロードできることである。
データを画面に表示する機能もある。
こちらの対象は地上観測だけであり、高層観測はふくんでいない。
また、「年別値」は用意されていない。
気象庁ウェブサイトのホームページ [外] http://www.jma.go.jp から、
「各種データ・資料」のタブを選択し、
その中の「気象」の「気象観測データ」のうち「過去の地点気象データ・ダウンロード」を選ぶ。
ここを開くと、上のほうに「このページの使い方」がある。
使いかたはそのリンクさきを参照してほしい。
また、その横ならびに「CSVファイルの形式」がある。
ダウンロードされるファイルにどのようにデータが記録されるかについての
くわしいことは、そのリンクさきを参照してほしい。
「検索条件」の下に、
「地点を選ぶ」「項目を選ぶ」「期間を選ぶ」「表示オプションを選ぶ」がある。
これをそれぞれ開いて指定したあと、
右の「画面に表示」をえらべばデータが画面に表示され、
「CSVファイルをダウンロード」をえらべばデータをダウンロードすることができる。
ただし、一度にダウンロードできるデータの量にかぎりがある。
右上の「選択済みのデータ量」が 100 % をこえていると、
「地点」「項目」「期間」のいずれかをへらして
「CSVファイルをダウンロード」をやりなおす必要がある。
- 「地点を選ぶ」は、「都道府県を選ぶ」(北海道は細分されている)、
その中で「地点を選ぶ」という2段階になっている。
- 【「過去の気象データ検索」のばあいとはちがって、複数地点をえらぶこともでき、
その地点群は複数の都道府県にまたがることもできる。
ダウンロードしたあと別の地点をえらびたいときは、
まえにダウンロードした地点の選択を解除しておく必要がある。】
- 都道府県ごとに表示された地図上の地点のうち、
赤の二重まるが「気象官署等」、その他が一般のアメダス地点である。
なお、地名が白ぬきになっているのは現在は観測がおこなわれていない過去の観測点である。
- 最初の例としては、埼玉県の熊谷をえらぶことにする。
- 「項目を選ぶ」には、左上に「データの種類」、右上に「過去の平均値との比較オプション」、
下に「項目」がある。
- ここでいう「データの種類」は、どれだけの時間期間ごとにまとめたデータかをさしている。
日別値、月別値などがあって、そのうちどれかを選択できるようになっている。
(「[2] 日別値」のようになっていて「2」のところの数値を変えられるオプションもある)。
今回は、「日別値」を選択することにする。
- 「過去の平均値との比較オプション」では、平年値や、観測値と平年値との差などを、
チェックボックスで指定することができるが、
今回は、ここは何も指定しないことにする。
- 「項目」には、「気温」「降水」「日照/日射」「積雪/降雪」「風」
「湿度/気圧」「雲量/天気」のタブがある。
それぞれのタブをひらくとデータ項目があるので、
書き出したいものをチェックボックスで指定する。
「湿度/気圧」「雲量/天気」にデータ項目があるのは、気象官署等にかぎられていた。
(最近は、湿度はアメダス観測点でもあるはず。)
- 今回は、アメダス観測点でながらく観測されてきたデータ項目をえらぶことにする。
(日照時間は、最近は衛星観測からの推計値であるのが残念なのだが、
2020年以前の観測値をつかうための練習としてふくめている。)
- 「気温」は、日別値がえらばれているばあいに選択可能なものは
「日平均気温」「日最高気温」「日最低気温」である。
今回は、これを3つともえらぶことにする。
- 「降水量」は、日別値がえらばれているばあいに選択可能なものは
「降水量の日合計」「10分間降水量の日最大」(「10分間」を「1時間」に変えることができる)である。
今回は、「降水量の日合計」をえらぶことにする。
- 「日照/日射」は、日別値がえらばれているばあいに選択可能なものは
「日照時間」「日合計全天日射量」だが、
日射量を観測しているのは官署だけである (しかも、すべての官署ではない)。
今回は、「日照時間」をえらぶことにする。
- 「積雪/降雪」は、日別値がえらばれているばあいに選択可能なものは
「日最深積雪」「降雪量の日合計」である。
今回は、えらばないことにする。
- 「風」は、日別値がえらばれているばあいに選択可能なものは
「日平均風速」「日最大風速 (風向)」「日最大瞬間風速 (風向)」「日最多風向」である。
今回は、えらばないことにする。
(風は、時別値を見るとおもしろいのだが、日別値ではわかりにくいので。)
- 「期間を選ぶ」には、「連続した期間で表示する」「特定の期間を複数年分 表示する」がある。
ここでは、「連続した期間で表示する」をえらぶことにする。
「連続した期間で表示する」では、はじめと終わりの年月日を指定する。
今回は、なるべく最近の、複数年について、月単位のまとまりで見たいという考えから、
2022年1月1日から2024年5月31日をとってみることにする。
(これは各自考えて変えてみてほしい。
ただし、地点によって実際の観測開始年がちがうが、期間選択メニューではわからない。
また、一度にダウンロードできるデータ量の制限があり、
それをこえていると、「地点」「項目」「期間」のどれかをへらすようにせまられる。)
- 「表示オプションを選ぶ」では、つぎの指定をする。
- 「利用上注意が必要なデータ値の扱い」は、おもに、観測が部分的に欠けている
(たとえば1日のうち1時間ごとの観測値が10個しかない) ときの集計値をふくめるかどうかである。
標準動作は「値を表示(格納)する。ただし利用上注意が必要なことを示す情報をつける。」
となっているので、今回は、そのままにしておく。
- 「観測環境などの変化の前後で、値が不均質となったデータの扱い」は、
標準動作は「すべての期間の値を表示(格納)する。ただしデータの不均質を示す情報をつける。 」
となっているので、今回は、そのままにしておく。
- 「ダウンロードCSVファイルのデータ仕様」は、
このさきのデータ利用のしかたによって、えらぶ必要がある。
- 大きい選択は、「すべて数値で格納」か「データ表示画面と同様に、数値以外の記号を含む」かである。
標準動作は「すべて数値で格納」となっているので、
今回は、そのままにしておく。(これを選んでも、風向など、文字で格納される項目がある。)
- 「すべて数値で格納」をえらんだばあいに、日付の形式を選択する。
選択肢は「日付リテラルで格納」と「年月日などに分ける」である。
ここでいう「日付リテラル」は、2024年5月31日ならば「2024/5/31」のような形である。
(くぎり記号は斜線(スラッシュ)である。月・日を2けたにそろえることはしていない。)
Python も Excel も日付型のデータをあつかえるので、その機能をつかうならば「日付リテラル」が便利だろう。
年、月、日を分けてあつかいたいときは「年月日などに分ける」をえらぶ。
標準動作は「日付リテラルで格納」となっているので、
今回は、そのままにしておく。
【増田の2021年度までの教材では「年月日などに分ける」をつかっていた。】
- 「その他」のうちの「都道府県名を格納」は、
標準動作ではチェックがはいっていないが、今回や今後の増田の教材では、
チェックを入れる。
気象庁のこのページからダウンロードされるCSVファイルには地点のID番号がなく、
地点名で判断する必要があるが、アメダスには同じ名の地点があり、都道府県名で区別したいからである。
【同じ都道府県内でも同じ名の地点が複数あるばあいもあるが、同時期に観測していることはない。
それに関する注意は、それが必要になるウェブページでのべる。】
ここまで指定して「CSVファイルをダウンロード」を押すと、
「data.csv」というファイルをダウンロードするか、とたずねられる。
ブラウザの機能で、自分のパソコン上にファイルを保存する。
【保存場所がどこになるかは、パソコンのOSとブラウザに依存する。
わたしの場合 (OSはWindows 10、ブラウザは Firefox)、
自分のホームディレクトリの下の「ダウンロード」である。】
ファイル名は data.csv のままではとてもまぎらわしいので、
ダウンロードしたあとすぐ、パソコンのOSの機能で、自分がわすれにくい名まえにつけかえたほうがよいだろう。
今回の教材の例文では、daily_kumagaya_202201_202405.csv としておく。
このファイルのコピーをつぎのリンクさきに置いておく。
ダウンロードしたものを、パソコンのOSの機能で、
自分の作業用あるいは保存用のディレクトリに移動しておこう。
(あらかじめダウンロードさきを変えて指定しておくことができるならば、そのほうがよいだろう。)
Linux でつかうばあいは、パソコンから (Windows ならば WinSCP などで)
Linux 上で置かれるべきディレクトリにアップロードしよう。
【Linux 上のウェブブラウザで気象庁サイトにアクセスしたほうが話が早いのだが、
残念ながら、TeraTerm + Xming では Linux のブラウザを起動できない。】
「過去の気象データ ダウンロード」でつくられるCSVファイル
計算機であつかわれるデータのうち、
文字がならび適宜改行された形で記録されたものが「テキストファイル」である。
テキストファイルのうち、1行が複数の項目 (表とみなしたときには「列」)からなり、
項目をくぎる文字として、ASCIIコード(1バイトの文字コード)のコンマ(「,」)がつかわれているものを、
CSV (comma-separated value) ファイルという。
【「コンマ」というか「カンマ」というかは個人差がある。
英語の「comma」を日本語でどう近似するかの個人差である。】
気象庁の「過去の気象データ ダウンロード」でつくられるCSVファイルの内容は、
数値をあらわす数字は ASCII コードだが、
地名、項目名などについて、日本語文字が Shift_JIS コードでふくまれている。
【ソフトウェアによっては、日本語がうまく読めないかもしれない。
Shift_JISはながらくMS-DOSやMS Windowsの日本語版でつかわれてきた文字コードなので、
OSの文字コードがちがっていても、日本語に対応したソフトウェアならば、Shift_JISが選択肢にあるだろう。
しかし、日本の気象データをつかいたい人は、
かならずしも日本語バージョンのOSやソフトウェアをつかっている人ばかりではないので、
ASCIIコードだけで構成されたCSVファイルをダウンロードできるオプションもつくられることを希望する。】
CSVファイルは、かならずというわけではないが、表計算ソフトウェアの表としてつかわれることを想定して
つくられることが多い。気象庁のダウンロード形式もそうである。
- Microsoft Excel (わたしがためしたのは Windows 上の Excel 2021 日本語版) では、
「開く」の機能で、対象となるCSVファイルを指定することによって、
ほかの指定をせずに、表として読みこむことができた。
上記の手続きでつくった熊谷の日別値のファイルならば、A列からR列までがある。
- LibreOffice Calc (わたしがためしたのは Windows 上の LibreOffice 7.6 日本語版) では、
Calcを起動すると空白のワークシートを開いている状態になり、
「ファイル-開く」から対象となるCSVファイルを指定すると、
「テキストのインポート」のメニューが開く。
「文字エンコーディング」は「日本語 (Windows-932)」または「日本語 (Shift-JIS)」、「言語」は「日本語」をえらぶ
(ファイル内容のはじめの部分からの推測でそれが候補に出ているだろう)。
「区切りのオプション」はチェックボックスで「コンマ」を指定し、そのほかははずしておく。
「空白文字を切り詰める」はあったほうがよいかもしれない。
「区切り文字 (G)」は、文字列をかこむ引用符である。ダブルクォート(「"」)が
想定されている。そのままでよいだろう。
表のはじめの部分が表示されるので、それでよさそうならば、「OK」を押す。
すると、上記の手続きでつくった熊谷の日別値のファイルならば、
A列からR列までに値がはいった表ができる。
表の頭の部分の各行の意味
行の番号はここでは表計算ソフトウェアの流儀で 1 からかぞえることにする。(Python では 0 からになることに注意。)
- 1行めにはダウンロードした日時がはいっている。
- 2行めは空行になっている。
- 3行めにはD列からの各列に都道府県名がはいっている。
【「表示オプションを選ぶ」で「都道府県名を格納」にチェックを入れなかったばあいは、
この行がない。】
- 4行めにはD列からの各列に地点名がはいっている。
- 5行めには項目名が書かれている。数量の単位も、かっこ入りの形で、それにふくまれている。
- 6行目は空行になっている。
- 7行めには「品質情報」「均質番号」「現象なし情報」という文字列がはいるか、空白になっている。
- 「品質情報」は、数値が観測値として利用可能かを判断するための情報である。
値の意味は、「過去の気象データ ダウンロード」のページの左上「CSVファイルの形式」のリンクさきのページの
「品質情報の値と意味」のところに書かれている。
この列の数値が 8 ならば、それに対応する観測値 (すぐ左の列) はつかえる。4以下ならばつかえない。
5 のばあいは、目的に応じて判断する必要がある。
- 「均質番号」は、たいてい 1 がはいっているが、
観測条件が変わってデータの質が不連続とみなされたばあいに、区別できる値がはいる。
- 東京 (という観測地点) の 2014年の気温などの日ごとの値を見ると、
均質番号「1」と「2」がふくまれている。
大手町での観測と北の丸公園での観測が区別されている。
- 館林の2018年6月の移転は、不連続とはみなされなかったので、移転前後にわたって
ここは「1」となっている。
- 「現象なし情報」
- 「気象官署等」の地点のばあいにあり、
その他の一般のアメダス地点のばあいにはない。
- 今回ダウンロードした気象要素のうちでは、降水量と日照時間につけられている。
- 現在の日本の気象庁で、日降水量の値が「0.0」となっているのは、0.5 mm 未満という意味であって、
かならずしも無降水ではない。
「気象官署等」では、別途、降水の有無を判定している。
降水量の「現象なし情報」は、無降水のばあいに 1、
降水あり (0.5 mm 未満をふくむ) のばあいに 0 となる。
- 同様に、「気象官署等」の日照時間の「現象なし情報」は、日照なしのばあいに 1、
日照あり (0.1 時間未満をふくむ) のばあいに 0 となる。
今回ダウンロードしたデータでは、すべて 0 となっている。
熊谷は気象官署だから日照計の観測は続いているはずだが、
日照なしかどうかの判定はしていないのかもしれない。
- 8行めからが実質のデータである。
表の左の部分の列の意味
表計算ソフトウェアの流儀で A列、B列のようによぶことにする。(Python では列番号も 0 からになることに注意。)
- A列が日付 (内容は「2022/1/1」のような文字列になっている)で、
B列からが実質のデータになる。
- 【なお、「表示オプションを選ぶ」で「年月日などに分ける」をえらんだばあい
(そして「その他」の「日付に曜日を表示」を指定しなかったばあい)、
日別値ならば、A, B, C列が日付で、D列からが実質のデータになる。
日付にとられる列の数は、データの時間単位によってちがう。】
数値をながめてみよう
CSVデータをダウンロードしたら、まず、表計算ソフトウェアで、数表の形のままで、
どの列にはだいたいどのような数値がはいっているか、ながめてみよう。
「品質情報」、「均質番号」、「現象なし情報」の列は列幅を数字ひとつが表示できるところまでせまくして、
なるべく多くの列を同時に見られるようにしたほうがよいだろう。
(2020-12-10, 2020-12-13, 2021-11-20) 2024-06-09, 2024-07-17
増田 耕一 (MASUDA Kooiti)