Earth System Grid

ここでいうEarth System Grid (ESG)は、地球環境データ(主に気候モデル出力)を提供するためのサーバー群のしくみ(あるいはそれを実現するソフトウェア群)をさす。1999年からアメリカ合衆国エネルギー省(DoE)の研究費で、エネルギー省傘下の研究所群(LLNLの一部であるPCMDIを含む)とNCARによって開発されてきた。

• ESG-1 (1999-2000)
• ESG-2 (2001-2008)
• ESG-CET (Center for Enabling Technologies) (2008-)

これまで、ESG-2の成果がNCAR(NCARの気候モデル出力の提供)とPCMDI(CMIP3データの提供)で運用されてきた。CMIP5ではESG-CETによる新版が使われる。

ESGのウェブサイトは

• http://earthsystemgrid.org/ ... NCARにある。今のところ(=2009年10月)このURLがさすのは旧システム(ESG-2)の入り口。 NCARの気候モデル出力データとモデルや可視化のソフトウェアを提供している。「IPCC Working Group 1 Data」というリンクはPCMDIのCMIP3データサーバーをさしている。(2010年6月4日補足: 新システム(ESG-CET)のNCARの入り口に更新されたようだ。)
• http://curator.ucar.edu/ ... NCARにある。これが今のところ(=2009年10月)新システム(ESG-CET)の入り口らしい。(2010年6月4日補足: 新システム(ESG-CET)のPCMDIの入り口に行くように変更されたようだ。)
• http://esg-pcmdi.llnl.gov/ ... PCMDIにある。新版の技術的情報がある。

新版のノード構成

新版では、複数のノード(サーバー)が分散協調サービスを行なう。ノードの機能にはgatewayとdata nodeがある。Data nodeはデータを管理し、メタデータ情報をあらかじめgatewayに知らせておく(この機能をpublishと呼んでいる)。ユーザーからの要求を受けるのはgatewayである。要求が単なるダウンロードであれば、data nodeがユーザーに答える。Data nodeがもたない演算が必要な場合は、gatewayがいったんデータを受け取って演算してユーザーに答える。

• ノード間でユーザー登録情報を共有して認証を行なう。
  • これにはOpenIDというしくみ、MyProxyというソフトウェアを使う。
• Data nodeには次の構成要素が必要である(この項目、 追加参考文献 Williamsほか(2009) 16ページによって修正記述した。 ただしURLは増田が別に調べたので自信のないところもある)。
  • PostgreSQL: リレーショナルデータベース。データファイル(CF規約に従うNetCDFファイル)から集められたメタデータ情報と、システム管理上の情報をもつ。
  • CDAT (Climate Data Analayis Tools): PCMDIで開発されたデータ可視化ツール。CDMS (Climate Data Management System) という部分を含む。主にPythonで書かれている。http://www2-pcmdi.llnl.gov/cdat/ 【2015-10-14現在、リンク切れ。】
  • Pythonで書かれたESG-CETオリジナルのスクリプト集。 「Publication」機能(メタデータをgatewayに伝える)、 GUIなど。
  • Apache Tomcat (Java servlet container)。ウェブアプリケーションサーバー。http://tomcat.apache.org/
  • THREDDS Data Server: カタログ、HTTPダウンロード、OPeNDAPのサービス。http://www.unidata.ucar.edu/projects/THREDDS/
  • LAS (Live Access Server): データ選択取得のフロントエンド。http://www.ferret.noaa.gov/Ferret/LAS/
  • MyProxy client: X.509認証情報作成。http://grid.ncsa.illinois.edu/myproxy/らしい。
  • GridFTP: 高速データ転送ツール。http://www.globus.org/grid_software/data/gridftp.phpらしい。
  • Publication機能をテストするためのセット。
• クライアントソフトウェアとして次のものを使う。(データを取得したいユーザーに配布することを予定しているらしい。)
  • DML (DataMover-Lite): GridFTPのフロントエンド。https://sdm.lbl.gov/dml/らしい。Javaで書かれている。
• メタデータのやりとりには次のプロトコルを使う。
  • OAI (Open Archives Initiative) PMH (Protocols for Metadata Harvesting) http://www.openarchives.org/

CMIP5のための態勢

Gatewayは当面PCMDI, BADC, WDCC。 Data nodeはこれらのほかに数か所(日本を含む)。

2009年のGO-ESSP会議でのESGに関する発表

• Luca Cinquini (NCAR CISL[1]): Introduction to the ESG-CET CMIP5 federation. http://go-essp.gfdl.noaa.gov/presentations/2009/2_1100_CinquiniLuca.pdf ... CMIP5のためのESGの態勢の紹介。
• Dean Williams (発表者) (PCMDI) ほか: ESG data node. http://go-essp.gfdl.noaa.gov/presentations/2009/2_1130_WilliamsDean.pdf ...　ESG新版のとくにdata nodeの構成の機能の説明。
• Sylvia Murphy (発表者) (NCAR CISL) ほか: Implementation of CMIP5 metadata in the ESG gateway. http://go-essp.gfdl.noaa.gov/presentations/2009/2_1150_MurphySylvia.pdf ... ESGのgatewayでCMIP5のメタデータをどのように使うか。
• Phillip Kershaw (BADC): Adding secure services to ESG. http://go-essp.gfdl.noaa.gov/presentations/2009/2_1210_KershawPhil.pdf ... ESGのユーザー認証などをどのようにするか(OpenIDというしくみを使う)。概論とBADCでの実装の紹介。
• Gary Strand (NCAR ESSL[2]): Distributing climate model data to the world. http://go-essp.gfdl.noaa.gov/presentations/2009/3_1220_StrandGary.pdf ... ESGの10年の歩みをざっとふりかえる。(NCARの気候モデル開発者の立場から。)

2009年のGO-ESSP会議でのESGと似た活動に関する発表

• Glenn K. Rutledge (NOAA NCDC[3]): The NOAA Operational Model Archive and Distribution System (NOMADS) and plans for NOAA's National Climate Model Portal (NCMP). http://go-essp.gfdl.noaa.gov/presentations/2009/3_1140_RutledgeGlenn.pdf ... NOAA内の、ESGという名前ではないが同様な活動。 NCEPの数値天気予報モデル出力、 再解析、 GFDLの気候モデル出力、 NCDCのもつ観測に基づく気象データなどを共有。 海洋データも扱うようになった。
• Stephan Kindermann (DKRZ(ドイツ気候計算センター)): IS-ENES, C3Grid and DKRZ data node. http://go-essp.gfdl.noaa.gov/presentations/2009/3_1035_Kindermann_Stephan.pdf ... C3Gridはドイツ国内のデータセンター・研究機関・大学がデータと計算環境を共有するシステム。メタデータをISO 19139 discovery catalogとして持つ。IS-ENES [4]はEUのプロジェクト。2009年3月から4年間。　データ、モデル、計算設備、 専門知識にわたる。DKRZはそのデータポータルとなる。
• Sandro Fiore and Giovanni Aloisio (CMCC[5]): A grid enabled scientific gateway for climate change. http://go-essp.gfdl.noaa.gov/presentations/2009/3_1015_Climate-GPortal-Fiore.pdf ..._ヨーロッパ(イタリア、スペイン、ドイツ、フランス)のEGEE[6]という多目的のデータサーバーネットワークを利用した気候データの共有利用。http://grelc.unile.it:8080/ClimateG-DDC

追加参考文献

• Dean Williams, Ian T. Foster and Don E. Middleton (principal investigators), 2009: ESG-CET Semi-Annual Progress Report: April 1, 2009 through September 30, 2009. http://esg-pcmdi.llnl.gov/semi-annual-progress-reports/ESG-CET%20Progress%20Report%20from%20April%201%202009%20-%20September%2030%202009.pdf (PDF 14 MB) 【2015-10-14現在、リンク切れ。】.

注

• [1] Computational and Information Systems Lab.
• [2] Earth and Sun Systems Lab.
• [3] National Climate Data Center http://www.ncdc.noaa.gov/
• [4] Infrastructure for European Network for Earth System Modelling http://www.enes.org/IS-ENES.429.0.html
• [5] Centro Euro-Mediterraneo per i Cambiamenti Climatici / Euro-Mediterranean Center for Climate Change、イタリア http://www.cmcc.it/
• [6] Enable Grids for E-science http://www.eu-egee.org/

[2009年GO-ESSP会議報告の本文へ] [個人Wikiにあった文書の一覧へ] [増田のホームページへ]