- John W. Tukey, 1977: Exploratory Data Analysis. Reading MA USA: Addison-Wesley, 506 pp. ISBN 0-201-07616-0.
A5判よりすこしおおきめのハードカバー。表紙はオレンジ色というか、朱色というか。背表紙には「Tukey E D A」とだけ書いてある。わたしが持っている本は、1980年代に買ったものだ。1980年代の前半の大学院生のころに、「探索型データ解析」 (exploratory data analysis, EDA) というかんがえかたを、さまざまな情報源から知って、よいことだとおもった。1985年に大学教員 (助手) になって、データ解析をおしえることになった機会に、EDA の原典といわれる本を読んでおこうとおもったのだった。
読んでみると、かなりくせの強い本で、あまり読みすすめなかった。また、手法はわかったが、そのまままねをする気になれなかったところもある。1980年代、いくらかは計算機がつかえるようになっていたから、著者が手がきでやってきた方法はめんどうに感じられた。ところが、当時の計算機入出力技術ではそれよりうまいことができなかった。著者のしごとなかまがいた Bell 研究所で「S」というソフトウェアがつくられていて、そこでは本書で紹介された方法がコンピュータグラフィックスで実現されていた。しかし、Sは当時わたしがつかっていた大型 (メインフレーム) 計算機でも MS-DOS パソコンでもうごかなかった。Unix ではうごいたが、有料のソフトウェアで、個別の研究室で買うにはちょっと高かった。わたしは、散布図などは、コンピュータグラフィックスの部品からくみたててつくるようになったが、もうすこし複雑な技法については、20-00年代、Sとほぼ互換のフリーソフトウェア「R」が普及してきて、やっとためせるようになった。
そういうわけで、この本自体は「わたしをつくった本」ではない。しかし、さまざまな情報源をとおしてみにつけた、Tukey さんに由来する EDA のかんがえかたは、わたしにしみついていて、自分がもともともっていた発想と区別がつかなくなってしまっている。
1970年代の理科系の図書や論文にグラフをふくめるときには、たいてい、てまをかけて (ときには製図の専門家に依頼して) 製図して版下をつくった。(わたしはやらなかったが)「からすぐち」をつかって墨入れしたり、のりつきのシールのインスタントレタリングをつかったりすることがあった。ところが本書のグラフは、ていねいにかいてはあるが、グラフの曲線も軸もラベルの文字も、あきらかに手書きで、しろうとっぽい。本書は、いまの1冊本になるまえに、講習会テキストとしてつかわれた3冊本があったそうで、当時のその種類のものだったら、本文はタイプ打ち、図は手がきが当然だっただろう。本書は出版社からでる本になってもそのスタイルをひきついだのだ。
また、ふつうならば図は「figure」、表は「table」としてそれぞれ番号をつけるところだが、本書のばあいは区別なしに exhibit としている。本書のばあい、文字をならべて図のようなものをつくることもあるので、図と表の区別をなくしたのはもっともな気がする。しかしそれだけでなく、データをそのままプリントしたところ、計算の中間結果をプリントしたところ、練習問題など、およそ本文以外のものを exhibit にふくめている。
章の番号は算用数字だが、章の下の節はアルファベット大文字で、第2章の最初の節ならば「2A」のようになっている。本全体の目次はこの節のレベルまでで、章ごとにまた目次があって、もう1段こまかい小節の名 (記号はない) と、exhibit (番号だけだが) がわかる。(この読書メモの下につけた目次は、全体の目次のなかに小節まで書きこみ、exhibitは省略した。)
本書に代表されるEDAの態度をわたしなりに整理するとつぎのようになる。
- はじめから統計量を計算しようとおもわないで、データ自体をみる。とくに度数分布をみるヒストグラムなど、2変量ならばそのくみあわせの度数分布をみる散布図などの方法を重視する。
- データの集合には、おおきくはずれた値がふくまれていることがあり、それをそのままつかって平均値などの統計量をもとめても代表性がとぼしい。はずれ値は、まちがいであるかもしれないし、実際に異常なことがおきているのかもしれないが、それとしてとりあげるべきだ。他方、データ全体の代表値やばらつきの指標には、平均値や標準偏差よりも はずれ値につよい、中央値や四分位幅などの順位統計量をつかう。
- 度数分布が非対称なときは、変数変換して対称にちかづけたほうが、データ集合全体をよくみることができる。2つの変量の関係がみられるが直線にのらないときは、直線にちかくなるような変数変換をさぐる。このとき、順位統計量は、たとえば中央値の対数は対数の中央値でもあるので、つごうがよい。
- データがだいたい直線にのるならば、直線からの残差に注目し、拡大してみる。そうするとデータからさらに情報をよみとれることがある。
章の題名を書きだすと、つぎのようになっている。
1. Scratching down numbers (stem-and-leaf)
2. Schematic summaries (pictures and numbers)
3. Easy re-expression
4. Effective comparison (including well-chosen expression)
5. Plots of relationship
6. Straightening out plots (using three points)
7. Smoothing sequences
7+ Optional sections for Chapter 7
8. Parallel and wandering schematic plots
9. Delineations of batches of points
10. Using two-way analyses
11. Making two-way analyses
11+ Optional sections for Chapters 10 and 11
12. Advanced fits
13. Three-way fits
14. Looking in two or more ways at batches of points
15. Counted fractions
16. Better smoothing
17. Counts in BIN after BIN
18. Product-ratio plots
19. Shapes of distribution
20. Mathematical distributions
21. Postscript
第1章では、「幹葉表示」(stem-and-leaf dislay) が奨励されている。これは要するにヒストグラムなのだが、単なる棒にしないでそこに数字を書くことによって、ヒストグラムの区間よりも一段こまかいデータの値が見られるようにしたものだ。これは1980年代、とくに Tukey の EDA を話題にしないパソコンの応用の本でもとりあげられ、BASIC や Pascal によるプログラム例を見たおぼえがある。
第2章は、データ集合の情報を要約する方法で、おもに順位統計量をつかう。中央値、四分位値、最大・最小値の5つの値による要約がつかわれる。(ただしTukeyは四分位値のことを hinge といい、こまかい定義は他の教科書の四分位値とおなじでないらしい。) 図としては、上下の四分位値にわたる箱をかき、その上下に棒をのばす「箱ひげ図」 (box-and-whisker plot) が紹介される。本書で「schematic plot」というのは、Tukey の標準にしたがった箱ひげ図である。人によっては「ひげ」を最大値・最小値までのばすのだが、Tukey の箱ひげ図はそうでなく、四分位幅の1.5倍までひげをのばし、その外側にくる点は個別にかく。Tukey先生の経験のうちでは 四分位幅の1.5倍よりも外側にくる点は「はずれ値」とみなすのがふさわしいことがおおかったのだろうが、じゅうぶんな説明はない。【わたしにはこれは、「頭ごなし」と感じられ、まねをする気がおきず、理屈があきらかな最大・最小までひげをのばす箱ひげ図をそのようにことわってつかっていた。いまでは R の箱ひげ図を おそらくTukey流のデフォールト値のまま つかってしまうこともあるが。】
第4章、第8章などで、複数のデータセットを比較するときや、度数分布の時間変化をおいかけるとき、(ヒストグラムをならべたのではかさばって不便なので) 箱ひげ図をならべてみることが奨励されている。
第3章は、変数変換である。ヒストグラムが対称でないとき、平方根、逆数、対数などに変換してやると対称にちかづけられることがある。このような一連の変換を、入力値が1 のときの出力値が 0、傾きが1になるように整理してかさねるとわかりやすい (第3章の exhibit 18, 19)。x と -1/x のあいだに log x がくる。さらに、x と log x のあいだに x の平方根がくる。
第6章で、この一連の変数変換が、2変量の関係を直線にちかづけるために選択されてつかわれる。
第5章では、時系列データをグラフにして情報をよみとる。点がほぼ直線にのっているのならば、その直線からの残差をとったほうがよりよく情報をとりだせる。
(わたしが議論をおいかけたのはこのあたりまでで、あとはところどころ拾い読みした。)
折りかえしのあとに目次をつける。
Continue reading