データを正しく見るための数学的思考

「数学で最善のことは、課題として学ぶに値するだけでなく、日常的な思考の一部として消化し、常に意欲を新たにして何度も心の目の前に置くのにも値する」バートランド・ラッセル「数学の勉強」(1902)

数学を知るというのは、世界のごちゃごちゃしたカオスの表面の奥に隠れた構造を見せてくれる、X線眼鏡をかけるようなものだ。数学はものごとについて間違わないことの科学で、その手法や慣行は、何世紀にもわたる苦労と論証によって形を整えられている。

自分の乗った飛行機は敵戦闘機によって撃墜されたくない。しかし装甲を施すと機体が重くなり、重い飛行機は操縦性も燃費も悪い。機体に装甲を施しすぎるのは問題だが、装甲が貧弱過ぎるのも問題だ。中間のどこかに最適な状態がある。・・・将校たちは効率化の機会を見た。装甲が最も必要な、弾丸が一番当たるところに装甲を集中すれば、装甲が少なくても同じ防護が得られる。しかし飛行機のその部分の装甲を正確にはどれほど増やせばいいのだろう。・・・ヴァルトは、装甲は弾痕があるところにはつけず、弾痕があまりないところ、つまりエンジンにつけるといった。ヴァルトが見抜いたことは、見えない弾痕はどこにあるかと問うことだった。損傷が飛行機全体に均等に散らばるとしたら、エンジンの被覆全体にあったはずの弾痕はどうなったのか。ヴァルトは確実にそれを知っていた。見当たらない弾痕は失われた飛行機にあるのだ。帰還する飛行機のエンジンに弾痕が少ないのは、エンジンに弾丸が当たった飛行機は帰還しなかったからだった。・・・病院の回復室へいけば、胸に弾が当たった人よりも足に当たった人のほうがたくさんいるだろう。しかしそれは人は胸を撃たれることがないからではなく、胸を撃たれれば回復しないことによる。・・・投資ファンドも永遠ではない。あるものは栄え、ある者は滅びる。滅びるファンドはだいたい、儲けが出ないファンドだ。・・・サヴァン社の調査は、残っているファンドになくなったファンドの成績も含めれば、利回りは134.5%(生き残りを考慮しなければ178.4%)、年率にして8.9%(10.8%)というずっとありふれた率になることを明らかにした。

数学者同士が話す時の専用の言語は、複雑な観念を正確に、手早く伝えるための優れた道具なのだ。ところがそれが見慣れないものであるために、部外者の間では、通常の思考とは全く異質な思考の領域という印象を生む。それは全く正しくない。数学は常識に対する強力な補助で、常識の範囲と力を大きく増強する。・・・アイアンマンが煉瓦の壁に穴を開けるイメージを思い浮かべると役に立つ・・・実際の壁を破る力が供給されるのは、アイアンマンたるトニー・スタークの筋肉によるのではなく、超小型ベータ粒子発生装置を動力とする、精密に同期したサーボ機構が並んだものによっている。他方、トニー・スタークの視点からは、自分がしていることは壁に穴を開けることで、鎧がなくても同じようにするだろう。ただはるかに難しいだけだ。

 数学という学問領域が経験的なよりどころから遠く離れるにつれて、あるいはさらに、『現実』に由来するアイデアが間接的にしか浮かばない第2世代第3世代になると、非常に重大な危険が大きくなります。どんどん純粋に美しさを追うものになり、どんどん純粋な芸術のための芸術になるのです。これは必ずしも悪いことではありません。この分野が関連する分野で囲まれていて、それがまだ経験と近いつながりをもっていれば、あるいはこの分野が並外れて発達した趣味を持った人物の影響下にあればいいのですが、この分野は抵抗の弱いところで発達して、水源から遠く離れた流れが、幾つもの細かい枝に分かれてしまい、その分野は整理されていない大量の細かい複雑なことになるという重大な危険があります。言い換えますと、経験的な起源から遠く離れたところでは、あるいは『抽象的』な交配が進むと、数学の分野は劣化する危険があるということです。ジョン・フォン・ノイマン「数学者」(1947)『作用素環の数理』

飛行機の仕組みや、それを空に引き上げ推進する力の理論を理解することは、飛行機に乗って持ち上げられて運ばれるだけーあるいは操縦するーよりも難しいことで、もともと動かし方や使い方にとことん馴染んでおらず、それを直感的で経験的な形で同化してもいないことについて、ある過程の理解が得られるという経験はめったにありません。ジョン・フォン・ノイマン「数学者」(1947)『作用素環の数理』

言い換えれば、数学をしないで数学を理解するのはとても難しいということだ。

作用素環の数理: ノイマン・コレクション (ちくま学芸文庫)

作用素環の数理: ノイマン・コレクション (ちくま学芸文庫)

 

 非線形思考とは、「どちらへ進むべきかは、今どこにいるかによって決まる」ということを意味する。

自分がモデルを立てている現象が実際に線形に近いかどうかを考えなくても、線形回帰が計算できてしまうのだ。しかしその計算はしてはいけない。

積分を計算したり線形回帰を求めたりするのは、コンピュータがかなり効果的に行えることだ。結果が意味を成すかどうかを理解するーあるいはそもそもその方法が適切かを判断するーには、人が導いてやらなければならない。我々が数学を教えるときは、そういう導き方を解説するものだ。それが出来ていない数学の授業は、要するに、学生を超低速でバグだらけのマイクロソフト・エクセルにする訓練をしていることになる。・・・実際には、数学の授業の多くがそういうことをしている。・・・一方には、暗記してスラスラ解けること、伝統的なアルゴリズム、正解を重視する側の教師がいる。他方には、数学教育とは意味を学習させ、色々な考え方を育て、何かを発見するよう導くことで、答えはだいたいで良いという教師がいる。・・・アルゴリズムは人々がせっせとこしらえた便利な道具で、それを一からやり直さなければならないと考える理由は何もない。他方、現代世界では捨てても大丈夫と思えるアルゴリズムもある。

アルゴリズムや正確な計算に力を入れ過ぎることの危険は、アルゴリズムや正確な計算は評価がしやすいということだ。数学とは「正しい答えを得る」ことでそれ以上ではないという数学観に収まって、それをテストしていると、テストの成績は良いが、数学のことは何も知らない生徒を生み出す危険を冒すことになる。何よりテストの点だけを求めて動く人々は満足かもしれないが、私にとっては納得がいかない。

フィールズ賞を取ったデーヴィッド・マンフォードまでもが、我々は平面幾何学をすべてやめてしまい、かわりにプログラミングの初歩をしてもよいのではないかというほどで、状況は切迫している。なんといっても、コンピュータプログラムは幾何学の証明と共通するところが多い。どちらも生徒に、選択肢が入った袋からごく単純な成分を幾つか取り出して並べ、全体としての並びが何らかの意味のある作業を完成させるようにすることを求めている。

 出た回数そのものを得点とすれば、チーム・ビッグは乗り越えられないほど有利になるが、百分率を使うと、今度はチーム・スモールを不当に有利にする。硬貨の数ー統計学では標本の大きさ(サンプルサイズ)というーが小さいほど、表の比率のばらつきは大きくなる。・・・NBAで最もシュートが正確な選手は誰か。2011年から2012年のシーズン中のある月には、リーグで最高のシュート成功率で5人の選手が並んでいた。アーモン・ジョンソン、・・・誰?・・・上記の選手はNBAでシュートが上手いベスト5の選手ではなく、ほとんどプレーしていない選手だ。・・・小さな標本はばらつきが大きいので、NBAのシュート成功率でトップクラスになるのは、必ず、ほんの数回シュートして、運よく全て決めた人になる。・・・NBAの順位表は、一定のプレー時間に達した選手だけに制限している。しかし、順位付けの方式が全て、大数の法則を見込んだ定量的分別を踏まえているとは限らない。・・・標準化されたテスト・・・州の上位25校が、体育館に旗を掲げて近隣の学校に自慢する権利を与えられる。この種の競争に勝つのは誰か?・・・実は、ノースカロライナ州を制していたのは、一般に小規模校だった。・・・同州の小さい方の28%の学校が、二人が調べた7年の間の何処かでトップ25に入っていることが分かった。小規模校は、教師が生徒やその家族のことをよく知っていて、個人個人に合わせた支持をする時間があって、テストの得点を上げるのがうまいという感じもする。・・・小規模校のほうが優秀だからではなく、小規模校のほうが、テストの得点のばらつきが大きいというところにある。わずかでも神童がいれば、あるいはわずかでも怠けた三年生がいれば、小規模校の平均点は大きく変動する。大規模校では、少数の極端な得点の影響は、多数の平均付近の得点に紛れ込んでしまい、全体の数字を動かすことはない。

 平均の法則という名はあまり良い名ではない。法則なら正しいはずだが、これは間違っているからだ。・・・全体の比率を50%に落ち着かせる方法は、運命が裏(ウラ)を贔屓して既に出た表(オモテ)の埋め合わせをするというのではなく、もっと多くの回数を弾いて、最初の10回の表の重みを下げることである。・・・既に起きたことの釣り合いを取るのではなく、既に起きたことを新たなデータによって薄め、過去が比率的に無視できて、忘れても大丈夫なようにするのだ。

ある数を別の数で割るのはただの計算だが、何を何で割るべきかを明らかにするのが数学なのだ。

日中、一般家庭に預けられて保育される、あるいはベビーシッターに預けられて保育される幼児は、日中、保育施設で保育される幼児と比べて、死亡率が7倍であることが分かった。しかしベビーシッターを解雇する前に、少し考えてみよう。アメリカの幼児は、最近はほとんど死なないし、死ぬ場合も、保護者が死ぬほど揺さぶったからという場合はほとんんどない。一般家庭に預けられる保育での死亡率は年間で10万人あたり1.6人で、保育施設での保育の場合の10万人あたり0.23人に比べるとはるかに高い。しかしどちらの数も、ほとんどゼロであることに変わりはない。CUNYの研究では、日中の一般家庭に預けられた保育での事故で死亡した乳幼児の数は年間十数人で、2010年にアメリカ全体で事故で死亡した1110人(ほとんどは寝具での窒息)や、乳幼児突然死症候群で死亡した2063人に比べると、ごく僅かだった。・・・自宅から清潔で市の認可を受けている保育施設まで行くのに、僅かに問題のある一般家庭保育所まで行く距離の2倍あったらどうなるだろう。アメリカで2010年に自動車事故で死亡した乳幼児は79人。通園時間が長くなるおかげで一年間の乗車時間が20%増えることになれば、素敵な保育施設を選ぶことで得られる安全性の有利さは相殺されるかもしれない。・・・有意性検定は科学の道具で、他の道具と同様、精度には一定の範囲がある。・・・なされることすべては、がんを起こすか、防ぐかする。原理的には、十分に強力な調査を行えば、どちらであるかは分かるだろう。しかしそうした影響は大抵、無視しても大丈夫なほど微小なものだ。それを検出できるからというだけでは、必ずしもそれが重大だということにはならない。

統計学的な命名が始まることに戻って、フィッシャーの検定でp値が0.05未満になって合格とされる結果を、「統計学的に有意」ではなく、「統計学的に認識可能」あるいは「統計学的に検出可能」といっておけばよかったのにと思う。・・・それは何らかの作用が存在すると教えてくれているだけで、その規模や重要度については何も言っていないからだ。

アルブレットはバスケットファンのいう「勢いのある手(ホットハンド)」の持ち主だった・・・どんな距離からでも、どんな厳しいディフェンスを受けても、絶対シュートを外しっこないように見えるということだ。ただ、実際にはそんなことはないと考えられる。・・・ジュリアス・アーヴィングの全体としてのシュート成功率は52%だった。3連続でシュートを決めた後は、誰もがアーヴィングはホットだと思うだろうが、成功率は43%だった。また3連続で失敗した後は、フィールドゴールの成功率は下がらず、むしろ平均の52%にとどまっていた。・・・有意性検定は、次のような問いを取り上げるよう求める。帰無仮説が正しくて、ホットハンドが無いなら、実際に観測された結果は見られそうにないといえるか。結果として答えはそうは言えないということになった。・・・今回の結果が意外だとすれば、それはホットハンドへの間違った信仰が、経験や知識のある観察者から度外れて支持されているせいである。・・・このテーマで無数の論争をして、全てに勝ったが、誰も納得はさせられなかった。・・・ジョン・ホイジンガとサンディ・ウェイルによる2009年の研究は、ホットハンドが本当に存在するとしても、信じないでいる方が選手にとってはいいのではないかと説いている。・・・シュートに成功した選手は、次はもっと難しいシュートを選ぶ可能性が高まっていたのだ。・・・ゴール下でのジャンプシュートを決めた選手は、外した選手と比べて離れたところからのシュートをしやすくなることはない。ゴール下のシュートは易しく、選手がホットハンドになっているという感じは強く与えないはずだ。ところが、スリーポイントシュートを決めた選手は外した選手と比べて、長い距離のシュートを試みる可能性が大きく高まる。言い換えれば、ホットハンドは帳消しになるのかもしれないー選手は自分がホットハンドになっていると信じて自信過剰になり、採るべきではないシュートをしてしまう。

 十万の遺伝子(もっと正確には遺伝的多形)を調べて、どの遺伝子が統合失調症と連関しているかを見る。ヨアニディスは、そのうち十個ほどが実際に臨床的に関連がある効果を持つのではないかという。で、残りの9万9000はどうか。それは統合失調症と全く関係がない。しかし二十分の一、つまりおよそ5000は統計学的有意性のp値検定を合格することになる。言い換えれば、発表される「なんと、統合失調遺伝子を見つけた」という結果の中には、本物の五百倍もの数の偽物があるということである。・・・ある遺伝子の影響を正確に測定する研究は、統計的に優位ではないと避けられる可能性が高いが、ともかくp<0.05の検定を通った結果は、偽陽性か、真の陽性かということになり、遺伝子の影響を大きく過大評価する。検定力が低いことは、研究が一般に小規模で、影響のサイズが小さいのが当たり前の分野では、特に危険となる。最近、心理学の一流の学術誌サイコロジカルサイエンスに掲載された論文は、結婚している女性は、排卵周期の妊娠可能な時期にあるとき、共和党の大統領候補者ミット・ロムニーを支持する律が有意に高くなるという成果を示している。・・・標本は小さく、228人だけだったが、・・・研究の規模が比較的小さいということは、逆説的なことに、p値のフィルタによって、結果の強さについてのもっと現実的な評価が棄却されていることを意味する。・・・統計学的有意性はもたらしても、信頼性はほとんどもたらさない結果によって、我々は闇の中に残されるのだ。科学者はこの問題を「勝者の呪い」と呼び、鮮烈で声高に売り込まれる実験結果は、実験が繰り返されるとがっかりするような屑に溶け込んでしまうことが多い理由の一つがこれである。

あなたが分析を行って0.06のp値を得たとすると、結果は統計学的に有意ではないという結論を出すものと考えられる。ところが何年も掛けた成果を引き出しにしまいこむには、大いに精神力を必要とする。・・・自分で得た結果に自分で行う統計学的検定に手を加え、色をつける権限を自分に認めれば、先ほどの0.06が0.04に下がることも多いかもしれない。ペンシルヴァニア大学のユーリ・シモンゾーン教授は再現性の研究では第一人者で、こうした習慣を「pハッキング」と呼ぶ。・・・p=0.05の境界の発表されない側にある実験結果がたくさんあって、それがなだめすかされ、摘み取られ、あるいはあからさまに歪められ、最終的に、境界のすぐ左側に達するということだ。発表しなければならない科学者には有り難いことだが、科学にとってはありがたくない。・・・憎むべきはゲームの方であって、プレーヤーではない・・・掲載が境目の右か左かで全て決まるのは、プレーヤーのせいではないのだ。0.05によって生きるか死ぬかを決めるのは、基本的なカテゴリー錯誤で、連続変数(その薬が効く、その遺伝子がIQを予測する、受精可能な女性は共和党が好きとする証拠はどれだけあるか)を、それが二値的(真か偽か)であるかのように扱っている。科学者が統計学的に有意ではないデータを報告するのを認めるべきだろう。・・・0.05という値には特別なものはない。どこまでも勝手に決まった、フィッシャーが選んだ約束事なのだ。

1951年、フィッシャーはW・E・ヒックに宛ててこう書いている。「私は先生があの、ネイマンとピアソンの棄却域などによって代表される、不必要で尊大な有意性検定に対する姿勢をともかくも気にしておられるのが少々残念です。実際、私と世界中の弟子たちは、それを使おうとは思いません。そのことについて明示的な理由を求められるなら、それは問題を全く間違った側から取り扱っているというべきでしょう。」・・・科学的事実が実験的に確立したとみなされるべきなのは、適切に設計された実験がこの水準の有意性を示さないことがめったにない場合のみである。一度示すことに成功するではなく、示さないことがめったにないとなっている。

統計学的に有意な発見は、研究する力を注入すべき有望な場所を指し示す手がかりを与えてくれる。有意性検定は刑事であって、判事ではない。・・・ともあれフィッシャーは、何をすべきかを教える堅固(けんご)な規則は信じていなかった。純粋数学の形式論を信用していなかったのだ。・・・科学の仕事をする人は、毎年、どんな状況でも仮説を棄却する固定的な有意性水準を持っているわけではない。むしろ特定の場合に対して、自分が得ている証拠や思想に照らして、自分の判断を与えている。

 問える問題は、実は2つある。

  1. ある人物がテロリストでないとして、その人物がフェイスブックのリストに載る率はどれだけか?
  2. ある人物がフェイスブックのリストに載っているとして、その人物がテロリストではない率はどれだけか?

1に対する答えは2000分の1程度で、2に対しては99.99%であることを見ている。・・・条件付き確率・・・p値は次の問に対する答えだ。

「帰無仮説が正しいという前提で、観察された実験結果が起きる確率」

しかし我々が知りたいのは、もう一つの条件確率である。

「ある実験結果を観察したという前提で、帰無仮説が正しい率」 

 危険はまさしく、第二の数を第一の数と混同するときに生じる。検事が陪審員に向かってこう宣言する。「無実の人間が、現場で見つかったDNAサンプルと合致する率は五百万の一、無実なら、五百万分の1ですよ」。このとき検事は1に答えている。無実の人間が有罪に見える率はいくらか。しかし、陪審の仕事は2,つまり有罪に見える被告が無実である率はどれだけか、に答えることである。この問いについては検事は助けてくれない。

1から20までの数から1つ選べと言われると、17を選ぶ人が一番多い。0から9までなら、7を選ぶ人が一番多い。逆に0や5で終わる数は、偶然で選ばれたとした場合よりもはるかに選ばれる割合が少ない。・・・そういう数は、人の目にはランダムでないように見えるのだ。そこで皮肉な結果になる。

帰無仮説の有意性検定だけに依存するのは、根本的に非ベイズ的なことである。・・・ベイズ統計学者は、そもそも帰無仮説を考えないことも多い。

宝くじの魅力は新しいものではない。この商売は17世紀のジェノヴァにさかのぼり、選挙制度から偶然に発達したものらしい。この年の重役のうち2人が、半年ごとに、市議会の議員から抽選で選ばれる。ジェノヴァは、投票ではなく、くじによる選挙を行い、全部で120人の議員全員の名札が集められた山から二枚の札をひく。まもなく、この街のギャンブラーが、選挙結果について個人的に賭けを始めた。・・・ロトくじは急速にヨーロッパに広まり、さらには北米にも伝わった。独立戦争の時には、大陸議会と各州政府の両方が、対英戦の費用を調達するためにロトくじを催した。ハーヴァード大学は、現在蓄えているような9桁もの基金を享受する前の1794年と1810年にロトくじを催し、新たに2棟を建てる資金にした。

ヴォルテールパスカルのことを「至上の人間嫌い」と呼び、陰鬱なパンセの断章を一つ一つ否定するために長い文章を書いた。パスカルに対するその姿勢は、よくいる頭のいい子共が、辛辣で協調性のないオタクに対してとる姿勢だった。

曖昧さ回避 (経済学) - Wikipedia

意思決定論の文脈では、既知の未知のようなものは「リスク」と呼ばれ、未知の未知のようなものは「不確定部分」と呼ばれる。リスクが伴う戦略は数値的に分析できるが、不確実な戦略は、形式の整った数学が分析する範囲を超えているのではないかとエルズバーグは唱えた。

ベイズ的あるいはサヴェッジ的手法は、間違った予想と、その光による下手な助言を出す。被験者は何の子男と割もなく、意図的に公理に反する行動を取る。それが行動のためのわかりやすい方法に見えるからだ。こうした被験者は明らかに間違っているのだろうか。

リスクのある投資は、損をまかなう資金がなくても-バックアップの見通しがあるかぎり-筋が通る。市場で一定の手を打てば、100万ドルを稼ぐ可能性が99%、5000万ドルを損する可能性が1%という場合もあるかもしれない。その手を打つべきだろうか。期待値はプラスなので、良い方針に見える。しかし、そのような大きな損を吸収するリスクにためらうかもしれない-特に小さな確率は確信しにくいことでも有名だからだ-・・・ロードローラーの前で小銭を拾う・・・一つの手は、リスクのある手を打つために紙の上の資産が十分になるまでとんでもない借金をして、100倍ほど規模を拡大することだ。・・・ロードローラーにひっかかったらどうなるか。50億ドルほど損をする。ただしあなたではない・・・構造の一部が崩れると、全体を崩すという深刻なリスクを冒すことになる。連邦準備銀行はそんなことを起こさないために強硬な手を打つ。古いことわざにあるように、あなたが100万ドル存したら、それはあなたの問題だが、50億ドルを損したら、それは政府の問題となる。

19世紀のゲオルク・カントールによる成果以前は、無限の研究は科学というより神学だっったが、今や我々は、何種類もの無限があって、それぞれが前の無限より大きいというカントールの理論をよく理解しているので、数学専攻の学生には1年次から教えている(公正を期して言えば、学生の頭は吹き飛ぶ)。

経済学は物理学のようではないし、効用はエネルギーのようではない。それは保存されないし、2つの存在の間の相互作用は両者に最初よりも多くの効用を残すことがありうる。これは明るい自由市場論者の宝くじ観である。これは逆進的な税ではなく、ゲームであり、人は国に僅かな料金を払って、国が安価に提供できる数分の娯楽を書い、そのあがりで図書館を維持し、該当を灯すのだ。2つの国が交易する場合と同じく、当事者のそれぞれに利益がある。・・・パワーボールが楽しければ、買えばよい。数学は許可を与える。

 1929年の大暴落とその後の不況は、予測不可能な破局だったのか。それとも、アメリカ経済は組織的に欠陥があったのか。ホレース・セクリストは、誰にも増して、この問題に答えるにはうってつけの立場にあった。セクリストはノースウェスタン大学統計学の教授・・・定量的方法のビジネスへの応用が専門・・・「競争的ビジネスのふるまいでは、平凡が優勢になる傾向がある。それが、この何万という企業のコストと利益の研究が間違いようもなく指し示している結論である。産業の自由にはそのような対価がある」・・・まず1916年の売上と費用の日で順位をつけられ、それから「六区分」と呼ばれる、それぞれ20点からなる6つの群に分けられた。セクリストは、最上位のセクスタイルにある店は、時間を経ると利益を集め、すでに市場の上位にある技能を磨いてさらに優越するようになると予想した。ところが実際に見られた結果は正反対だった。・・・どんな天才が最上層のセクスタイルの店を卓越させたにせよ、その際はわずか6年でほとんど使い果たされてしまった。平凡が勝利していたのだ。セクリストはあらゆる種類のビジネスに同じ現象を見た。・・・バッファロー大学のロバート・リーゲル「この結果は実業家や経済学者に、恐慌で、ある程度は悲劇的でもある問題をつきつける。原則には例外はつきものだが、創業期に苦労し、有能で効率的な人々が成功して報われ、その後長く報酬を得るという捉え方は完全に消えてしまう」。

 

 ダーウィンは、自身の研究は定量的という点ではゴルトンの研究よりはるかに劣っていても、数学的方法が科学者に世界についての豊かな見方を提供すると本気で信じていた。・・・私は数学もやってみて、1828年の夏にバーマスへ行くときには個人教授(全然おもしろくない人物)を伴ったが、進み方ははかばかしくなかった。この勉強は私には不快だった。それは主に、私が代数の初歩にまったく意味を見ることができなかったことによる。この短期は非常におろかなことだった。何年も経ってから、私は数学の主要な原理をいクラカでも理解するところまで進まなかったことを深く公開している。この方面の能力がある人には余分に感覚があるように見えるからである。

ゴルトンはこんな顕著な発見をした。その子は親ほどセが高くなるわけではない。同じことは背の低い親についても同じことが逆方向で言える。その子は背が低い傾向があるが、両親ほどではない。ゴルトンは、「平均への回帰」と呼ばれる現象を発見していた。・・・『自然な遺伝』・・・「最初はどんなに逆説的に見えようと、子が成長したときの身長は、全体として、親の身長よりも普通にならざるをえないことは、理論的には必然的な事実であり、観察によって明瞭に確かめられる事実である」。・・・ゴルトンは、セクリストが企業経営で明らかにしたのと同じ現象を見ていたのだ。卓越は長続きしない。時間が経過すると平凡が自然に現れていくる。・・・ゴルトンは根っからのす学者だったが、セクリストはそうではなかった。そのため、ゴルトンはなぜ回帰が起きるかを理解していたが、、セクリストはその方面には暗かった。・・・平均への回帰をもたらすのはそれで、謎の平均を愛する力ではなく、単純に遺伝が偶然と混ぜ合わされることの作用だ。だからこそゴルトンは、平均への回帰は「理論的には必然の事実」であると書く。・・・これは商売についてもまったく同じことだ。・・・その部門で経営状態の良さでは最上層の会社にランクされる可能性は高い。しかし運もあったのだ。時を経ても、その経営が考え方でも判断でもやはり優れていたこともあったかもしれない。しかし1922年に幸運だった会社が、10年後に運が良い可能性は、他の会社と変わらない。

この問題を無作為抽出によって取り扱ってみるのも・・・被験者を200人選び出し、体重過剰な人を調べ、その体重過剰な人についてダイエットを試みる。しかしその場合には、セクリストと同じことをしていることになる。集団の中で体重が最大の区分は、商売の最上位セクスタイルとよく似ている。この人々はきっと、平均の人々よりも一貫して体重の問題を抱えている可能性が高い。しかしそういう人々は、たまたま体重を測った日に、その人の体重の幅の一番上にいた可能性も高い。セクリストの成績上位の会社が時間とともに平凡へと落ちたのと同じように、たまたま体重が基準を超えた人々も、ダイエットが効こうと効くまいと、体重は減るだろう。そのため、よくできたダイエット調査は、単純にダイエットの結果だけを調べるのではなく、候補となるダイエット法を2つ比べてどちらが体重減をもたらすかを調べる。平均への回帰は、どちらのダイエット集団にも影響するので、比較は公平になる。

アメリカン・フットボールNFLで高額の複数年契約を結ぶランニングバックは、 翌シーズンには、ボールを持って前進するヤード数が少なくなる傾向がある。ヤード 数を伸ばしてもそれで稼ぎが増えるという誘因がないからだと言う人もいるし、 そういう心理的因子はおそらく働いているだろう。しかしもっと重要なのは、高額の契約を結ぶのは、出来すぎなほど好成績をあげた結果だということだ。よくシーズンはもっと普通の水準に戻らないほうがおかしいかもしれない。

これを書いているのは四月のことで、野球シーズンが始まったところだ。毎年われわれは、選手が「この調子で行けば」とほうもない記録破りの成果を上げるという記事の花束で迎えられる。今日はスポー ツ専門チャンネルESPNで、「マット・ケンプが目覚ましいス タートをして、この調子で行けば、打率4割6分、ホームラン86本、 打煮2-0、得点172を上げる」ことが報じられる。こうした 目の玉が飛び出そうな数字(大リーグの野球でーシーズンに73本を超えるホームランを打った選手はいない)は、誤った線形性の典型例だ。 ケンプはドジャースの最初の17試合で9本のホームランを打った。・・・しかしすべての曲線が直線というわけにはいかない。・・・その理由を説明するのは平均への回帰だ。・・・デレク・ジーターは、この調子で行けばピート・ローズの生涯安打数を破ることになりますがとせっつかれて、ニューヨーク・タイムズ紙に、スポーツ界で嫌な言葉の一つは『この調子で行けば』ですね」と言った。懸命な台詞だ。

生物学者は回帰は生物学に由来すると思いたがるし、セクリストのような経営学者はそれが競争に由来していてほしいと思うし、文芸批評家は創造性の枯渇のせいにする―しかしそれはいずれもでもない、数学なのだ。

英国医学ジャーナル誌に掲載された、ブランによる憩室の病気の治療に関する論文・・・各患者のブラン処置前と処置後の「口から肛門までの移動時間」・・・を記録した。そうしてブランには顕著な整腸作用があることを発見した。「移動時間が短かった人々は48時間の方へ遅くなる。・・・中程度の人々は変化を示さない・・・つまりブランは当初の移動時間が早すぎても遅すぎてもどちらも平均の48時間の方へ修正する傾向があった」。これはもちろん、ブランに何の効果がなくても予想される通りのことだ。

ゴルトン「問題はひとかどの数学者には難しくないかもしれないが、自分の答えが出て、純粋に数学的な推理によって、自分のいろいろな手間のかかった統計学的結論が、データが少々粗く、もろい注意で均さなければならなかったことで望める程度以上に細かく確認されるときほど、数学的分析の崇高さと広い範囲の影響力に対して輝かしい忠誠と敬意を感じたことはない」。

 

変数が相関しているとき、変数同士が何らかの形で互いに関係しているのを見た。では相関していないときはどうなるだろう。それは変数同士がまったくの無関係で、いずれも他方に影響しないということだろうか。そんなことはまったくない。ゴルトンの相関の概念は重要な点で限界がある。それは、一方の変数が大きくなると、他方の変数がそれに比例して大きくなる(または小さくなる)傾向を示す、線型の関係(1次関数)を検出するということだ。しかし全ての曲線が直線ではないのと同じく、すべての関係が線形というわけではない。

単に相関があると断じることと説明(※因果関係の意)とはまったく違う。ドールとヒルの研究は、喫煙がガンを引き起こすことを示すのではない。「この相関は、ハイの腫瘍が人々に喫煙をさせるとしても生じるし、どちらの属性も共通の原因からもたらされる別々の結果だとしても生じる。」・・・R・A・フィッシャーはまさにそういう根拠で、タバコと肺がんのつながりについては強力な懐疑派だった。

本当に、絶対の確信のようなものをもって、タバコは肺がんの原因であることを知るためにしなければならないことを想像しよう。ティーンエージャーの大きな集団を集めて、ランダムに半分を選び、その半分にはその後の50年間、頻繁に喫煙させ、残りの半分には・・・「考えることは出来るが実行はできないもの(実験)」

思い出していただきたい。期待値は文字通りに起きることが期待されることを表すのではなく、同じ決定が何度も何度も繰り返されたときに起きることの平均として予想されることである。公衆保健衛生についての決断は、コインをはじくのとは違い、一度しか出来ないことだ。

バークソンの誤謬は、医療の世界でなくても成り立つ。実は、正確 に測定できる特徴の領域の外でも意味をなす。自分の「デートしても いいかもリスト」にいる男の中では、ハンサムな人は良い人では なく、良い人はハンサムではないという傾向に気づいたことがあるか もしれない。それは整った顔立ちをしていることが人をあこぎにする からだろうか。あるいは人に対して親切であることが人を不細工にす るからだろうか。そういうこともあるかもしれない。しかし必ずそうということではない。

f:id:yamanatan:20161028011227j:plain

 いい奴であることとイケメンであることには共通の結果がある。その人達を、あなたが認識する集団に入れるということだ。正直になろう―不細工で嫌なやつは、そもそも「デートしてもいいかもリスト」には入らないのだ。・・・ベストセラーはつまらないというのも同じようなことだ。(※ベストセラーでない本は余程面白くない限り、そもそも読むリストには入らない。)

CBSニュースの世論調査では、回答者のうち77%が、費用の削減は連邦の予算の赤字を処理する最善の方法であると答え、増税の方を選んだ人はわずか9%だった。・・・しかしどの事業を削ればいいか。・・・アメリカ人に政府の出費13区分について尋ねた・・・そのうち11区分は、赤字があろうとなかろうと、増額を望む人のほうが多かった。外国の援助と失業保険―2010年の費用のうち合わせて5%にもならない―がなたを振るわれる対象に選ばれた。それも何年ものあいだ一致している。 ・・・ブライアン・カプラン「このデータについて最も成り立ちそうな解釈は、公衆はタダ飯(フリーランチ)を求めているということである。みんな政府に、主要な機能にはまったく手をつけずに出費を少なくすることを望んでいる。」・・・ポール・クルーグマン「人々は費用削減を望んでいるが、外国支援以外の削減には反対している。・・・結論は他に考えられない。共和党支持者は算数の規則を廃止するよう命じているのだ。」・・・ハリス研究所による予算に関する世論調査の要約「多くの人々は、森を伐採してしまいたいが、木は残したいと思っているらしい。」・・・我々は、予算削減をすれbば自分が支持する施策の予算を減らさざるをえないことが把握できない赤ん坊か、算数は理解できてもそれを受け入れることは拒否する頑固で不合理な子どもであるか、いずれかなのだ。・・・それぞれの回答者は文句なく合理的で一貫した政治的立場を取っている。それでも全部をまとめると、その立場は意味をなさなくなる。・・・費用の削減は望むがそれぞれの施策は維持することを求める子供っぽい「平均的アメリカ人」は存在しないということだ。・・・問題はどの施策に価値がないかについて合意がないことだ。

 ボルダ式・・・即席決選投票(IRV)・・・の魅力は明らかだ。ラルフ・ネーダーに入れる人は、自分が一番嫌いな人に勝たせることになるのを心配せずにネーダーに入れることが出来る。・・・ずっと数学が大好きだったジョン・スチュアート・ミルは、このアイデアのことを聞いて、これは「政府の理論と実践についてこれまでになされた最大級の改善である」と言った。

 アントニン・スカリア判事「形式主義万歳。それこそ政府を人々ではなく法律による政府とするものである」。スカリアの見方では、判事が当該の法律の意図―精神―を理解しようとするとき、どうしても自分の先入観や欲求によって目をくらまされてしまう。憲法と条文の文言に執着して、それを、判断が一種の論理的演繹によって導ける公理とするほうがよい。・・・形式主義

 私はヒルベルトの役割を大きく取り上げたが、看板の一番上にある名に注目しすぎると、数学を、生まれながらに抜きん出た、他の凡人にとってはとことこ進むしかない道を疾走する、少数の孤独な天才たちのすることと誤解する危険がある。そのように語るのは易しい。・・・ヒルベルトは最初、非常に優秀ではあっても例外的な学生ではなく、ケーニヒスベルクで最も優秀な若手数学者ではなかった。最優秀だったのは、ヒルベルトより2つ年下のヘルマン・ミンコフスキーだった。

 数学教育で苦労する部分の一つは、天才教にやられた学生を見ることだ。天才教は学生に、自分が一番数学ができるのでなければ数学をするには値しないと教える。そういう特別な少数だけが重要な貢献をするからだという。我々は数学以外の科目はそのようには扱わない。・・・競技者は、チームメートの一人がほかと比べて抜きん出ているという理由だけで、その競技をやめたりはしない。ところが、有望な若い数学者が、数学が好きでも、見える範囲に自分たちの「上」を行くやつがいるからと、毎年抜けていくのを私は見ている。・・・天才今日は一生懸命勉強することも過小評価する。・・・勤勉はオブラートにくるんだ侮蔑のようなものと思っていた・・・懸命に勉強できるー注目とエネルギーを全て問題に集中して、筋道立てて何度もひねりまわし、表面に全身の兆しが見えなくても、割れ目と見えるところをすべて押してみるーということは、誰にでもできることではない。心理学者は最近、それを「やり抜く力(グリット)」と呼ぶようになっているが、それなしには数学はできない。

 人が長い時間数学を勉強して学ぶことは―その教訓はもっと広い範囲に当てはまると思うが―必ず自分より上のやつがいるということだ。・・・数学はたいてい共同体の営みで、それぞれの前進は、共通の目的に向かって作業する人々の巨大なネットワークの産物である。・・・マーク・トウェイン「電信でも蒸気機関でも蓄音機でも電話でもなんでも重要なものを発明するには千人の人が必要です―そして最後の人物が発明者の名を得て我々は他の人々を忘れてしまいます」

天才とは出来事であって、人の種類のことではない。

セオドア・ルーズヴェルト・・・「共和国の市民」・・・大事なのは批評家ではない。力のある人物がつまずくところを指摘する人でも、何かをする人について、ここがもっとうまく出来たのにと言う人でもない。功績は実際にその舞台にある人、その顔が埃と汗と血にまみれている人、雄々しく努力する人、間違いや不足のない努力はないのだから、間違う人、何度もあと一歩で及ばない人、それでも実際に何かしようとして努力する人である。偉大な熱意、偉大な専心を知る人、価値ある大義に身を投じ る人、うまく行けば最後には優れた成果と いう勝利を知る人、悪 くすれば失敗しても、少なくとも立派に務めていて失敗する人の ものであり、その位置は、勝利も敗北も知らない冷たく臆病な魂の持ち主のところには決してない。

 ベンジャミン・フランクリンは、・・トマス・ゴドフリーについて辛辣なことを書いている。「ゴドフリーは専門外のことはほとんど知らず、快適な仲間ではなかった。私が出会った立派な数学者のほとんどと同様、ゴドフリーは言われることすべてに普遍的な正確さを期待し、あるいは、すべての会話の妨げになるほど、細かいことを否定したり区別しようとした。」

 F・スコット・フィッツジェラルドが言ったように、「一流の知性の証は、2つの対立する概念を同時に頭に保持して、それでも機能を維持できる能力である。」・・・何かの定理について苦労しているなら、昼は証明しようとして夜は否定しようとするのがよいという(切り替えの頻度は重要ではない。位相幾何学者のR・H・ビンについては、毎月を2週間ずつに分けて一方ではポアンカレ予想を証明しようとして、他方では判例を見つけようとするのが習慣だったと言われる。)・・・何と言っても、自分が間違っているかもしれないから、自分が真と考えている命題が実は偽なら、それを証明しようとする努力は無駄になってしまう。夜は反証するというのは、巨大な無駄に対するヘッジのようなものだ。しかしもっと深い理由もある。何かが真であり、それを反証しようとするなら、それは失敗することになる。我々は失敗は悪と考えるようしつけられているが、全て悪いというわけではない。失敗から学ぶこともある。・・・父の善意の助言に逆らって、それ以前の多くの人々と同じように、平行光順がエウクレイデスの他の公理から導かれることを証明しようとしたボヤイ飲みの上に起きたのはそれである。他のみんなと同様、ボヤイも失敗した。しかし他の人々とは違い、ボヤイは自分の失敗の形を理解することができた。平行線公準のない幾何学はないことを証明しようとする試みを邪魔していたのは、そのような幾何学が存在することだったのだ。・・・私は、社会的、政治的、科学的、哲学的に信じていることすべてに圧力をかけるのは良い習慣だと思う。・・・自分が信じていることを信じる理由はもっと知ることになるだろう。

データを正しく見るための数学的思考

データを正しく見るための数学的思考