数年前、ある全国調査で米国の成人の２％がUFOに誘拐されたことがあるという推定値が出た、という報道があった。「あなたはUFOに誘拐されたことがありますか」ときいたのだろうか。そうではない。・・・UFOに誘拐されたことがある人には、誘拐されたと自覚していないため、単刀直入な質問には正確に答えられない人が少なくないというのだ。そこで、調査者たちは全く異なる方法を考案した。UFOに誘拐されたことがある人達の証言にしばしば出てくる５つの指標ないし兆候を見つけた。たとえば、「目覚めると体が麻痺していて、部屋の中に見知らぬ人間がいる、あるいは何かがあるという感じがした」。そして、どうということもないその５つの兆候を回答者が経験したことがあるかどうかを訪ね、４つ以上の兆候を報告した人は、おそらくUFOに誘拐されたことがあるのだろうと結論づけた。回答者の２％がこのグループに入り、人口の２％がUFOに誘拐されたことがあるという結論に繋がった。
ある調査では、「男性からアルコールや薬物を飲まされて、望まない性交をしたことがありますか」と言った質問への肯定の答えにもとづいて、女子大学生のおよそ４分の１が強姦されたことがあるという結論がくだされた。・・・計測結果を生み出して、それを解釈し、UFOによる誘拐や強姦の犠牲者を特定するのは、調査を行う活動家であり、回答者ではないのだ。・・・どんな計測方法が選ばれたのかはしばしば隠されている。・・・
大きな標本は必ずしもよい標本ではない。・・・実は標本の代表性のほうが標本の大きさよりはるかに重要なのだ。
- よい統計は当て推量以上のものに基いている。
- よい統計ははっきりした妥当な定義に基づいている。
- よい統計ははっきりした妥当な計測方法に基づいている。
- よい統計はよい標本に基づいている。
場合によっては、論者は社会問題を比べるのを拒むこともある。社会的害悪の程度を測る絶対的尺度を定めることによって、私達の関心を高めようとする（人命に値段など付けられない！）しかし、どんな社会的状態も危険と無縁ではない。米国では年間、およそ４万人が自動車事故で死ぬ。殺人事件で死ぬ数の２倍、飛行機事故で死ぬ数のおよそ２０倍だ。しれでも、私たちは交通事故の危険を当前のこととして受けれ、この程度の危険を受け入れている。（１９７０年台に全国的な制限速度が時速５５マイルに引き下げられると、交通事故者数は減った。制限速度が時速４５マイルや３５マイルに引き下げられていたら、さらにへっていたろう。しかし、誰も制限速度をそんなに低くすべきだとは主張しなかった。米国社会は、程よい速度で移動できる便利さと引き換えに、ある程度の死者数を受け入れることをいとわないのだ）・・・社会問題を比較するときに持ち上がる問題は、おなじみのリンゴとオレンジのジレンマだ。・・・生命を脅かす問題は常に、生命を脅かしはしないが生活の質を引き下げるなり金銭的コストをもたらすなりする問題より重要なのか。（ほんのわずかな人命しか脅かされないが、問題の解決に莫大な額の金がかかる場合はどうか）
