調査データの信頼性
クリクラネタ2つめ。
SPAさん が、首都圏＋大阪で1500名の回答の信頼性？に疑問を投げかけていたので、調査が信頼に足るか、というお話をします。たまにパルマガでもデータの信頼性についてでるし。
回答者の「最終的な数」は重要ではあるけど、それよりも途中の「どうやって調査したか」がより重要。多けりゃいいってものではない。
適当に集めた1万人よりも、きちんとした手順で集めた500人の方が、信頼性は高い。
見極めるポイントは
1.回答者は無作為に集めたか、否か
(協力者を探してこちらから依頼したのか、回答希望者を応募で集めたか、とか。あと、「無作為」は「適当」と違う。無作為は、作為が入らないように、ということ)
2.何人に協力依頼をして、何人から回答があったか（回収率は高いか）
3.回答数は十分か
1.2で調査の正しさが決まり、3で精度が決まる。
一番いいのは、協力者を無作為で探して、こちらから協力をお願いして、お願いした6割以上の人に答えてもらって必要なサンプル数がある調査。
また、調査結果を見る前に、この3つの情報があきらかにされているか、も、チェックポイント。
なければ、しらないでやっているか、やましいことがあるのか、のどちらかの可能性がある。
（2.の回収率は明らかにされないことが多いけど）
3.については、1-2がきちんとされていれば、全国2000人にきけば、実用に足る精度の情報となる。先週の「トリビアの泉」で大学の先生が言っていた通り。
（でも、全国でこれをきちんとやれば、かなり莫大なコストになる。何千万とか）
「ホームページに来た人にアンケート」などは、そのサイトについての調査でない限りほとんどクズデータなので、流し読みするのが吉。
とは言っても、現実的には、事実を知る（信頼性の高いデータを得る）には莫大なコストがかかる。何千万もかかる調査がポンポンできる世の中ではない。
多少正確さは譲ったとしても、得られるデータをどういかすか、も大事。「正しいとすれば」何が原因なんだろうとか、その内容をネタに頭を働かせる姿勢としては持ちたいところ。
で、元記事のI&S/BBDO社の調査データ だが、
1.は不明。郵送調査なので、あらかじめ住所と宛名のデータベースがあったはずだが、それをどうやって集めたのかがわからない。
2.これも回収数はわかるが、発送数がわからない。
3.は1534名。
というわけで、これだけでは信頼性の判断はつかない。
記事の最後に担当者の問い合わせ先があるので、気になる人は問い合わせてみるといい。ちゃんと答えてくれるはずだ。
SPAさん が、首都圏＋大阪で1500名の回答の信頼性？に疑問を投げかけていたので、調査が信頼に足るか、というお話をします。たまにパルマガでもデータの信頼性についてでるし。
回答者の「最終的な数」は重要ではあるけど、それよりも途中の「どうやって調査したか」がより重要。多けりゃいいってものではない。
適当に集めた1万人よりも、きちんとした手順で集めた500人の方が、信頼性は高い。
見極めるポイントは
1.回答者は無作為に集めたか、否か
(協力者を探してこちらから依頼したのか、回答希望者を応募で集めたか、とか。あと、「無作為」は「適当」と違う。無作為は、作為が入らないように、ということ)
2.何人に協力依頼をして、何人から回答があったか（回収率は高いか）
3.回答数は十分か
1.2で調査の正しさが決まり、3で精度が決まる。
一番いいのは、協力者を無作為で探して、こちらから協力をお願いして、お願いした6割以上の人に答えてもらって必要なサンプル数がある調査。
また、調査結果を見る前に、この3つの情報があきらかにされているか、も、チェックポイント。
なければ、しらないでやっているか、やましいことがあるのか、のどちらかの可能性がある。
（2.の回収率は明らかにされないことが多いけど）
3.については、1-2がきちんとされていれば、全国2000人にきけば、実用に足る精度の情報となる。先週の「トリビアの泉」で大学の先生が言っていた通り。
（でも、全国でこれをきちんとやれば、かなり莫大なコストになる。何千万とか）
「ホームページに来た人にアンケート」などは、そのサイトについての調査でない限りほとんどクズデータなので、流し読みするのが吉。
とは言っても、現実的には、事実を知る（信頼性の高いデータを得る）には莫大なコストがかかる。何千万もかかる調査がポンポンできる世の中ではない。
多少正確さは譲ったとしても、得られるデータをどういかすか、も大事。「正しいとすれば」何が原因なんだろうとか、その内容をネタに頭を働かせる姿勢としては持ちたいところ。
で、元記事のI&S/BBDO社の調査データ だが、
1.は不明。郵送調査なので、あらかじめ住所と宛名のデータベースがあったはずだが、それをどうやって集めたのかがわからない。
2.これも回収数はわかるが、発送数がわからない。
3.は1534名。
というわけで、これだけでは信頼性の判断はつかない。
記事の最後に担当者の問い合わせ先があるので、気になる人は問い合わせてみるといい。ちゃんと答えてくれるはずだ。
