リサーチ道場

リサーチ道場

「矛盾・エラーはあってはならないものか?」

株式会社ジャパン・マーケティング・エージェンシー
企画部 ディレクター 牛堂雅文 
 
 
定量調査で比較的よくある話として、同じ対象者の回答の中で「前後で矛盾する回答」があるケースがあります。
 
・スマホを持っていて、タブレットは保有していないはずなのに、「インターネットを見るのにタブレットを使っている」という回答があるなど、そういった矛盾が調査の中で見つかることがあります。
 
・他にも、家族の人数が前後で食い違っていたり、この年齢で小学生のお子さんがいるのは少し不自然ではないか?といったようなプロフィール面の矛盾、違和感もあります。
 
・また、完全に矛盾だとは言い切れませんが、「最初に気に入っているはずの商品」が後になると大して評価されず、結局「好きなのか嫌いなのか?」と判断に悩むケースもあります。
 
・「あるブランドを知らないと言っているのに、保有している」など、そんな馬鹿な…というケースもあります。
 
一概には言えませんが、「ハッキリこれはおかしい」と判断できる場合は、集計時に矛盾を修正することがあります。「保有しているからには、知っているでしょ…」というような修正です。
 
 
ただ、行動経済学でも指摘されるように、「人間は常に一貫した意見を持っており、矛盾や判断のブレなどない」ということは決してありませんので、「矛盾があること自体」は何もおかしくありません。
問題なのは「極端なもの」であり、以下のようなケースです。
 
1)保有している物の種類や数が合わない
2)普通では考えられない異常値
3)家族構成、年齢などが不自然 (35才で孫がいるなど…)
4)認知、購入、利用などで食い違いがある
5)評価に大きなずれがあり誤認があるのではないか
6)対象条件から外れている
 
 
1)保有している物の種類や数が合わない

時系列で記憶がごちゃ混ぜになっている、親の所有物と自分の所有物がごっちゃになっている、会社で使っているものを合わせてカウントした、途中から思い出した…といった可能性が考えられます。
前の回答が正しいとも、後が正しいとも言い切れませんが、最も信頼できる(したい)回答を基準に修正をするケースが多いようです。
 
2)普通では考えられない異常値

「一年に100回飛行機に乗る」「一日に5回風呂に入る」と言われれば、そんな馬鹿な…と感じます。「いくらなんでもそれはない」といった異常な数値(異常値)が回答されるケースがあります。
ただ、遠隔地への日帰り出張が多ければ一年に100回のフライトもあり得ない話ではありませんし、アメリカなど国土が広いと一回の出張で何度も搭乗するケースもあります。夏場に運動や汗をかく作業をする方なら1日に5回の入浴もおかしくないかもしれません。
一方で、数字の桁を間違えて回答したり、「一日と一週間を間違えた」という可能性もあり、勘違いによる異常回答もあり得ます。「何が異常値で、何が異常値ではないのか?」非常に判断が難しい点です。(※統計的に異常値を決める考え方もありますが、今回は触れません)
 
3)家族構成、年齢などが不自然

一般的に「35歳で孫がいる」というのはさすがにないだろう…と思えます。ただ、お孫さんがいる離死別された方と、35歳の方が結婚すると、あり得る話になります。「どこまでを許容し、どこからをおかしいと考えるか?」線引きは難しくなりますが、「さすがにこれはないだろう」…というところで判断をしています。
 
4)認知、購入、利用などで食い違いがある

「知らないはずのブランドの製品を利用している」といったケースです。(※紙面の調査票で起こりうる矛盾です。)
これは大抵は回答のし忘れなど単純なミスであると思われますので、購入や利用を信じて、前の認知を修正したりします。
ただ、「使っているのに最初ブランド名を忘れていた」…となると実は「ユーザーであってもブランドに対する意識が低い」という価値ある発見の可能性もあります。
 
5)評価に大きなずれがあり誤認があるのではないか

「製品P」の評価が高く、「非常に買いたい」と回答していたのに、後になると「あまり買いたいくなくなる」といったケースがあります。本当に評価が変化したのなら矛盾ではなく発見ですが、後の方で「他の製品と勘違いして回答した」という可能性も考えられます。
これは、「誤解・誤認ではないか?」という意味で気になる点です。
 
6)対象条件から外れている

最も由々しき問題は「対象条件外」でしょう。自動車保有者に聞いているのに、「今は車がない」と回答されるようなケースです。これは「スクリーニング質問をよく見ていなかった」などの問題から起こると想定され、全く歓迎できない話です。大抵は集計対象から省きます。
ただ、「車は修理工場で修理中であり、手元にない」という可能性もあるので、インタビューなどで確認できるケースでは「実は問題のない対象者だった」と判断されることもあります。(※外車、旧車は修理中のケースが多くなるようです。)
 

上記のように正確なデータを得るために、こういった矛盾やエラーの確認を行い、必要に応じて修正したり、集計対象から除外したりしています。
■矛盾の背景にあるのは何か?

ただ、ここまで読み進めて頂けるとお分かりかもしれませんが、絶対に回答のミスや矛盾だとも言い切れない側面があり、「矛盾だと思える回答が発生する背景には何があるのか?」という視点が必要になって来ます。
例をあげると、アップル社のノートパソコン(Mac)を使っていて、OSは本来おかしい「Windows」という回答だったとすると、「MacOSの上でWindowsを動かしている可能性」もあります。これは障壁を乗り越える「利用の工夫」と言えます。
医薬品で言えば「頭痛薬のバファリンを飲んでいる」と思っていたら、実は他のブランドだった…と後で気が付いた可能性もあります。ブランド力が弱いことが類推されます。
異常と思えるほどの回数を使うユーザーが本当に実在し、とんでもないエクストリームユーザーとして面白いユーザーであるかもしれません。
あるいは、調査票や回答欄が分かりにくく、間違って回答してしまいやすいのかもしれません。
そうなると「矛盾・エラー」の一言で片づけるのではなく、【なぜ矛盾と思える回答になったのか】という背景に思いをはせると発見がありそうです。
 
■矛盾を製品などで解消できないか?

例えば、「環境に配慮した製品を買いたい」と言っておきながら、「自分に直接的なメリットがないと結局は買わない」…という話はありがちです。
発言の表面だけを見ると、「環境に配慮した製品が買いたい」というのは「ウソだ、矛盾だ、建前だ」と感じるかもしれません。
しかし、「省エネで電気代も安くなるし、環境にもいい製品」という、「自分への直接的なメリット」と、やや建て前的な「環境への配慮」を【両立できる製品】であれば、矛盾ではなくなり、「購入したい製品」になる可能性があります。
全てのケースで当てはまるわけではありませんが、矛盾やエラーには「潜在ニーズ」、「普及を妨げるハードル」などのヒントが含まれていることがあります。
■矛盾・エラーとどう付き合うか

矛盾やエラーはあまり歓迎されるものではなく、ついつい矛盾・エラーをゼロにしたくなりますが、このように「そこから得られるもの」があるかもしれません。「盲目的に全ての矛盾点をつぶす」…というのは一種の思考停止とも言えます。
自分の見識・常識的な概念だけで判断せずに、「こういった矛盾したようなことはあり得るのか?」と他の方にも意見を求める。意見を聞く人がいなくても、自分の中で反対派、賛成派を作り「一人でディベートしてみる」など、「賛否両方の視点で視てみること」が思考停止を避ける秘訣です。
「あり得ないだろう…」厳しく矛盾を指摘する自分と、「そんなケースだってあるよ」と矛盾を認める自分で意見を対立させてみます。
 
異常値などで特殊すぎる回答があった場合、「レアケース」だと言って片づけてしまわずに、「どの程度レアなのか?」「10件に1件?」「100件に1件?」「1000件に1件?」と考えてみるのも一つのコツです。(ケース・バイ・ケースではありますが、10件に1件なら比較的高確率の出現であり、「レアケース」と言って無視していいレベルではないと思っています。)
「矛盾やエラーがない世界」を当然と思わずに、「なぜ矛盾するような回答が発生するのか?」という視点も「ヒントの一つ」と捉えると、次の一手を考える良い材料になるかもしれません
■「修正しない」という思想、「修正したい」という心理

以前、「疫学調査」といって医療関連の調査を担当させて頂いたことがあります。その時に、通常通り修正や不良回答のカットをしようとしたところ、「それは困る、そのまま納品して欲しい」というご要望を頂きました。
それは学術的なアプローチとして「観測されたデータを重要視する」という発想であり、我々が考える「正しい、間違っている、矛盾だ」という思想には「観測されたデータを曲げてしまう危うさ」もあることを学ぶ機会になりました。
 
そうは言っても、我々リサーチ関係者は「矛盾・エラー」があると落ち着かないというか、心に何らかの「さざ波」が立ちます。
そこで、すぐに手を動かすのではなく、「なぜ矛盾を修正したい、矛盾を認めたくないと思ったのか」という自分の心理に向き合ってみると、自分の中に「常識やルールを逸脱したくない」といった抵抗感の存在が垣間見えたりします。
そこに「常識は本当に正しいのか?」と定型的な思考を打ち破るヒントがあるのかもしれません。
 

▼内容の一部をyoutube動画でも配信していますのでご覧ください。
 JMA ピンポイントセミナー 矛盾・エラーはあってはならないものか?( JMA公式YouTube )

JMAメールマガジンへのご登録はこちらからお願い致します。