数据清到一半,你注意到一道题的答案分布有点怪:九成人选了同一个选项,剩下一成稀稀拉拉。不是大家真这么一致,是这道题没人愿意选别的。题干你来回读了十几遍,没毛病——问题就出在选项上,而且查回去之后才发现,毛病全在选项设计那几行字里。题干读着没问题,不代表选项没问题。
第一处嫌疑:选项覆盖不全。问你每周锻炼几次,选项只给了从不、偶尔、经常三个,可每周三次这种人往哪放?偶尔和经常之间是个大空档,大量的人被挤进了中间那项。覆盖不全的特征是答案扎堆,解决办法是把刻度排细,频次类问题给出从低到高的具体档位,不留模糊地带。频次题最忌模糊档,档位之间要互斥且连续。
第二处嫌疑:选项不互斥。问你获取资讯的主要渠道,选项列了手机、电脑、社交平台、新闻客户端——手机和社交平台是交叉的,同一个人同时沾两项,选哪个全凭感觉。选项之间必须互斥,一个人只能选一个;交叉类的渠道改成多选,单选题里把重叠项合并。多选和单选别混着排,题型在卷面上标清楚。
第三处嫌疑:缺中立项。满意度量表只给非常满意、满意、不满意,少了一般这个中间档。持中立态度的人被强迫往两边站,数据就虚高或虚低。对称的量表必须有中立项,正负档数量对等,中间那档看着像凑数,其实是诚实答案的去处。对称的量表才测得准,偏一边就是设计失误。
第四处嫌疑:极端值没有回收。选项从强烈反对跳到强烈支持,却不设不了解、不适用。对这个话题本来没想法的被调查者,被逼着表态,数据自然往一头倒。涉及个人经历的题,一定要留一个不涉及的出口,不然诚实的人只能乱选。出口项看着浪费,其实在保护整份数据的质量。
四处嫌疑排下来,案例里那道怪题的病根找到了:频次档位太粗加缺中立项,两头一挤,九成答案全堆在中间。题干一字没改,选项重排之后,重新发了几十份小样本,分布立刻正常了。小样本几十份就够试出分布怪不怪。问题真不在题干,就在选项那几行。
这件事给研究生的提醒是:预调查别只看信度,看答案分布。某道题答案过分集中、某道题没人选,都是选项在报警。发放前把每道题的选项打印出来读一遍:全不全、重不重、有没有中间档、留不留出口,四问过一遍,怪题就少了。预调查找人别找室友,找没参与设计的同学试才听得见真话。
选项设计的坑长得都很像,没踩过的人不容易一眼认出。像科迅捷AI这样的问卷设计辅助会把选项常见问题逐条对照提示(官网 https://www.kexunjie.com/ ,微信搜一搜:科迅捷AI写作),发放前拿着对照过一遍选项,那种九成挤一项的怪分布,多半就能在纸面上躲开。