实用干货!信度分析超全步骤总结!
信度分析是问卷研究中最为基本的一种方法,其用于测量‘量表题’数据的可靠性,简单来说就是测量样本有没有真实的回答问题。特别提示,如果是使用统计分析方法进行信度测量,那么一般都是针对量表题,这在SPSSAU手册中有特别重要的提示和说明。
1 信度测量
信度分析的目的就在于说明数据可信可靠,真实可信。其测量或者描述信度的方法一般有如下5种。
Cronbach信度分析是最为常见,使用最为广泛的一种测量方法,直接使用一个指标即Cronbach信度系数值来描述信度水平情况。如果说Cronbach信度系数值大于0.6,一般就说明信度可以接受,信度系数值越大越好。
除Cronbach信度,还有一种信度叫折半信度,其原理是将分析项‘拆分’成两部分,然后查看折半系数值,如果折半系数值大于0.6以上则说明可以接受,越大越好。
除此之外,还可以使用相关分析进行信度测量,比如重测信度就可以通过相关分析进行测量,先测量一次数据,隔一段时间再测量一次数据,将两次的数据进行相关分析,相关系数越高,说明重测信度越好。
如果是实验研究或者评价者数据,一般在医学研究中,还可能会使用到ICC组内相关系数,其目的在于研究数据的相似程度,或者一致性,有时候重复测量数据,或者评价打分数据等也会使用ICC组内相关系数用于信度的测量,如果说ICC值大于0.6,一般说明数据一致性程度可接受,ICC值越大越好。
如果说数据并不适合进行统计分析,即使用分析方法,使用某个指标来测量信度水平。那么用文字进行描述,证明数据可靠可信也可以。比如说数据进行过异常值处理,针对数据进行过无效样本设置处理等,余下的数据可靠真实。除此之外,详细描述数据的收集和处理过程,也是证明数据可靠真实可信的办法。
总而言之,只要能证明数据可靠真实的手段(包括分析方法,文字描述等),均可用于论证数据的信度水平。
2 SPSSAU信度操作
关于信度的操作上,以SPSSAU软件为例,操作分别如下,如果是使用Cronbach信度或者折半信度,其操作如下:
如果是使用相关分析研究信度水平情况,SPSSAU里面的操作如下:
SPSSAU组内相关系数测量数据一致性或可重复性(信度),操作如下:
如果说需要描述数据处理的过程,比如使用了数据处理里面的异常值功能,或者无效样本功能,目的在于使用文字描述数据真实可靠。SPSSAU里面的操作地方为:数据处理-〉无效样本或者异常值。
3 信度不达标如何办?
其实信度的测量和SPSSAU软件操作都是非常简单的,SPSSAU上‘拖拽点一下’就得到智能分析结果,指标值如何,是否达标等都直接分析出来了。但当出问题时,SPSSAU也只是告诉结果不达标,关键在于如何让信度达标,因为如果说数据不达标,意味着数据不可靠不真实,那后续根本无法继续分析下去。
接下来从8个角度去剖析数据不达标的处理,前4点是寻找原理,后4点是不达标的处理。
第1点:是否量表数据?
如果做信度分析(一般是Cronbach信度分析),那么首先需要满足其前提条件。一般是量表数据才能做Cronbach信度分析,如果不是量表题,那么正常情况下都不会达标的,而且最关键的是非量表数据不能进行Cronbach信度分析。
那不是量表题如何办呢?可以使用文字描述,详细描述数据收集的过程,比如如何发放和收集数据等。同时详细描述数据处理的过程,比如使用SPSSAU的无效样本处理功能,删除掉无效样本数据等。如果做过数据预测试,可以讲述预测数据的过程等。只要可以证明数据真实可靠可信的描述都可以。一般情况下希望是希望分析指标进行信度测量,所以需要提前知晓此点。
第2点:样本量是否足够?
从Cronbach信度分析的公式上可知,信度分析指标Cronbach值与样本量有着密切的关系。同时其还与分析项的个数有着密切的关系。
一般情况下,样本量希望是量表题的5倍,严格最好是10倍以上。比如有20个量表题,那么至少需要100个样本以上。否则很难得到较好的信度结果。
如果是样本量不足,除了加大样本量收集,其实反过来思维,也可以考虑减少量表题分析数量。但实际研究中通常量表是固定的,因此加大样本量是首要之选。同时提前做好心理准备,并不是题越多越好,题越多时样本量要求也会越高,做到适合最重要。
第3点:无效样本处理
很多时候我们都容易忽略掉无效样本这一处理过程,每次收集的数据都很难满足样本真实认真的回答,因此无效样本处理是重要的一个步骤,把无效样本处理掉后,通常会让信度指标提升。SPSSAU进行无效样本操作如下:
一般来说,如果相同数字过多,默认是70%以上,那么肯定说明某个样本是乱填写,因为70%以上的答案都完全一致。以及如果是缺失比例过高,比如有超过70%以上都是空着的,那这种也属于无效样本。
无效样本的设置标准并不统一,也没有固定的要求,SPSSAU默认以70%作为常见标准。现实研究中,可能需要对比多次尝试,如果样本很多,那可以设置更高的要求(即更低的百分比),反之如果样本较少,那么就设置更低的要求(即更低的百分比)。
无论如何,针对数据的一些基本处理,无效样本,也或者异常值,这种处理过程本身就为了保障数据的真实可靠,因此使用文字描述清楚数据的处理过程也是一种论证信度的有效方式。
第4点:反向题
如果出现信度不达标,尤其是当信度系数值小于0时,很可能是由于反向题导致。此时只需要使用SPSSAU数据处理>数据编码功能反向处理即可。
第5点:指标为单位进行
在第2点中有提及样本量会影响信度。其实分析项的个数也会影响到信度。样本量越少,那么Cronbach信度分析通常会越低。同时,如果分析项个数越多,此时Cronbach信度分析也会越高。比如2个分析项放入分析时,很容易出现信度系数值小于0.6,一般放入分析框内的分析项个数在4~7个之间较好。
因此,如果出现信度不达标即Cronbach信度分析系数小于0.6时,可考虑将指标进行‘合并’,即将同属一个更高指标的所有项放入分析框进行信度分析。当然此种操作会涉及到专业知识上的考虑,如果专业知识上允许这样操作那就可以。
第6点:删除不合理项
在进行Cronbach信度分析时,有时候SPSSAU智能分析会提示建议删除某分析项。有可能某个分析项对信度是负作用,那么可考虑将该指标移除出去,相当于直接删除掉某个分析项。这也是常用的信度处理方式。
第7点:提前预测试
其实当信度出现问题时,首先需要找到原因,比如非量表题不能做信度而应该用文字描述说明,比如针对反向题需要提前处理,也或者数据质量差一般需要提前做无效样本处理。真正可使用的其它技巧性解决办法只包括以更高的指标为单位进行,删除不合理项等几种。
如果还是不达标,那么说明数据确实不可靠。这种情况是比较糟糕的,因为数据收集回来不可靠意味着完全没用。因此提前做好预防是一种更科学的做法,提前收集小量数据,比如50个数据做下预测试,提前发现问题然后进行处理,这样才能保证正式数据不会出现任何问题。
除此之外,还有一些需要注意的点,比如样本量需要是量表题的5倍以上,同时分析信度时的分析项个数最好在4~7个等。
第8点:文字描述
从上述描述可知,文字描述是一种万能的信度分析手段,包括说明数据预测试的过程,数据收集过程,正式数据回收后的数据处理,包括无效样本处理或者异常数据处理等。尤其是针对非量表数据,但又需要进行信度说明时,文字描述这种分析手段更为重要,建议从3个角度进行说明,分别是预测试情况,数据如何收集,回收正式数据后的数据处理方式。充分证明数据真实可靠。
以上就是本次分享内容,登录SPSSAU官网了解更多内容。