摘要: 评分一致性是衡量同行评议评价效果的重要指标之一。为了探究同行评议中评审人在研究质量评价上的一致性,本研究基于ICLR会议的公开同行评议数据,使用多位评审人对一项研究评分的方差衡量一致性,并采用单因素方差分析等方法,分析了对不同研究质量论文评审人评分一致性的差异。结果发现,同行评审对于质量较差论文的一致性高于质量较好的论文。基于这一证据,本研究提出以“择差”为目的的“底线评审”的构想,以完善当前以“择优”为宗旨的同行评议制度。
中图分类号:
刘欣 李江 吴金闪. 同行评议一致性研究[J]. 信息资源管理学报, 2021, 11(6): 10-16,94.
Liu Xin Li Jiang Wu Jinshan. A Study of the Agreement of Peer Review[J]. Journal of Information Resources Management, 2021, 11(6): 10-16,94.