평가자간 신뢰도 및 동의도에 관한 분석적 고찰

Abstract

본 연구는 사회과학 방법론 상에서 중요한 지표인 신뢰도에 관하여 분석하였다. 신뢰도는 관잘자간 신뢰도, 측정도구의 신뢰도, 일반화 신뢰도로 구분된다. 본 연구에서는 관찰자간 신뢰도에 속하는 평가자간 신뢰도 및 동의도를 대상으로 한다.

평가자간 신뢰도는 분위기 연구, 리더십 연구, 직무분석 연구, 인사고과 및 성과평가 연구 등에서 자료의 객관성을 검증하는 중요한 지표로 사용되고 있다. 기존 연구들에서 다양한 평가자간 신뢰도 지표가 사용되었는데 평가자간 신뢰도와 동의도는 연구목적상 구분될 필요가 있다. 평가자간 신뢰도는 일관성(consistency)을 나타내는 것으로, 평가자들이 평가한 값들의 상관관계 정도 또는 균형적인 관계를 의미 한다. 평가자간 동의도는 합의성(consensus)을 나타내는 것으로, 평가자들이 평가대상에 대하여 얼마나 똑같은 평가를 하는가를 의미한다.

지금까지 평가자간 신뢰도를 측정하는 지표 중에서 ICC가 가장 좋은 지표이고, 평가자간 동의도를 측정하는 것은 rwg가 가장 합리적인 것으로 평가된다. 이들 지표를 정확하게 사용하기 위해서는 평가대상의 수, 분석단위, 단일항목/다항목, 일원/이원 분산분석 등을 고려해야 한다. 기존 연구들을 살펴본 결과, 분위기 연구의 경우ICC(1)의 경우는 0.20 이상, ICC(2)의 경우는 0.60 이상이면 대략적으로 만족할만한 수준이다. rwg의 경우는 0.8이상이면 만족할만한 수준이다. 그러나 타 연구분야에서는 신뢰도 지표를 사용한 연구들의 부족하여 기춘치를 제시하기가 어려운 실정이다.

이러한 분석결과를 바탕으로 이론적, 실무적 시사점을 제시하고, 평가에 영향을 주는 중요한 요인들과 추후 연구과제에 대하여 논의하였다.