> > 타당도(validity) :: 도비의 저장소
반응형

1. 타당도(validity)?

타당도는 검사도구가 측정하고자 하는 것을 얼마나 충실히 측정하였는가를 의미하며 검사 점수가 검사의 사용 목적에 얼마나 부합하는가의 문제를 갖는다. 즉, 검사도구 목적의 적합성에 해당된다. Standards for Educational and Psychological Testing에서는 타당도를 검사 점수의 해석에 대해 근거나 이론이 지지하여 주는 정도로 정의하였는데 이는 검사 자체의 문제가 아니라 이론이나 근거가 검사 점수 해석을 얼마나 지지하는가를 논함을 알 수 있다.

 

2. 타당도 주의점

타당도는 네 가지 주의점을 갖는데(Gronlund & Linn, 1990),

  • 첫째 타당도는 피험자 집단에 사용된 측정도구나 검사에 의하여 얻어진 검사 결과의 해석에 대한 적합성일 뿐 검사 자체와 관련된 것은 아니다.
  • 둘째, 정도의 문제로 타당도가 있다/없다가 아니라 낮다/적절하다/높다 등으로 표현해야 한다.
  • 셋째, 특별한 목적이나 해석에 제한되는 것으로 한 검사가 모든 목적에 부합할 수 없듯이 이 검사가 어떤 것을 측정하는 데에 타당하다고 표현해야 한다.
  • 마지막으로 타당도는 단일한 개념으로 해석할 수 있다.

3. 타당도 종류

1) 내용 타당도(evidence based on test contest)

내용 타당도(evidence based on test contest)는 논리적 사고에 입각한 분석 과정으로 주관적인 타당도로 볼 수 있으며 객관적 자료에 근거하지 않는다. 검사 내용 전문가에 의해 검사가 측정하고자 하는 속성을 제대로 측정하였는지 주관적으로 판단한다. 예를 들어, 인성검사 제작 시 성격심리 전공 전문가들이 문항을 분석한 후 주관적 판단에 의해 내용 타당도를 판단하게 된다. AERA, APA, NCME(1999)에서 분류한 검사 내용에 기초한 근거는 검사의 문항, 질문, 목적이 측정을 위해 규정된 내용과 영역  또는 전체를 얼마나 잘 대표하는지에 정도를 나타내며 검사의 내용과 측정하고자 하는 구인과의 관계를 분석하는 작업으로 검사내용은 검사 시행과 점수화와 관련된 절차를 위한 안내, 주제, 어휘, 문항, 질문, 과제 등과 관련된다.

 

내용 타당도는 주관적 판단에 의한 것이므로 객관적 자료를 사용하지 않으며 이원 분류표 등에 의해 제작되었는지 확인할 수 있다. 이러한 내용 타당도는 전문 간들의 판단에 의해 검사 타당성을 입증받으므로 검사 목적 부합 여부를 검증할 수 있는 장점이 있는 반면, 전문가마다 각기 다른 견해를 가지는 경우 특히 정의적 행동특성을 측정할 때 다른 견해를 가질 수 있으므로 내용 타당도에 대한 각기 다른 검증 결과를 얻을 수 있다.

 

2) 구인 타당도(evidence based on internal structure)

구인 타당도(evidence based on internal structure)는 내적 구조에 기초한 근거로 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정의를 내린 후, 검사 점수가 조작적 정의에서 규명한 심리적 구인을 제대로 측정하였는지 검증하는 방법이다. 예를 들어 창의력을 측정할 때 창의력이 민감성, 이해성, 도전성, 개방성, 자발성, 자신감 등의 구인으로 구성되어 있다는 조작적 정의에 근거하여 검사 제작 및 실시하고 검사도구가 창의력을 구성하는 구인들을 측정하고 있다고 판단하면 그 검사는 구인 타당도를 지니고 있다고 볼 수 있다.

 

구인이란 심리적 특성이나 행동 양상을 설명하기 위해 존재를 가정하는 심리적 요인으로 볼 수 있다. 따라서 구인 타당도는 문항과 검사 구성요소와의 관계가 구인에 어느 정도 합치되는지를 분석하는데 요인 분석을 사용할 수 있다. 구인 타당도를 추정하기 위해서 상관 계수법, 실험 설계법, 요인 분석 등의 통계적 방법을 활용할 수 있는데 상관 계수법은 각 구인들에 의해 얻어진 점수와 총점과의 상관계수에 의해 타당도를 검증하는 방법이다. 실험 설계법은 심리적 특성을 구성하는 심리적 구인을 실험집단에 처치를 하고 통제집단에 처치하지 않았을 경우 실험집단과 통제집단이 차이가 나타나면 그 구인이 심리적 특성을 설명하는 구인으로 간주할 수 있다. 요인 분석은 복잡하고 정의되지 않은 많은 변수들 간의 상호관계를 분석하여 상관이 높은 변수를 모아 요인으로 규명하고 요인의 의미를 부여하는 통계적 방법이다.

 

이러한 구인 타당도는 응답자료에 의해 통계적 방법에 의하여 검증되기 때문에 과학적이고 객관적이라는 장점을 지닌다. 반면, 요인 분석을 실시할 경우 많은 연구 대상(일반적으로 300명 이상)이 필요한 단점이 있다.

 

3) 다른 변수에 기초한 근거(evidence based on relations to other variables)

검사 점수와 외적 변수와의 관계를 분석하여 검사 타당도를 검증하는 방법으로 수렴 및 판별 근거, 검사-준거 관련성, 타당도 일반화로 분류한다. 수렴 및 판별 근거는 검사 점수와 유사한 구인을 측정하는 측정치는 수렴 근거를 제공하고 검사 점수와 다른 구인을 측정하는 측정치들로부터 판별 근거를 얻을 수 있다. 구인을 측정하는 다른 검사와의 관계는 점수의 의미를 명료화하고 구체적 해석을 하는 데 도움을 준다.

 

검사-준거 관련성(준거 타당도)은 기본적으로 검사 점수가 얼마나 정확하게 준거 수행을 예측하는지에 관심을 둔다. 즉, 검사-준거 관련성은 주어진 검사를 사용하는 상황에서 준거 변인에 기초한 해석과정의 적합성, 신뢰도, 타당도에 따라 달라진다. 준거 타당도에서 예측 타당도는 준거와 관련된 예측 근거로 제작된 검사에서 얻은 점수와 준거로서 미래의 어떤 행위와의 관계로 추정도는 타당도로 검사 점수가 미래 행위를 얼마나 잘 예측하느냐의 문제로 적성검사, 심리검사 등에 자주 이용된다.

 

예측 타당도는 검사도구가 미래 행위를 예언하기 때문에 선발, 채용, 배치의 목적을 위해 사용할 수 있으나 동시 측정이 불가능하여 시간적 여유가 필요하다는 단점이 있으며 시간의 흐름에 따라 평가대상의 사고나 행동이 변화되고, 통계적으로 자료가 절단되기 때문에 과소 추정되는 특징을 갖는다.

 

공인 타당도는 준거 타당도의 한 종류로 검사 점수와 준거로 기존에 타당성을 입증받은 검사로부터 얻은 점수와의 관계에 의해 검증하는 타당도이다. 새로운 검사를 제작하였을 때 새로 제작한 검사의 타당성을 검증하기 위해 기존에 타당성을 보장받고 있는 검사와의 유사성 혹은 유관성에 의해 타당성을 검증하는 방법이다. 

 

4) 결과 타당도(검사 결과에 기초한 근거, consequential validity)

결과 타당도는 검사나 평가를 실시하고 난 결과에 대한 가치판단으로 평가결과의 평가목적과의 부합성, 평가결과를 이용할 때의 목적 달성, 평가결과가 사회에 미치는 영향, 평가결과를 이용할 때 사회의 변화 관계에 주목한다. Shepard(1997)는 검사가 의도한 결과와 의도하지 않은 결과에 대해서도 책임져야 하므로 결과 타당도가 중요하다고 보았고, Linn(1997)도 검사 결과에 대한 고려를 타당도에서 배제하는 것은 검사 결과에 대한 배려를 등한시하게 된다고 하며 검사 사용 결과에 대한 검토의 중요성을 주장하였다.

 

검사의 결과 타당도를 고려하면 검사 제작, 실시, 수집, 분석, 해석, 활용까지 체계적으로 검사를 운영하며 사회에 미치는 영향까지 고려하므로 양질의 검사를 제작할 수 있다. APA, AERA, NCME(1999)에서 검사 결과에 기초한 근거는 검사 결과가 검사의 목적과 얼마나 부합하는지, 의도한 결과를 얼마나 달성하였으며, 의도하지 않은 결과가 나타났는지에 대한 검증으로 제시하였다.

 

Linn과 Gronlund(2000)는 검사 결과에 기초한 근거를 첫째, 검사가 측정하고자 하는 것이 원래 의도한 것인지, 검사가 중요한 학습목표와 부합하는지, 둘째, 학생이 평가를 준비하기 위해 더 열심히 공부한다고 믿는 이유가 있는지, 셋째, 평가가 인위적으로 학생의 공부를 제한하지 않는지, 넷째, 평가가 학생의 창의적 표현, 탐구정신을 격려 또는 좌절시키는지 확인하여 결과에 기초한 근거를 알 수 있다고 하였다.

 

출처: 성태제(2007). 현대교육평가. pp315-337. 서울: 학지사.

반응형

+ Recent posts