신뢰도와 타당도의 정의

신뢰도와 타당도

과학에서 개념의 조작적 정의는 측정을 포함한다. 즉, 어떤 규칙에 따라서 관찰에 수치를 부여한다. 과학 작가 찰스 사이피는 일단 측정에서 수치를 사용하기 시작하면 갑자기 그 수치에 관심을 기울이기 시작한다는 사실을 지적하고 있다. 그의 주장은 숫자를단지 추상적 기호로 사용할 때 수학자가 아닌 일반인들이 그 숫자의 특성에 관하여 관심을 기울이는 경우가 거의 없다는 것이다. 사람들은 숫자 5 자체에 관해서는 관심이 없다. 그렇지만 숫자 5가 5킬로그램, 5달러, 5퍼센트 또는 5 IQ점수 등이 되면, 갑자기 신경을 쓰기 시작한다. 사이피는 단위가 업는 숫자는 무미건조하고 추상적이다. 단위를 붙이게 되면 의미를 획득한다. 
그렇지만 이와 동시에 순수함을 잃어 버리게 된다. 라고 진술하고 있다. 일단 사람들이 측정에 관여하게 되면, 즉, 숫자에 단위를 붙이게 되면, 갑자기 그 숫자가 정당한 특성을 가지고 있다고 생각하게 된다는 것이 순수함의 상실 이라는 표현에서 사이피가 의미하는 것이다. 과학에서 숫자가 갖는 정당한 특성은 무엇인가? 이 물음에 대한 답은 이렇다. 과학에서 숫자가 정당한 특성을 갖는다는 신뢰도와 타당도의 특성을 갖는 것이다. 개념의 조작적 정의가 유용하기 위해서는 신뢰도와 타당도를 모두 나타내야 한다. 신뢰도란 측정도구의 일관성을 지칭한다. 즉, 동일한 개념을 여러 차례 평가할 때 동일한 측정에 도달하는지 여부이다. 신뢰도라는 과학 개념은 쉽게 이해할 수 있다. 일반인의 정의와 매우 유사하며 다음과 같은 사전적 정의와도 유사하기 때문이다. 일관성 있게 동일한 결과를 초래하는 시스템의 속성

어떤 것이 신뢰할 수 있는지 여부에 관하여 일반인들은 어떻게 진술하는지를 생각해보자. 매일 아침 양산에서 부산에 있는 회사까지 버스로 출근하는 회사원을 상상하자. 버스는 오전 7시 20분에 정류장에 도착하도록 되어 있다. 특정한 주에 버스는 각기 7시 20분, 7시 21분,7시 20분, 7시 19분 그리고 7시 20분에 도착한다. 그 주에 버스는 꽤나 신뢰할 수 있다고 말할 수 있다. 그 다음 주에는 버스가 각기 7시 35분, 7시 10분, 7시 45분, 7시 55분 그리고 7시 05분에 도착하였다. 그 주에 버스는 지극히 신뢰할 수 없다고 말하게 될 것이다. 과학에서 조작적 정의의 신뢰도도 거의 동일한 방식으로 평가한다. 만일 한 개념의 측정이 여러 번의 측정에서 110,109,110 의 지능지수를 얻었다면, 그 지능 검사는 상당히 신뢰할 수 있다고 말하게 된다. 
신뢰도는 일간성에 대한 것일 뿐이며, 다른 어떤 것도 아니라는 사실을 명심하기 바란다. 신뢰도만으로는 조작적 정의가 타당한 것이기에 충분하지 않다. 신뢰도는 필요조건이지만 충분조건이 아니다. 한 개념에 관한 우수한 조작적 정의가 되기 위해서는 평가하는 조작이 그 개념으 타당한 측정이기도 해야만 한다. 구성타당도라는 용어는 측정도구가 측정하고자 의도하는 것을 측정하는지를 지칭한다. 폴 코스비는 자신의 방법론 교과서에서 타당도가 없는 신뢰도의 유머러스한 사례를 보여주고 있다. 여러분이 지증을 평가 받는다고 상상해봐라. 조사자가 여러분에게 발을 앞으로 내밀어 구두 가게에서 사용하는 것과 같은 측정도구에 집어 넣으라고 말하고는 수치를 읽는다. 물론, 여러분은 이것이 농담이라고 생각할 것이다. 그렇지만 이 측정도구는 방법론 교과서에서 논의하는 수많은 유형의 높은 신뢰도를 나타낸다는 사실에 주목하기 바란다. 월요일과 수요일 그리고 금요일에 거의 동일한 수치를 제공할 것이며, 어떤 조사자가 사용하는지 관계없이 동일한 수치를 제공할 것이다. 지능의 측정도구로서 구두 장치가 가지고 있는 문제점은 신뢰도가 아니라 타당도이다. 측정하려는 개념의 좋은 측정치가 아닌 것이다. 이것은 지능의 타당한 측정치가 아니라는 사실을 알 수 있는 한 가지 방법은 우리가 지능의 측정과 관련되어 있을 것이라고 기대하는 다른 많은 변인들과 관련이 없다는 사실을 확인해 보는 것이다. 구두 장치를 가지고 측정한 것은 학업성취와 관련이 없으며, 두뇌 기능에 과난 신경생리적 측정치와 무관하고, 직업 성공과 관련이 없으며, 인지심리학자들이 개발한 정보처리 효율성 측정치와도 무관하게 된다. 반면에 지능의 진정한 측정은 이 모든 것들과 관련이 있다. 심리학에서 수행하는 지능의 진정한 측정은 신뢰도뿐만 아니라 타당도를 가지고 있는 반면, 구두 장치를 이용한 지능의 측정은 신뢰도가 높지만 타당하지는 않다. 조작적 정의해서는 신뢰도와 타당도가 모두 요구 되기 때문에 높은 신뢰도와 높은 타당도를 추구한다. 신뢰도는 높지만 타당도가 낮은 도구는 아무것도 알려주는 것이 없다는 사실을 증명하기 위하여 구두 크기 지능 검사를 논의 하였다. 낮은 신로도와 낮은 타당도라는 세번째 경우는 무용한 것이 자명하기에 논의 할 가치도 없다. 근데 측정도구가 타당도는 높지만 신뢰도는 낮다면 어떻겠는가? 낮은 타당도와 높은 신뢰도의 경우와 마찬가지로 이 경우도 아무것도 알려주지 못한다는 것이 답이다. 타당한 조작적 정의를 개발하고자 시도할 때 어떤 개념을 측정하고자 시도하고 있는지를 정확하게 진술하는 것이 중요하다. 예컨대, 미국 풋폴리그는 패스 평가라고 부르는 구성체를 사용하여 쿼터백을 평가한다. 이 구성체의 이름이 패스 평가라는 사실을 인식하는 것이 중요하다. 즉, 이것은 쿼터백의 평가가 아니다. 패스평가의 조작적 정의는 패스만을 고려하는 것이지 쿼터백이 하는 모든 것을 따지는 것이 아니기 때문이다.