[Research⑩] 타당성과 신뢰성

과학적 연구를 한다고 해도

대부분의 경우 측정하는 과정에서 오차는 발생하게 된다.

그럼으로 오차를 얼마나 줄일 수 있느냐는 항상 관심의 대상이다.

타당성(Validity)이란

올바른 측정 도구와 측정 방법을 사용했느냐의 문제이며,

신뢰성이란

측정대상을 정확하게 선정하여

타당성있는 측정 도구와 방법을 신뢰할 수 있게 사용했냐의 문제이다.

이 두가지에서 검증을 받아야만,

연구한 결과를 과학적 연구 결과라고 이야기할 수 있는 것이다.

+

타당성(Validity)은 예를 들면,

키를 측정하려면 신장계를 이용하고,

몸무계를 측정하려면 체중계를 이용하는 것을 말한다.

타당성이 없다는 것은

IQ를 측정하려고 머리둘레를 확인하거나,

체력을 측정하려고 몸무계를 확인하는 것을 의미한다.

이런 바보가 어디있나 싶겠지만,

실제 연구할 때는 이렇게 명확한 경우는 많지 않다.

대부분의 경우

이렇게도 측정해볼 수도 있고,

저렇게도 측정해볼 수도 있는 경우가 대부분이다.

그렇다고 해서 나온 다양한 결과들이 모두 맞다고 할 수 있을까?

이 중에서 잘못된 측정 도구나 방법을 사용한 경우는 걸러내야 한다.

이 부분을 검증하는 것이 바로 타당성 검증이다.

+

타당성에는 내적 타당성과 외적 타당성이 있다.

내적 타당성(Internal Validity)는

연구 결과를 어느 정도 믿을 수 있는가의 문제이며,

외적 타당성(External Validity)는

연구한 결과가 현실에 얼마나 일반화할 수 있냐의 문제이다.

내적 타당성의 경우

내용이 타당한지, 기준이 타당한지, 개념이 타당한지를 다루며

물론 3가지 다 중요하지만, 내용 타당성 검증에 주로 주목한다.

외적 타당성은

내적 타당성을 확보한 연구 결과를

실제 현실에서 얼마나 일반화할 수 있냐의 문제인데,

재미있는 사실은

외적타당성과 내적 타당성은 서로 trade-off 관계에 있다는 사실이다.

내적 타당성을 높이기 위해서

여러가지 조건들을 완벽하게 통제할수록

실제 현실과는 점차적으로 멀어진다는 이야기이다.

그래서 정확하면서도 현실과 떨어지지 않는 연구...

굉징히 어려운 부분이지만 최대한 이 부분을 맞춰야 한다는 것이다.

그렇다면 타당성을 높이기 위해서는 어떻게 해야할까?

그냥 열심히 공부해서

개념을 확실히 이해해야하고,

가능하면 이미 타당성이 검증된 방법을 사용하면 된다.

(어쩌면 당연한 이야기이지만, 매우 중요한 이야기이다.)

그래서 교수님들은 항상 수 많은 논문을 읽기 만들고,

그리고, 이미 인정받은 방법들을 잘 활용하기를 권하고 있다.

(내공이 쌓여서 폭발하면, 스스로 검증 방법을 제시할 수도 있겠지?)

+

신뢰성(Reliability)은

얼마나 일관성 있게 측정하였는가를 나타내는 것으로

안정성(Stability), 일관성(Consistency)

예측가능성(Predictability), 정확성(Accuracy) 등을 말한다.

신뢰성을 측정한다는 개념을 쉽게 설명하면

동일한 개념을

동일한 측정방법을 사용해서

반복적으로 측정하였을 때 그 결과가 비슷해야 한다는 것이다.

구체적으로 3가지 방법론이 등장하게 된다.

반복적으로 검사를 해보는 재검사법(Test-retest Method)

2개의 집단으로 나눠서 검사를 해보는 반분법(Split-half Method)

그리고 가장 많이 쓰이는 내적 일관성(Internal Consistency Reliability)

내적 일관성은

측정을 위해서 여러 개의 항목을 이용하는 경우에 활용하며

여러 개 중에서 신뢰도를 저해하는 항목을 찾아 제외시키는 방법이다.

일반적으로 크론바하 알파(Cronbach's alpha)라는 계수값을 산출해

0.6 ~ 0.7 이상이 되면 측정항목들이 비교적 신뢰성이 높다고 판단한다. 

신뢰성을 높이기 위해서는

1) 측정 항목의 모호성을 제거해야하고

2) 측정 항목의 수를 늘려야 하고

3) 응답자가 모르는 내용은 측정하지 말아야 하고

4) 검증된 측정방법을 사용해야 한다.

+

이상의 내용들을 정리해보면,

타당성은 측정 도구나 방법에 대한 내용이고,

신뢰성은 타당성을 포함해 측정 자체에서부터 과정까지 포괄 한다. 

이 차이를 교재에서는 그림으로 매우 잘 설명해주고 있다.

(Source: 이훈영의 연구방법론 p.323)

타당성만 문제가 생길 경우에는

항상 동일한 방향으로 체계적인 오차가 발생하기에,

측정 도구를 바꿔서 흔히 이야기하는 영점 조절을 잘 하면 된다.

근데, 신뢰성에 문제가 생길 경우에는

무작위적으로 오차가 발생하기 때문에

측정 상황이나 측정하는 사람에 대해서도 검증해봐야 한다.

결론적으로 이야기하면,

둘 다 높아야지 타당하고 신뢰할 수 있는 결과를 얻게 된다는 것이다.

그리고 앞에서 설명한대로,

둘 다 높이기 위해서는 되도록 검증된 방법을 활용하고,

이를 위해서는 충분히 열심히~~ 공부해야만 가능한 것이다...

(다시 공부하러 가야겠다~~)