1. 관찰자와관련된 오류
관찰은 관찰자의 훈련과 전문성에 따라 그 질적 수준이 달라질 수 있다. 관찰자 자신이 측정도구의 일부분이므로 관찰의 성패는 관찰자에게 달려 있다고 해도 과언이 아니다. 대부분의 관찰자료는 관찰자 자신의 지각을 통하여 관찰·기록·분석되므로 관찰자가 갖기 쉬운 편견이나 오류가 존재하는데, 이를 살펴보면 다음과 같다(홍순정 외, 2010).
첫째, 관찰자의 민감성에 대한 문제로 유아의 행동이나 움직임 또는 표정을 포착하여 기술할 수 있는 민감성은 개인의 특징에 많이 의존하지만 훈련을 통해서 개선될 수 있다.
둘째, 유아발달에 대한 지식이나 사전 경험의 정도에 대한 것으로 이는 교사가 유아에 대해 아는 만큼 관찰할 수 있다는 것이다. 발달 관련 지식이 많을수록 발달의 중요한 이정표가 되는 행동이나 발달상의 지체로 보이는 행동을 쉽게 인식할 수 있다. 또한 자녀를 양육해 본 경험이 있거나 유아교육기관에서 유아와 같이 생활한 경험이 많은 교사들은 유아의 특이한 행동이나 교육적 중재를 요하는 행동 등을 민감하게 알아본다. 이처럼 유아발달에 대한 지식이나 경험 정도에 따라 같은 행동이라도 그 중요도에 있어서 전혀 다르게 인식하여 관찰·해석하는 등 상이한 관찰결과를 나타낼 수 있음을 유념해야 한다.
셋째, 관찰자의 개인적인 편견, 후광효과에 대한 문제로 참여대상에 대한 예비지식이나 관찰자의 개인적 감정으로 인하여 관찰대상의 행동을 과대 또는 과소평가하게 만드는 경향이다. 사전에 유아에 대한 부정적인 정보를 가지고 있을 경우 유아에 대해 좋지 않은 방향으로, 유아에 대한 좋은 정보를 가지고 있을 경우 더 과장되고 좋은 방향으로 관찰·해석될 수 있다. 이처럼 대상에 대한 관찰자의 사전 정보나 인식이 긍정적이면 관찰자는 참여대상을 우호적인 관점에서 바라보게 되는데 이를 ’후광효과(halo effect)‘ 라고 하며, 이와 반대될 때는 ’편견‘이 될 것이다. 이처럼 관찰자와 참여대상 사이에 작용하는 관찰자의 신념이나 과거 경험은 관찰결과에 영향을 미친다.
넷째, 관찰자의 불충분한 훈련으로 인한 문제이다. 예를 들면 관찰도구에 대한 숙련 정도를 말할 수 있다. 관찰도구에 익숙해지기 위해서는 사전 훈련이 필요한다ㅔ, 관찰방식에 대한 훈련이 충분하지 않으면 기록하는 데 너무 많은 시간과 노력을 기울이게 되어 관찰 자체가 소홀히 될 수 있다. 또한 비디오 등의 관찰매체 활용 시 사용법을 미리 잘 익혀 둘 필요가 있다. 작동이 익숙하지 않을 때에는 비디오의 녹화 시작, 촬영, 저장 등의 작동과정에 중점을 두게 되어 중요한 관찰장면을 놓치게 될 우려가 있다. 많은 관찰매체들은 교실에서 사용하기 전에 실제로 충분한 훈련이 필요하다. 실제 연습, 피드백, 토의를 위해 충분한 사전 모임을 가지며, 관찰체계에 따른 사용규칙과 그 절차를 정확히 익히도록 한다.
다섯째, 관찰자 개인의 특성에 대한 문제로 지나치게 관대하거나 엄격하여 관찰에 영향을 미치는 경우이다. 관찰자가 지나치게 관대하거나 엄격한 경우 특정 행동을 기록에서 빠뜨리거나 흘리게 될 우려가 있다. 즉, 지나치게 과장되게 묘사하거나 특정 부분만을 상세히 기록하고 다른 부분들이 생략될 우려가 있다. 관찰자의 일시적인 건강 변화는 관찰의 민감성, 정확성을 저해한다.
여섯째, 기록 및 해석의 오류에 대한 문제로 같은 기록이라도 개인적인 편견 등의 이유로 기록과 해석상에 생략오류, 첨가오류, 전환오류가 있을 수 있다. 생략오류(omission error)는 유아의 행동을 이해하는 데 필요하거나 도움이 되는 정보를 빠뜨릴 때 발생한다. 이러한 오류가 발생하는 원인으로는 관찰 시 마음이 심란하거나 이미 발생한 행동들을 빠뜨리거나 불충분한 관찰일지 기록에 기인한다. 관찰일지 기록은 시간이 지날수록 더욱 중요하게 되는데, 관찰하는 동안 많은 것들을 기록하지 못할 경우 단지 기억에 의존할 수밖에 없기 때문이다. 따라서 관찰기록은 가능한 한 빠르게 이루어져야 한다. 첨가오류(comission error)는 위와 대조적으로 실제로 본 상황 이상의 정보를 담을 때 발생한다.
실제로는 발생하지 않았는데, 상호작용이 일어난 것처럼 행동이나 언어를 기록하는 것을 포함한다. 이러한 원인으로는 불충분한 주의집중, 가상의 기억에 의존하기 등을 들 수 있다. 전환오류(transmission error)는 일어난 행동의 순서를 부적절한 순서로 계열화시키는 것으로 사건의 순서가 중요할 때는 심각한 실수를 불러올 수 있다. 만약 오전 9시 20분에 발생한 행동은 9시 35분경에 일어난 행동에 영향을 줄 수 있기 때문이다. 그러므로 이런 실수를 하지 않기 위해서는 발생한 행동의 시작과 끝을 기록하거나 관찰행동에 대한 관찰 시작시간과 마침시간을 기록하는 것이 필요하다. 이렇게 시간을 기록하는 것은 오류를 줄이는 것 외에도 유아의 주의집중 시간이나 특정 활동에 보내는 시간의 정도에 대한 정보를 제공해 준다.
2. 피관찰자와 관련된 오류
관찰대상이 자신이 관찰되고 있다는 사실을 알 때 이는 피관찰자의 행동에 영향을 주게 된다. 관찰자의 존재는 피관찰자로 하여금 관찰자가 만족스럽게 생각하는 방식으로 행동하게 만들기도 한다. 특히 성인 관찰자가 있는 유치원 교실에서 유아는 관찰자가 존재할 때와 그렇지 않을 때 다른 방식으로 행동하기도 하는데 관찰자가 존재할 경우 성인의 눈에 바람직하게 보이는 방식으로 행동하는 모습을 보이기도 한다.
이러한 문제를 최소화하기 위해 일방경이 설치된 방을 이용하거나 카메라 등을 장치하기도 한다. 또한 피관찰자가 관찰자의 존재에 익숙해지도록 실제 관찰에 들어가기 전에 관찰 상황에 미리 접해 보는 것도 좋다.
3. 관찰에서의 신뢰도 문제
신뢰도라 함은 관찰이 얼마나 일관적이고 안정적인가를 나타내는 지수이다. 신뢰도에는 관찰자 내 신뢰도와 간찰자 간 신뢰도가 있다. 관찰자 내 신뢰도는 한 명의 관찰자가 같은 장면을 두 번 이상 관찰·기록하였을 때 같은 결과가 나오는 것으로 자신의 관찰기록 간 일관성을 알아보는 방법이다. 보통 관찰장면을 비디오로 녹화하여 같은 장면을 반복해 보면서 이들에 대한 기록 간의 일치 정도를 나타내는 것으로 객관적인 관찰·기록을 위한 훈련과정에서 필요하다.
관찰자 간 신뢰도는 하나의 관찰장면에 대해서 두 사람 이상의 관찰자가 독립적으로 관찰을 하였을 때 관찰자의 일치 정도를 말하며, 이는 곧 관찰기록의 안정성 또는 일관성을 의미하는 것이다. 즉, 관찰자 간 신뢰도가 높다면 이 관찰은 객관적이고 안정적이며 일관성이 있다고 말할 수 있는 것이고, 반대로 관찰자 간 신뢰도가 낮다면 관찰자에 따라 관찰결과가 많이 바뀌게 되어 관찰결과를 신뢰할 수 없다는 것을 의미한다. 일반적으로 명확한 구분 없이 관찰자 신뢰도라고 하면 흔히 관찰자 간 신뢰도를 의미한다.
관찰기록 시 관찰자 간 일치 정도는 일반적으로 신뢰도 계수로 나타내게 되는데, 그 산출방법은 관찰자 간 상호 일치한 관찰빈도를 전체 관찰빈도로 나누어 관찰자 수를 곱해서 계산한다. 이를 식으로 나타내면 다음과 같다.
교실에서 교사의 방문유형을 두 명의 관찰자가 관찰자가 관찰한다고 가정할 경우 관찰자 간 신뢰도는 0.80 이상이 바람직하다. 또한 관찰자 간 일치성을 증가시키기 위해서는 관찰에 앞서 관찰하고자 하는 행동에 대한 명확하고도 상세한 정의가 제시될 필요가 있다. 관찰행동에 대한 기준이 명확할수록 관찰자 간 주관성을 감소하기 때문이다(황해익, 송연숙, 정해영, 2005).
이상에서 언급된 관찰의 신뢰도를 높이기 위한 방안을 제시하면 아래 표와 같다(김지은, 김진숙, 2006).
관찰의 신뢰도를 높이기 위한 목록
| 1. 객관성 | ✔ 구체적인 행동을 사전에 정의한다. ✔ 개인적인 신념이나 기대로 인한 편견을 줄인다. ✔ 연구가설을 알리지 않는다. |
| 2. 기록양식 | ✔ 관찰범주가 중복되지 않도록 한다. ✔ 복잡한 부호체계를 피한다. |
| 3. 관찰자 간 일치비율 | ✔ 90% 이상이나 그 이상을 목표로 한다. ✔ 적절한 훈련을 받는다. |
| 4. 관찰자 표류방지 | ✔ 체계적인 점검을 한다. ✔ 두 관찰자가 관찰한 전체 기록의 10~20% 정도를 점검한다. |
4. 관찰에서의 타당도 문제
타당도란 관찰하고자 하는 것을 실제로 측정했는지를 알아보는 방법이다. 관찰하고자 의도한 것과 실제 수행한 관찰이 같은 것이 아니라면 관찰은 타당한 것이 아니다. 타당도를 갖추고 있는 관찰만이 객관적이고 과학적인 사실이 된다.
관찰의 타당도란 실제 행동을 잘 반영하고 대표할 수 있는 행동을 관찰하는가에 달려 있다. 관찰하기 쉬운 장면 또는 관찰하기 쉬운 행동만을 관찰한다면 처음에 의도했던 관찰목적과는 다른 행동들에 대한 관찰이 이루어지기 쉽다. 따라서 측정하고자 하는 행동을 가장 잘 관찰할 수 있는 장면, 상황, 시간을 선택하여 관찰하고자 의도했던 행동의 대표적인 표본이 관찰될 수 있도록 계획하고 기록해야 한다.
1) 내용 타당도
관찰절차를 위한 가장 기본적인 형태의 타당도로서 ’관찰은 관심의 대상이 되는 행동을 적절하게 표집하고 대표하는가?‘, ’관찰의 질문은 충분하게 다듬어졌는가?‘, ’관찰범주는 직접 관련된 문제를 모두 포함했는가?‘ 등에 대한 점검이다. 이러한 내용 타당도는 관찰자 자신뿐만 아니라, 외부 전문가집단에 의뢰하는 등 주관적 판단에 의존하기에 타당도 계수를 산출하지 않는다.
2) 공인 타당도
관찰행동을 검사결과, 학업성취, 부모의 보고서 등과 같은 외적 준거와 일치하는지 살펴보는 타당도이다. 관련성이 높을수록, 즉 관찰을 기초로 해서 내린 추론을 지지해 주는 증거자료가 많은수록 관찰은 더욱더 타당성을 지니게 된다.
3) 예언 타당도
관찰결과가 미래의 발달이나 성취와 관련되며 예측 가능한지를 살펴보는 타당도로, 현재의 관찰결과가 미래의 행동이나 발달 사이에 상관이 높을수록 예언 타당도가 높다고 한다.
4) 구인 타당도
관찰도구를 개발하는 사람이 생각해야 할 가장 중요한 항목으로, 실제로 관찰된 목표행동이 관찰자가 특별히 관심을 갖는 심리학적 개념이나 이론적 구성요인을 얼마나 잘 나타내는가 하는 것이다.
5. 관찰과 윤리적인 문제
교실에서의 관찰에서 자연발생적 상황을 강조하는 것이 임의적·무계획적 관찰을 의미하는 것은 아니다. 관찰이 교육상황에서 가치를 지니고 의미있고자 한다면 체계적인 관찰이 이루어져야 한다. 체계적인 관찰계획이 이루어지지 않을 경우 순간에 대한 인상으로 남기 쉬우며 교육 개선에 도움을 주지 못한다(홍순정 외, 2010).
관찰은 유아를 연구하는 방법 중에서 가장 자연스러움을 강조하지만 윤리적인 문제를 배제할 수 없다. 우선 관찰하고자 하는 기관이나 장소에 가기전에 관찰의 목적, 대상, 시간 등을 명시한 허가서를 제출하고 미리 허가를 받아야 한다.
또한 관찰하고자 하는 유아의 부모 또는 보호자에게 관찰의 목적 및 방법, 관찰결과의 사용범위 등에 대해 설명하고 허가를 받도록 한다.
< 아동관찰 및 행동연구, 홍순정·최석란 / KNOUPRESS >
댓글