교육을바꾸는사람들

김새로나:
최소 성취 수준에 따른 과목 이수 여부 결정을 위해서는 학교 간 평가 수준 일관성이 확보되어야 할 것입니다. 그런데 개별 교사는 자신이 속한 단위 학교의 학생 수준이라는 맥락 안에서 평가를 하게 되고, 지금까지 오랫동안 상대평가의 관점에서 평가를 시행해 왔기 때문에, 특정 과목의 절대적 수행 수준에 대해서 객관적인 판단을 내리기가 매우 어려운 상황입니다.

 

학교 간 평가 수준 일관성이 확보되지 않았을 때 개별 교사가 특정 학생의 과목 이수 여부를 결정하는 것은 매우 위험한 일이 될 수 있으므로, 적어도 과도기적으로는 학교 간 평가 수준 일관성 확보를 위한 일종의 메타시스템이 필요할 것 같은데요, 혹시 그런 시스템 구축에 대한 계획이 있으신지요? 평가에 대한 신뢰도가 높은 IB 교육과정에서도 평가자 간 신뢰도 확보와 평가의 타당성 확보를 위한 모니터링 프로그램을 운영하고 있고, 호주나 미국의 일부 주에서도 IB와 유사한 모니터링 시스템을 운영하는 것으로 알고 있습니다.

강사(교육과정평가원 소속):
그러한 시스템을 운영할 계획은 없습니다. 무엇보다도, 그러한 시스템을 운영한다는 것은 교사의 평가 전문성을 인정하지 않는다는 의미가 아닐까요?

위의 내용은 필자가 2022년도에 최소 성취 수준 보장 지도 관련 연수에 참가하였을 때 기조 강의를 해주신 교육과정평가원의 한 박사님과 Q&A 시간에 나눈 대화이다. 시간 관계상 박사님의 대답에 대해서 추가적인 질문을 할 기회를 얻지는 못했지만, 박사님의 대답에 대해서 여러 가지 측면에서 의구심이 들었기 때문에 상당히 선명하게 기억에 남아있는 장면이다. 이번 글에서는 당시의 머릿속에 맴돌았던 여러 가지 의구심 중 두 가지를 살펴보고자 한다. 첫 번째 의구심은 평가자 간 신뢰도(inter-rater reliability) 확보에 대한 것이고, 두 번째 의구심은 교수 활동에 요구되는 전문성에 대한 인식과 관련된 것이다.

학교 간 평가 일관성 확보를 위한 메타시스템의 필요성

평가자 간 신뢰도는 측정의 객관성을 확인하고 유지하기 위해 활용되는 다양한 개념 중 하나로, 같은 수행 결과에 대해 두 명 이상의 평가자 각각의 평가 결과가 얼마나 일관성을 갖는지를 나타내는 개념이다.

평가자 간 신뢰도는 현장 교사들에게 그다지 생소한 개념이 아니다. 선생님이 아닌 일반인이라고 해도, 특정 학생의 특정 수행 결과에 대해서 A 선생님은 90점을 줬는데, B 선생님은 50점을 줬다면, 평가가 객관적인 방식으로 이루어지지 않고 있다는 것을 직관적으로 알 수 있는 부분이기도 하다. 평가 기준이 일관성 있게 적용되었다면, 동일 수행 결과에 대해서는 A 선생님과 B 선생님이 같은 점수를 주어야 한다는 것을 누구나 알 수 있기 때문이다.

그러나 평가자 간 신뢰도를 확보하는 것은 생각만큼 수월한 일이 아니다. 평가에 관여된 선생님들이 같은 평가 기준을 활용하여 몇몇 학생들의 수행 결과물을 각자 평가한 후 평가 결과를 비교해 보고, 평가 결과의 비일관성이 발생하는 원인을 분석하고 일관성의 확보를 위하여 평가 기대치를 미세하게 조정하기 위해서는 상당한 시간과 노력을 투자해야 하기 때문이다. 게다가 그러한 노력을 기울인다고 해서 평가자 간 신뢰도를 100% 확보했다고 확신하기도 어려운 경우도 많이 있으므로 단위 학교에서는 대부분 평가자 간 신뢰도를 걱정할 필요 없는 형태로 채점을 진행한다. 예를 들어 A 선생님이 수행평가 1을 전담하여 실시, 채점하고, B 선생님은 수행평가 2를 전담하여 실시, 채점하는 방식을 많은 학교에서 채택하고 있다. 이러한 방식은 교사가 평가자 간 신뢰도를 걱정할 필요 없이 평가자 내 신뢰도(intra-rater reliability)¹ 확보에만 신경 쓰도록 돕는다.

하지만 고교학점제의 도입과 함께 평가자 간 신뢰도 확보는 매우 결정적인 중요성을 띠게 된다. 고교학점제가 전면 시행되는 2025년부터는 과목별 이수 기준 요건을 충족해야만 학점 이수가 가능하게 되기 때문이다. 고교학점제 전면 시행 이전에는 일정 시간을 학교 안에 머무르기만 한다면, 즉 출석하기만 한다면 고등학교 졸업이 가능했지만, 고교학점제가 전면 시행되는 2025년부터 학생은 개별 과목을 기준으로 수업 횟수의 2/3 이상 출석해야 할 뿐만 아니라 40% 이상의 학업성취율에 도달해야만 해당 과목에 대한 학점을 이수할 수 있게 된다.

이러한 상황에서 평가자 간 신뢰도 확보가 왜 더 중요해지는지에 대한 이해를 돕기 위해서 영어1 과목에 대하여 같은, 그리고 매우 낮은 성취 수준을 보이는 순이와 영철이가 있다고 가정해 보자. 순이는 대한 고등학교에 재학 중이고, 영철이는 민국 고등학교에 재학 중이다. 이 두 학생이 영어1 과목에 대해서 같은 성취 수준을 갖고 있다면, 대한 고등학교에서 영어1을 가르치는 선생님이 진단한 순이의 영어1 학업성취율과, 민국 고등학교에서 영어1을 가르치는 선생님이 진단한 영철이의 영어1 학업성취율은 같아야 할 것이다. 만약 순이가 영어1을 이수하지 못하는 실력이라면, 다른 학교에 다니고 있는 영철이도 영어1을 이수하지 못해야 하는 것이다. 즉, 대한 고등학교의 영어1 담당 선생님과 민국 고등학교의 영어1 담당 선생님 간의 평가자 간 신뢰도가 확보되어야 한다는 뜻이다.

만약 순이가 학업성취율이 너무 낮아 학점을 이수할 수 없게 되면, 순이는 교과 담당 선생님의 주관적인 판단 때문에 영어1을 미이수하게 된 것이 아니라, 영어1을 가르치는 모든 영어 선생님이 동일하게 적용하는 성취평가 수준에 대한 전문적 판단으로 영어1을 미이수한 것이라는 사실을 이해할 수 있어야 한다. 순이가 학점 미이수의 상황을 공정하고 전문적인 판단에 의한 정당한 결과로 받아들이기 위해서는 학교 간 평가자 간 신뢰도가 확보되어야 하는 것이다. 그러나 단위 학교를 넘어서 학교 간의 평가자 간 신뢰도를 확보하는 것은 실질적으로 매우 어렵다. 교사가 초인적인 노력을 기울여 주변 학교의 동일 교과 담당 선생님들과 평가자 간 신뢰도 확보를 위한 협의와 조정의 과정을 거친다고 할지라도, 그 효과는 특정 지역 안의 선생님들 간의 평가자 간 신뢰도 확보에 그칠 것이기 때문이다.

이러한 상황에 대해서, 만약 누군가가 ‘교사 개개인이 평가 전문성을 갖고 있다면, 평가자 간 신뢰도를 확보하기 위해서 그렇게 많은 시간과 노력이 필요할까요? 평가자 간 신뢰도 확보를 위한 과외의 노력이 필요하다면, 혹은 외부 모니터링 시스템이 필요하다면, 그것은 평가자의 전문성에 문제가 있다는 것을 의미하지 않나요?’라고 이야기한다면, 나는 이러한 발언을 한 사람의 평가 전문성에 대해서 의문을 품게 될 것이다. 그(녀)는 인간의 정보처리 과정이 매우 맥락 의존적이라는 사실을 간과하고 있고, 맥락 의존성을 극복하기 위한 방편으로써 평가자 간 신뢰도 확보를 위한 과정이 반드시 필요하다는 사실을 인지하고 있지 못한 것처럼 보이기 때문이다.

‘인간 정보처리의 맥락 의존적 속성’이라는 표현이 너무 어렵게 느껴진다면, 다음 그림을 한번 살펴보자.

그림 A와 B 각각의 중앙에는 주황색 원이 있다. A, B 중 어디에 속한 주황색 원이 더 커 보이는가? 그림 B 안의 주황색 원이 유의미하게 더 커 보일 것이다. 하지만 두 개의 주황색 원의 크기는 같다. 도대체 왜 두 원의 크기가 달라 보이는 것일까? 바로 주황색 원을 둘러싸고 있는 회색 원의 크기가 서로 다르기 때문입니다. A의 주황색 원은 자신보다 큰 회색 원에 둘러싸여 있어서 상대적으로 더 작아 보이지만, B의 주황색 원은 자신보다 작은 회색 원에 둘러싸여 있어서 상대적으로 더 커 보이는 것이다. 우리가 주황색 원의 크기를 인지할 때 주황색 원을 둘러싸고 있는 회색 원이라는 맥락의 영향을 받는 것이다.

여기서 잠시 영어1을 수강하고 있는 순이와 영철이의 상황으로 돌아가, 순이를 둘러싸고 있는 대한 고등학교의 친구들은 영어를 순이보다 매우 잘하는 친구들이고, 영철을 둘러싸고 있는 민국 고등학교의 친구들은 영철이보다 영어를 더 못하는 친구들이라고 가정해 보자. 이러한 상황에서, 아무리 순이와 영철이의 영어1에 대한 성취 수준이 같다고 할지라도, 두 사람에 대한 평가는 동일하게 이루어지지 않을 가능성이 높다. 대한 고등학교 선생님은 순이를 둘러싼 대한 고등학교 학생들의 수행 수준에 대한 정보를 맥락 삼아 순이의 수행 수준을 낮게 평가할 가능성이 높은 반면, 민국 고등학교 선생님은 영철을 둘러싼 민국 고등학교 학생들의 수행 수준에 대한 정보를 맥락 삼아 영철이의 수행 수준을 높게 평가할 가능성이 높기 때문이다. 즉, 순이는 성취 수준 40%를 만족시키지 못했다는 평가를 받고 영어1을 이수하지 못할 수 있는 반면에, 영철이는 성취 수준 40%를 만족시켰다는 평가를 받고 영어1을 이수하는 상황이 발생할 수 있다. 두 학생의 성취 수준이 동일함에도 불구하고 말이다.

이처럼 특정 정보를 해당 정보가 제공되는 맥락에 비추어 해석하는 인간 정보처리의 속성은 평가자 간 신뢰도 확보를 어렵게 만들 수 있고, 평가자가 속한 맥락의 상이성이 커질수록 평가자 간 신뢰도 확보는 더욱 어렵게 된다. 이러한 어려움을 극복하기 위해서는 같은 과목을 가르치는 다수의 교사가 동일한 수행 결과물을 놓고 자신의 채점 결과를 다른 교사의 채점 결과와 비교하면서 평가자 간 차이를 좁히고 평가 기준을 객관화하는 과정이 있어야 한다. 그러나 개별 교사가 동일한 과목을 가르치는 전국의 모든 지역의 교사와 자신의 채점 결과를 비교하여 성취기준에 대한 절대적 감각을 익혀나가는 것은 불가능하기에 외부 모니터링 시스템, 즉 메타 시스템이 필요한 것이다. 개별 교사는 자신의 평가 결과를 메타시스템의 평가 결과와 견주어 절대평가의 감각을 익히거나, 자신의 평가 결과에 대한 메타시스템으로부터의 피드백을 통해서 자신이 속한 단위 학교의 맥락에서 독립하여 절대평가의 취지에 맞는 성취 수준 측정을 할 수 있는 전문성을 키워나갈 수 있기 때문이다. (물론 이를 위해서는 성취 수준에 대한 보다 명확한 기준이 확보되어야 하며, 메타시스템에 속한 평가자들 역시 평가자 간 신뢰도 확보를 위한 전문적 훈련을 받아야 할 것이다. 메타시스템을 내실 있게 운영하는 사례로서 IB 교육과정을 참고할 수 있다.)

교육부는 2022년 2월에 발간된 ‘고교학점제 도입운영 안내서’를 통해서 향후 ‘성취평가 모니터링 체제’를 구축하여 고교 성취평가 결과에 대한 현황을 분석하고 모니터링을 시행하여 수집된 자료를 바탕으로 컨설팅 등의 피드백을 제공할 것이라고 안내하였다. 그러나 교육부가 이야기하는 ‘성취평가 모니터링 체제’가 학교 간 평가자 간 신뢰도 확보를 지원하는 방식으로 이루어질지는 명확하지 않다. (또한 같은 해 7월 교원대에서 개최된 최소 성취 수준 보장제도 역량 강화 연수에서 기조 강의를 한 교육과정평가원 소속 박사님은 학교 간 평가자 간 신뢰도 확보를 위한 메타시스템 개발을 계획하고 있지 않다고 밝힌 바 있다) 또한 해당 자료집은 ‘평가 신뢰도 제고를 위한 유의 사항’을 제시하고 있으나, 이 유의 사항에 제시된 방식에 의해서 학교 간 평가 일관성이 확보될지 역시 확실하지 않다.

발췌: 고교학점제 도입 운영 안내서 (연구자료 ORM 2022-43)

학교에 일정 시간 이상 머무르면 졸업할 수 있는 것이 아니라 일정 성취 수준에 도달해야 과목을 이수하고 졸업할 수 있는 고교학점제는 학교 간 평가자 간 신뢰도 확보가 전제되었을 때 원활하게 운영될 수 있다. 우리나라의 평가 공정성에 대한 높은 민감도는 학교 간 평가자 간 신뢰도 확보의 중요성을 더욱 강화한다. 만약 평가자 간 신뢰도 확보를 위한 시스템이 마련되지 않는다면, 교사는 평가 주관성에 대한 민원에 보호막 없이 노출될 것이고, 자신을 보호하려는 방편으로 미이수를 발생시키지 않는 방법을 고민하게 될 것이며, 이러한 상황에서는 과목 이수를 위한 성취 수준에 도달하지 못한 학생들이 미이수를 모면하게 되는 상황이 다수 발생할 우려가 있다. 이와 같은 상황은 학생들의 학력 향상에 전혀 도움이 되지 않는다. 미이수 수준에 있는 학생을 미이수 수준에 있다고 인정하지 않음으로써 그들이 필요로 하는 도움을 제공하는데 소극적으로 될 수 있기 때문이다. 그뿐만 아니라 학점 이수제도의 부실한 운영은 학생들이 유명무실한 체제와 눈 가리고 아웅 하는 상황을 일상적인 현상으로 받아들이게 함으로써 부정적 암묵적 교육과정으로 작동할 수 있을 것이다.

교수 전문성에 대한 사소화 혹은 경시 (trivialization)

학교 간 평가자 간 신뢰도 확보를 위해 평가 일관성을 모니터링하는 메타시스템의 필요성에 관한 질문에 대해 “무엇보다도, 그러한 시스템(학교 간 평가 일관성 확보를 위한 모니터링 시스템)을 운영한다는 것은 교사의 평가 전문성을 인정하지 않는다는 의미가 아닐까요?”라고 대답한 것은, 일견 교사의 전문성을 높이 사고 존중하는 발언처럼 보인다. 그러나, 보다 자세히 들여다보면, 이러한 접근은 교직의 전문성을 부인하는 것이다. 평가자 간 신뢰도 확보를 외부 모니터링 시스템과 같은 특별한 지원제도 없이도 수월하게 달성할 수 있는, 즉, 고도의 전문성을 요구하지 않는 과제로 여기고 있다는 사실을 보여주기 때문이다.

흔히 교직을 대표적인 전문 직종의 하나로 꼽곤 하지만, 교수 활동을 전문성을 요구하는 활동으로 인정하지 않고 있다는 정황은 너무나 다양한 맥락에서 발견된다. 예를 들어, 교사가 청소도구 구매와 분배를 한다던가, 미세먼지 경보발령 관련 안내를 한다던가, 방송 장비 및 시설관리를 하는 것 등 다양한 행정, 시설관리 업무를 하는 것은 교직을 전문직으로 보고 있지 않다는 것을 보여주는 대표적인 사례가 된다. 교직을 전문직으로 여긴다면, 즉 교수 활동을 전문성을 요구하는 활동으로 여긴다면, 사회는 교사가 대부분의 업무시간을 자신의 전문 영역, 즉 교수학습활동 설계와 관련 연구에 투자함으로써 사회에 이바지할 것을 요구할 것이기 때문이다. 교사가 온갖 행정, 시설관리 업무에 시간을 분산시켜 투자하고, 교수 활동에 충분한 시간을 투자할 수 없는 환경은 교수 활동 자체를 많은 시간과 노력을 투자하여야 충실하게 수행할 수 있는 전문적 활동으로 여기지 않는 사회적 인식을 반영하고 있다.

교수 활동을 전문성을 요구하는 활동으로 여기지 않는다는 사실을 보여주는 사례는 차고 넘친다. 예를 들어, 교육실습생제도 역시 우리 사회에서 교수 활동의 전문성이 간과되는 것을 보여주는 대표적인 사례라고 할 수 있다. 교육실습생을 지도할 수 있는 역량을 갖춘 멘토 교사를 양성하거나 멘토링의 질을 관리하기 위한 제도가 전무하기 때문이다. (심지어 신규교사가 교육실습생을 지도하는 학교가 존재하기도 한다) 교수 활동에 대한 멘토링을 하기 위해 특별한 전문성이 요구되지 않는다는 것은 교수 활동이 특별한 전문성을 요구하지 않는 것이라는 인식과 궤를 같이한다고 볼 수 있다. 이와 유사한 맥락에서 교사의 교수학습 능력을 점검하고 관리해야 하는 관리자의 교수 전문성 및 멘토링 역량을 검증하는 혹은 양성하는 과정이 부족한 것이다. 교사의 교수 활동을 지원하기 위해 선발한 수석교사의 멘토링/코칭 역량 향상을 위한 체계적 전문성 개발 프로그램이 부재한 것은 교수 활동을 전문성을 요구하는 활동으로 인식하지 못하고 있다는 사실을 방증한다.

교수 활동의 복잡성과 높은 난도를 간과하는 태도는 몇 가지 측면에서 중대한 부작용을 낳는다. 무엇보다도, 이러한 태도는 교수 활동 내실화를 위한 충분한 지원을 기획하지 않게 할 수 있다. 교수 활동의 복잡성과 높은 난도를 인정하지 않는다면 교수 활동의 내실화를 위한 체계적인 지원의 필요성을 크게 느끼지 않을 것이고, 필요성에 대한 인식의 부재는 지원의 부재로 연결될 것이기 때문이다. 평가자 간 신뢰도 확보의 필요성과 복잡성을 인식하지 못하여 이를 위한 연수나 메타시스템이 제공되지 않는 것이 그러한 예이다.

교수 활동 내실화를 위한 지원이 체계적으로, 충분히 제공되지 않을 때 교사의 전문성 향상에 한계가 발생하는 것은 너무나 당연한 결과이다. 예를 들어, 평가자 간 신뢰도 확보를 위한 연수나 메타시스템이 지원되지 않을 때 교사는 평가자 간 신뢰도 향상을 위한 전문성을 쌓을 수 없을 것이다. 평가자 간 신뢰도 향상이 이루어지지 않는다면 교사는 과목 이수, 미이수를 결정하는 것에 대해 큰 부담을 느끼고 미이수를 발생시키지 않는 쪽으로 고민하게 될 가능성이 크다. 교사 전문성에 대한 부족한 지원이 교육체제의 취지 구현을 방해하는 꼴이 되는 것이다.

교수 활동의 전문성을 충분히 인지하지 못하여 전문성 개발 지원을 충분한 형태로 하지 않는 흐름은 교사를 희생양 삼는 방향으로 진행될 수도 있다. 교사는 특별한 지원이 없어도 거뜬히 해내야 하는 과업을 해내지 못하는 존재로 전락하게 될 것이기 때문이다. 해내야 하는 과업은 특별히 어려운 것이 없는 과업이므로 해당 과업을 해내지 못하는 이유는 교사의 변화에 대한 저항 혹은 무능함으로 귀인될 수 있다. 예를 들어, 고등학교에서의 성취평가제 시행에 있어서 학교 간, 평가자 간 신뢰도 확보의 실패 원인으로 교사의 변화에 대한 저항 혹은 무능함이 지목될 가능성이 높고, 이러한 과정을 통해 교사는 또 한 번 제도의 실패를 떠안은 희생양이 될 수 있는 것이다.

고등학교 공통과목의 9등급 병기가 확정됨에 따라, 불필요하고 소모적인 경쟁을 지양하기 위해 도입된 성취평가제도의 취지는 크게 퇴색했다. 그러나 과목 이수, 미이수를 결정해야 하는, 이제까지 경험한 적 없는 절대평가 시스템의 내실 있는 운영을 위해서는 학교 간 평가자 간 신뢰도 확보를 위한 연수와 모니터링 시스템이 준비되어야 한다. 학생에게 광폭의 전이(far transfer)를 요구하는 수행평가와 서·논술형 평가가 갈수록 확장되고 있고, 많은 교사가 이러한 평가 유형에 아직은 익숙하지 않기 때문에 더욱더 그러하다. 그것이 눈 가리고 아웅 하지 않고 새로운 제도를 안착시키는 방법이며, 진정으로 교수 전문성을 존중하는 방법이 될 것이다.

※ 본 칼럼은 필자의 고유의견이며 ‘교육을바꾸는사람들’의 공식 견해가 아닙니다.

🖨️ 인쇄(Print)하기

1. 평가자 내 신뢰도: 동일한 평가자가 모든 측정 대상에 대하여 일관성 있는 평가 기준을 적용하였는지를 나타내는 개념