교육을바꾸는사람들

서·논술형 평가 확대가 중요한 교육적 가치를 지니지만 준비 없는 급속한 확대는 위험하므로, 교사 연수의 질적 전환과 이를 뒷받침할 시간·공간·관계 등 실천 환경의 마련이 함께 필요하다고 주장합니다.

 

 

서·논술형 역량 강화 연수의 마지막 시간, 선생님은 연수를 통해 작성한 서·논술형 평가문항과 채점 기준표를 다시 한번 살펴본다. 이번 연수에서 다룬 내용도 평가 전문성을 향상해 보려는 노력으로 꾸준히 참여해왔던 여타의 교육부, 교육청 주관의 연수와 크게 다르지 않은 것 같았다. 이번에는 서·논술형 평가 역량 개발을 중심에 둔 연수였지만, 이전 평가 연수에서처럼 성취기준을 분석했고, 평가 요소를 골랐으며, 발문과 채점 기준을 완성하는 순서가 반복되었다. 이론과 정책 추진의 배경에 대한 몇 시간의 전문가 강의를 들은 후 간단한 실습을 통해 이론을 적용해 보는 구조도 크게 다를 바가 없었다. 실습을 통해 작성한 서·논술형 평가문항과 채점 기준표를 다시 한번 살펴본 후 노트북을 닫은 선생님은 연수장을 빠져나온다. 괜찮을까. 할 수 있을까. 선생님의 마음속에는 확신의 불이 켜지지 않는다.

 

 

1. 좋은 평가, 위험한 속도

 

최근 전국의 학교 현장에는 서·논술형 평가의 도입과 확장을 재촉하는 바람이 거세게 불고 있다. 예를 들어 전남광주통합특별시교육청은 당장 내년부터 초등학교 5·6학년과 중학교 1학년을 대상으로 객관식 문항이 없는 ‘100% 서·논술형 평가’를 도입하겠다고 밝히며, “전국 최초로 초·중·고 서·논술형 평가 전면 시행의 길을 열겠다”는 포부도 함께 제시했다. 해당 교육청은 이를 지원하기 위해 가칭 ‘전남광주통합교육청 교육과정개발평가원’을 내년 3월까지 개소하겠다고 밝혔지만, 교사와 시민단체는 정책의 급격한 현장 도입이 채점의 공정성 논란과 평가 민원, 사교육 확대를 불러올 수 있다며 강한 우려를 나타내고 있다.¹ 평가 혁신을 향한 방향이 아무리 타당하더라도, 현장의 준비와 보호 장치가 충분하지 않은 상태에서 속도부터 높이는 정책은 혁신이 아니라 또 다른 혼란의 출발점이 될 수 있다.

 

필자는 서·논술형 평가의 교육적 가치와 그 도입 및 확산의 필요성에 크게 공감한다. 학생이 정답을 고르는 데 그치지 않고 자신의 생각을 조직하고, 근거를 제시하며, 개념과 정보를 연결하도록 요구하는 평가는 미래 교육이 지향해야 할 중요한 방향이다. 그러나 현장에 뿌리내린 수석교사로서 “출제의 타당성, 채점의 공정성, 성적 처리와 이의 제기에 이르기까지 수많은 논란과 분쟁을 낳을 것이 불 보듯 뻔하다”라는 전교조 광주지부의 지적에도 전적으로 공감한다. 서·논술형 평가가 좋은 평가라는 사실과, 그것을 지금과 같은 방식으로 급격히 확대하는 것이 타당하다는 주장은 전혀 별개의 문제이기 때문이다.

 

학교 현장에서는 이미 평가와 관련된 사소한 차이조차 민원의 대상이 되곤 한다. 특정 과목을 두 교사가 함께 담당할 경우, “A 선생님은 교과서의 이 부분에 별표를 치라고 했는데 B 선생님은 밑줄을 치라는 말조차 하지 않았다”라는 식의 민원이 제기되기도 한다. 객관식 평가에서도 이러한 민원이 발생하는 상황이라면, 교사의 전문적 판단이 출제와 채점의 전 과정에 더 크게 개입하는 서·논술형 평가에서는 갈등 가능성이 훨씬 커질 수밖에 없다. 무엇을 정답으로 인정할 것인지, 부분 점수를 어떻게 부여할 것인지, 표현은 다르지만 의미가 유사한 답안을 어디까지 수용할 것인지, 동일한 답안을 여러 교사가 정말 동일한 기준으로 평가할 수 있는지와 같은 문제가 끊임없이 제기될 수 있다. 더구나 이러한 민원 중 일부가 반복적이고 지속적인 악성 민원으로 발전하여 교사를 장기간 괴롭힐 수 있다는 사실을 현장의 교사들은 경험적으로 알고 있다.

 

이러한 부당한 악성 민원에 대해서조차 적절한 보호를 받지 못하는 교사가 전면적으로 도입되는 서·논술형 평가가 달고 올 출제의 타당성, 채점의 공정성에 대한 이의 제기를 과연 견뎌낼 수 있을 것인가? ‘전국 최초로’를 외치는 보도자료 이면에서 실적 위주의 행정 추진에 대한 강한 우려를 지울 수 없으며, 정책 자체에 대한 심리적 반감이 커지는 것도 사실이다. 학교 현장에 중대한 영향을 미칠 평가 정책을 불과 6개월 뒤부터 시행하겠다고 하면서, 이를 뒷받침해야 할 핵심 기관인 가칭 ‘전남광주통합교육청 교육과정개발평가원’을 내년 3월에야 개소하겠다는 계획은 더욱 우려를 낳는다. 당장 내년에 전면 도입될 프로그램을 내실 있는 자료 개발과 교사 전문성 지원을 통해 뒷받침해야 할 기관이 시행과 동시에 출범한다는 점은, 그 지원 체계의 실효성과 내실을 의심하게 만드는 대목이다.

 

문제는 이러한 민원 위험이 개별 교사의 심리적 부담에 그치지 않는다는 데 있다. 출제와 채점에 관한 판단이 끊임없이 의심받고, 이의 제기와 분쟁이 발생했을 때 교사를 보호할 제도적 장치가 충분하지 않다면 학교와 교사는 교육적으로 가장 타당한 방식보다 민원이 가장 적게 발생할 방식을 선택하게 된다. 평가문항은 도전적 사고를 요구하기보다 정답 시비가 적은 형태로 단순화되고, 채점 기준은 학생의 다양한 사고를 포착하기보다 분쟁을 피하기 쉬운 기계적 기준으로 축소될 수 있다. 심지어 책임을 분산하고 위험을 회피하기 위해 수업과 평가의 운영 방식 자체를 방어적으로 변경할 가능성도 있다. 서·논술형 평가를 통해 수업을 개선하겠다던 정책이 오히려 교사의 전문적 판단을 위축시키고 수업을 파행적으로 운영하게 만드는 역설이 발생할 수 있는 것이다.

 

교사를 민원으로부터 보호할 적절한 장치가 부재한 상태에서 이러한 방어적 운영이 확산되면, 그 피해는 결국 학생의 학습 결손으로 이어진다. 민원 위험을 분산하려는 방어적 운영이 극단화될 경우, 일주일에 4시간 편성된 하나의 과목을 네 명의 교사가 한 시간씩 나누어 담당하는 것과 같은 현상이 나타날 수 있다(이미 일부 학교에서 관찰되는 현상이다). 이러한 편성은 책임과 민원의 부담을 여러 교사에게 분산하는 데에는 도움이 될지 모르지만, 학생이 수업을 통해 유의미 학습(meaningful learning)을 하는 데에는 심각한 부정적 영향을 미칠 수 있다. 인간의 기억 시스템은 새롭게 접한 정보를 서로 분리된 조각으로 저장하는 방식으로 작동하지 않기 때문이다. 학습자는 새로운 정보를 기존 지식과 연결하고, 여러 차시에 걸쳐 접한 내용을 하나의 일관된 구조로 조직하면서 점차 정교한 스키마를 형성해야 한다. 따라서 의미 있는 학습이 이루어지려면 개념과 개념 사이의 관계가 여러 차시에 걸쳐 누적적으로 확장되어야 하며, 교사는 학생의 이해 상태와 오개념을 지속적으로 관찰하면서 적절한 피드백과 비계를 제공해야 한다.

 

그러나 동일한 과목을 여러 교사가 분절하여 가르치면 교사마다 사용하는 개념어와 설명 방식, 표상, 과제의 순서와 강조점이 달라질 가능성이 크다. 학생은 매시간 서로 다른 인지적 맥락과 해석 틀 속에서 수업 내용을 다시 해석하고, 새로운 개념 체계와 과제 수행 규칙을 재구성해야 한다. 따라서 동일 과목을 여러 교사가 나누어 들어가는 방식은 기존 지식과 새로운 정보를 안정적으로 통합하기보다 매 차시마다 일시적인 이해 구조를 새로 만들고 조정하도록 요구함으로써 불필요한 인지적 부하를 증가시킨다. 그 결과 학생은 앞선 학습을 다음 학습에 누적적으로 연결하기 어려워지고, 교사 역시 학생의 이해 과정과 오개념을 지속적으로 추적하며 적절한 피드백을 제공하기 어려워진다. 수업 시간은 형식적으로 충족되지만, 개별 차시의 내용을 하나의 일관된 지식 구조로 통합하는 학습의 핵심 조건은 훼손되는 것이다.

 

 

2. 그럼에도 불구하고, 서·논술형 평가의 내실 있는 도입은 중요하다

 

그러나 지금까지 제기한 비판이 서·논술형 평가 자체에 대한 반대로 읽혀서는 안 된다. 필자가 비판하는 것은 서·논술형 평가의 교육적 가치가 아니라, 그 가치를 실현할 조건을 마련하지 않은 채 도입의 속도와 비율부터 밀어붙이는 정책 방식이다. 서·논술형 평가가 학교 현장에 불러올 수 있는 민원과 갈등, 교사의 업무 부담을 우려하는 것과 학생의 이해와 사고를 더욱 충실하게 드러내는 평가가 필요하다고 주장하는 것은 모순되지 않는다. 오히려 서·논술형 평가가 지닌 중요한 교육적 가능성을 훼손하지 않기 위해서라도, 무엇을 위한 평가인지부터 분명히 이해할 필요가 있다.

 

많은 선생님들이 교실에서 학생이 “선생님, 객관식 문항의 보기를 보면 알겠는데 서술형 평가문항에 답을 하려니 너무 어려워요”라고 말하는 경우를 자주 접했을 것이다. 이 말은 단순한 엄살이 아니며, 학생이 어떤 방식으로 기억에 접근하고 있는지를 보여주는 매우 정확한 자기 보고에 가깝다. 객관식은 주로 재인(recognition)을 요구하는 반면, 서·논술형 문항은 주로 회상(recall)을 요구하기 때문이다. 재인과 회상의 차이를 이해하는 것은 우리가 왜 선다형 평가만으로 학생의 학습을 충분히 파악하기 어려운지, 그리고 왜 서·논술형 평가를 적절하게 확대할 필요가 있는지를 판단하는 출발점이 된다.

 

재인은 외부에 제시된 정보가 자신이 이전에 학습한 내용과 일치하는지를 확인하고 식별하는 과정이다. 길을 가다가 익숙한 얼굴을 보고 아는 사람임을 알아보는 경우가 대표적이다. 선다형 문항에서 제시되는 보기도 이와 유사한 외부 단서로 작용한다. 학생은 여러 선택지를 살펴보며 자신이 배운 내용과 가장 일치하는 답을 찾아낼 수 있다. 충분히 잘 설계된 선다형 문항은 단순한 암기를 넘어 개념의 구분, 추론, 적용 능력까지 평가할 수 있지만, 보기 자체가 기억 탐색의 방향을 제시한다는 기본적인 특성은 남는다. 그 때문에 학생이 지식을 완전하게 조직하지 못했거나 스스로 설명할 수 없는 상태에서도 친숙함, 소거 전략 또는 부분적인 단서에 의존하여 정답을 선택할 가능성이 있다.

 

반면 회상은 정답에 해당하는 정보가 외부에 그대로 제시되지 않은 상태에서, 기억 속의 내용을 스스로 탐색하여 꺼내는 과정이다. 길에서 친구의 얼굴을 보고 알아보는 것과 아무런 참고 자료 없이 그 친구의 얼굴을 떠올려 묘사하는 것이 다른 것과 같다. 물론 실제 평가에서의 회상도 문항의 질문이나 자료와 같은 일정한 단서에 의해 촉진된다. 그러나 선다형 문항처럼 정답 후보가 직접 제시되지 않기 때문에, 학습자는 자신이 알고 있는 개념과 관계를 탐색하고 선택하여 답으로 구성해야 한다. 이러한 과정은 재인보다 일반적으로 더 많은 인지적 노력과 지식의 조직화를 요구한다.

 

이러한 차이에서 볼 때, 선다형 평가에 지나치게 의존하는 평가 체제에는 분명한 한계가 있다. 선다형 평가의 점수만으로는 학생이 학습 내용을 자신의 언어로 설명할 수 있는지, 여러 개념을 연결하여 하나의 논리를 구성할 수 있는지, 새로운 문제 상황에 지식을 적용할 수 있는지를 충분히 확인하기 어렵기 때문이다. 학생이 개념을 정확하게 이해하여 정답을 선택했는지, 정답처럼 보이는 표현에 친숙함을 느꼈는지, 다른 선택지를 제거한 결과 우연히 답을 맞혔는지를 결과만으로 구분하기 어려운 경우도 있다. 특히 학생이 어떤 잘못된 전제에서 출발했는지, 논리의 어느 지점에서 오류를 범했는지, 어떤 개념들 사이의 관계를 잘못 이해하고 있는지는 선택된 번호 하나만으로는 드러나지 않는다.

 

이에 비해 회상의 성격을 강하게 지닌 서·논술형 평가는 학생의 학습과 교사의 수업에 두 가지 중요한 교육적 가치를 제공한다.

 

첫째, 서·논술형 평가는 학생이 학습한 내용을 스스로 탐색하고 구조화하도록 요구하는 인지적 훈련 장치가 될 수 있다. 빈 답안지를 마주한 학생은 보기에서 정답을 찾아내는 데 그치지 않고, 질문이 요구하는 핵심 개념이 무엇인지 판단해야 한다. 기억 속에서 관련 정보를 선택하고, 서로 흩어져 있는 개념과 사실을 연결하며, 이를 문제의 요구에 맞는 순서로 배열해야 한다. 또한 자신의 주장을 제시하고, 그 주장을 뒷받침하는 이유와 근거를 선택하며, 문장과 문장 사이의 관계를 조정해야 한다. 이러한 과정에서 학생은 수업 시간에 접한 지식을 단순히 재생하는 것을 넘어, 자신이 알고 있는 내용을 하나의 의미 있는 구조로 재구성하게 된다. 어떤 정보를 포함하고 제외할 것인지, 무엇을 상위 개념으로 삼고 어떤 내용을 근거로 배치할 것인지 판단하는 과정에서 지식 사이의 관계를 더욱 명료히 해야 하는 과제를 수행하는 것이다. 따라서 적절하게 설계된 서·논술형 평가는 이미 이루어진 학습의 결과를 측정하는 데 그치지 않으며, 학생에게 적극적인 기억 인출과 지식 조직화를 요구함으로써 학습 자체를 촉진하는 활동이 될 수 있다. 평가는 수업이 끝난 뒤 학습 수준을 확인하는 종착점이 아니라, 학생이 자신의 지식 구조를 다시 점검하고 정교화하는 또 하나의 학습 과정이 되는 것이다.

 

뿐만 아니라 이러한 평가가 반복적으로 이루어질 때, 교사는 이를 전제로 한 수업 설계를 자연스럽게 고려하게 되며, 학생 역시 서·논술형 평가가 요구하는 정보 처리 방식에 맞추어 학습 전략을 조정하게 된다. 즉, 단순한 암기나 재인 중심의 학습이 아니라 개념 간 관계를 구성하고 새로운 상황에 적용하는 깊이 있는 처리(deep processing)를 중심으로 학습의 방향이 형성될 수 있다.

 

둘째, 서·논술형 평가는 학생의 사고 과정을 교사가 관찰할 수 있는 형태로 가시화한다. 학생이 어떤 개념을 선택했는지, 그 개념들을 어떤 순서로 배열했는지, 주장과 근거를 어떻게 연결했는지, 문제의 조건을 어디까지 고려했는지가 답안에 흔적으로 남는다. 교사는 이를 통해 학생이 핵심 개념을 정확하게 이해하고 있는지, 개별 사실은 알고 있지만 그 사이의 관계를 구성하지 못하는지, 개념을 알고 있으나 새로운 상황에 적용하는 데 어려움을 겪는지 등을 구체적으로 살펴볼 수 있다.

 

예를 들어 학생 개개인이 서로 다른 다양한 오답을 형성할 수 있다. 어떤 학생은 핵심 개념 자체를 잘못 이해했을 수 있고, 다른 학생은 개념은 이해했지만 문제의 조건 하나를 빠뜨렸을 수 있다. 또 다른 학생은 필요한 지식을 모두 가지고 있으면서도 그것을 논리적인 문장으로 조직하지 못했을 수 있다. 선다형 문항에서는 이 학생들이 모두 같은 오답을 선택한 것으로 나타날 수 있지만, 서·논술형 답안에서는 서로 다른 오류의 원인과 사고 경로가 드러나게 된다. 즉, 서·논술형 평가는 정답과 오답을 구분하는 것을 넘어, 학생이 현재 어디까지 이해하고 있으며 다음 학습을 위해 어떤 지원이 필요한지를 보여주는 진단 자료가 될 수 있는 것이다.

 

이렇게 가시화된 사고의 흔적은 이후의 수업을 개선하는 데에도 중요한 역할을 한다. 다수의 학생이 동일한 개념 관계를 잘못 구성했다면, 그것은 학생 개인의 부족함이 아닌 수업에서 해당 관계가 충분히 명료하게 다뤄지지 않았음을 알리는 신호일 수 있다. 학생들이 핵심 개념은 알고 있지만 근거를 선택하거나 논리를 전개하는 데 공통적으로 어려움을 보인다면, 교사는 내용 지식뿐 아니라 답안을 구성하는 사고 절차와 언어적 표현 방식도 명시적으로 가르칠 필요가 있다. 이처럼 서·논술형 평가 결과는 학생에게 점수를 부여하는 자료를 넘어, 교사가 자신의 수업을 되돌아보고 다음 수업의 설명, 과제, 비계와 피드백을 재설계하도록 돕는 증거가 된다.

 

다만 여기서도 중요한 것은 평가의 형식 자체가 이러한 가치를 자동으로 보장하지는 않는다는 점이다. 잘 설계된 선다형 문항은 깊이 있는 추론과 개념 적용을 요구할 수 있으며, 반대로 단순한 용어 정의나 교과서 문장을 그대로 쓰게 하는 서술형 문항은 피상적인 암기만을 측정할 수도 있다. 답안의 길이가 길다고 해서 사고의 깊이가 깊어지는 것도 아니다. 서·논술형 평가가 교육적 가치를 발휘하려면 학생이 주요 교과 개념을 선택하고, 개념 사이의 관계를 구성하며, 근거를 들어 판단하거나 새로운 상황에 적용하도록 문항이 설계되어야 한다. 채점 기준 역시 특정 표현의 포함 여부만을 기계적으로 확인하기보다 학생의 개념적 이해와 논리 구조를 타당하게 포착할 수 있어야 한다.

 

결국 공교육 현장에서 서·논술형 평가를 내실 있게 운영한다는 것은 단순히 객관식 문항을 줄이고 학생이 써야 하는 답안의 분량을 늘리는 일이 아니다. 그것은 학생에게 기억 속 정보를 능동적으로 인출하고, 흩어진 지식을 구조화하며, 자신의 생각을 근거와 함께 표현하도록 요구하는 평가를 설계하는 일이다. 동시에 교사에게는 학생의 이해와 오개념, 논리적 비약과 표현의 어려움을 구체적으로 진단하고, 그 결과를 이후의 수업과 피드백에 반영할 수 있는 증거를 확보하는 일이다.

 

바로 이러한 이유에서 서·논술형 평가의 확대는 필요하다. 그러나 그 필요성이 곧 준비되지 않은 전면 도입의 정당성을 의미하지는 않는다. 서·논술형 평가가 중요한 까닭은 ‘100%’라는 비율이나 ‘전국 최초’라는 실적을 달성할 수 있기 때문이 아니다. 학생이 무엇을 알고 있는지를 넘어, 그 지식을 어떻게 조직하고 사용하며 어디에서 어려움을 겪는지를 더욱 충실하게 드러낼 수 있기 때문이다. 그러므로 우리가 추진해야 할 것은 서·논술형 평가의 급격한 양적 확대가 아니라, 이러한 교육적 기능이 실제 교실에서 구현될 수 있도록 문항 설계, 채점, 피드백과 교사 보호 체계를 함께 구축하는 질적 전환이어야 한다.

 

 

3. 인지과제분석(Cognitive Task Analysis)의 필요성

 

그렇다면 서·논술형 평가의 질적 전환을 위해 교사 연수에서는 무엇이 안내되고 훈련되어야 하는가? 흔히 서·논술형 평가 연수에서는 성취기준 분석, 문항의 유형, 채점 기준표 작성법, 루브릭의 구성 요소와 같은 원리를 설명한다. 이러한 지식은 분명 필요하다. 그러나 교사가 서·논술형 평가에 관한 개념과 원칙을 안다고 해서 자신의 교과에서 타당한 문항을 곧바로 설계할 수 있는 것은 아니다. 좋은 문항의 조건을 설명할 수 있는 것과 실제 성취기준을 분석하여 학생의 사고를 드러내는 문항을 만들어 내는 것은 서로 다른 수준의 전문성이기 때문이다. 서·논술형 평가가 현장에 제대로 정착하려면 교사에게 무엇을 알아야 하는지를 알려주는 연수를 넘어, 실제 평가 상황에서 무엇을 보고, 어떻게 판단하며, 어떤 절차를 거쳐 문항과 채점 기준을 개발해야 하는지를 익히게 하는 연수가 필요하다.

 

이를 위해서는 먼저 숙련된 교사가 서·논술형 평가문항을 설계하고 채점할 때 수행하는 복잡한 인지 활동을 세밀하게 분석해야 한다. 이러한 목적에 활용할 수 있는 대표적인 방법이 인지과제분석(cognitive task analysis, CTA)이다. 인지과제분석은 겉으로 관찰되는 행동의 순서만을 나열하는 데 그치지 않고, 과제를 성공적으로 수행하기 위해 필요한 지식, 판단, 의사결정, 단서의 활용, 문제 해결 전략과 암묵적 사고 과정을 밝혀내는 분석 방법이다. 전문가가 완성한 문항과 채점 기준만을 수집하는 것이 아니라, 그 결과물이 만들어지는 과정에서 전문가가 무엇을 주목하고, 어떤 대안을 비교하며, 무엇을 근거로 선택하거나 배제했는지를 드러내는 것이다.²

 

여기서 중요한 점은 연수 설계자들이 종종 “우리는 이미 인지과제분석에 기반하여 연수를 설계하고 있다”고 생각할 수 있다는 점이다. 그러나 이러한 인식은 인지과제분석의 본질을 충분히 반영하지 못한 오해일 가능성이 크다. 실제로 많은 연수가 숙련 교사의 문항 사례를 수집하고 이를 단계별로 설명하는 수준에 머무르며, 그 과정에서 전문가의 판단 구조가 충분히 해체·재구성되지 않은 채 전달되는 경우가 많다. 즉, 겉으로 드러난 절차는 설명되지만, 그 절차를 가능하게 하는 인지적 선택과 판단의 구조는 여전히 암묵성에 남아 있는 것이다.

 

전문가는 자신의 전문성을 모두 설명하지 못한다

 

인지심리학과 전문성 연구에서는 전문가라 하더라도 자신의 수행을 구성하는 모든 인지 과정을 완전하게 언어화하기는 어렵다고 본다. Ericsson과 Simon(1993)에 따르면 과제 수행과 동시에 이루어지는 즉각적인 사고 구술은 특정 조건에서 신뢰할 수 있지만, 자동화되어 직접 의식되지 않는 과정이나 시간이 지난 뒤의 사후 설명은 불완전하거나 재구성될 수 있다.³ 숙련이 깊어질수록 여러 판단과 절차가 빠르고 자동적으로 이루어지기 때문에, 전문가는 무엇을 했는지는 설명할 수 있어도 어떤 단서를 포착하고, 어떤 대안을 비교하며, 무엇을 근거로 특정 결정을 내렸는지까지 빠짐없이 보고하지 못할 수 있다. Klein(1998)의 자연주의적 의사결정 연구 역시 숙련된 전문가가 상황 속의 핵심 단서와 익숙한 패턴을 빠르게 인식하여 직관적으로 판단하지만, 그 판단을 가능하게 한 경험과 단서의 결합을 완전한 명시적 규칙이나 절차로 재구성하는 데에는 한계가 있음을 보여준다. 이러한 문제는 교사 전문성에서도 마찬가지로 나타날 수 있다. 숙련된 교사가 우수한 서·논술형 문항을 설계할 수 있다는 사실과, 그 설계 과정에 포함된 판단 기준과 의사결정 절차를 다른 교사가 학습할 수 있는 형태로 온전히 외현화할 수 있다는 사실은 서로 다른 문제이다.

 

인지심리학과 인지과제분석 연구에 따르면, 전문가라 하더라도 복잡한 과제를 수행할 때 자신이 사용하는 모든 생각 과정과 의사결정을 완전히 말로 설명하기는 어렵다. 이는 숙련도가 높아질수록 많은 판단과 절차가 의식적인 통제 없이 자동으로 빠르게 이루어지기 때문이다. 이처럼 자동화된 처리 과정이 많아지면, 전문가는 자신의 의사결정이나 사고 과정의 상당 부분을 스스로도 명확히 인식하지 못할 수 있다. 인지과제분석 및 전문가 지식 추출 연구를 종합하면, 전문가가 자신의 사고 과정을 완전히 자각하지 못하는 경우가 많으며, 구조화된 인터뷰나 분석 기법 없이 단순한 설명이나 사후 보고에만 의존할 경우 실제 수행 과정을 정확하게 재구성하기 어렵다.

 

또한 일부 연구에서는 전문가가 말로 설명할 수 있는 내용이 실제 수행 행동의 일부에만 해당할 수 있으며, 그 비율이 약 29~53% 수준에 머물 수 있다고 보고한다. 더 나아가 전문가는 실제 의사결정 과정을 그대로 설명하기보다, 나중에 일관성 있게 보이도록 설명을 정리하는 경향이 있으며, 경우에 따라서는 사후적으로 ‘그럴듯한 설명’을 만들어 제시하기도 한다.⁴

 

이러한 이른바 ‘전문가의 맹점(expert blind spot)’은 교사 전문성 연수의 설계에도 중요한 시사점을 준다. 숙련된 교사가 좋은 서·논술형 문항을 설계할 수 있다는 사실이, 그 과정에서 어떤 단서에 주목하고 무엇을 비교했으며 어떤 기준으로 최종 결정을 내렸는지를 다른 교사가 그대로 배울 수 있을 만큼 명확하게 설명할 수 있다는 뜻은 아니다. 즉, 좋은 문항을 실제로 설계하는 능력과 그 설계 과정에 작동한 판단 기준과 의사결정 과정을 말로 풀어 전달하는 능력은 서로 다른 종류의 전문성이다. 따라서 연수를 설계할 때에는 전문가가 자발적으로 제시하는 설명이나 완성된 우수 문항만을 그대로 교수 내용으로 옮겨서는 안 된다. 그 설명에서 누락되거나 압축된 판단 과정을 체계적으로 찾아내어, 다른 교사가 학습하고 적용할 수 있는 형태로 재구성하는 별도의 분석 과정이 필요하다.

 

바로 이 지점에서 인지과제분석의 역할이 분명해진다. 인지과제분석은 단순히 전문가의 행동을 관찰하여 모범적인 절차의 순서를 추출하는 작업이 아니라, 전문가의 수행 속에 압축되어 있는 판단을 의도적으로 ‘펼쳐 보이는’ 작업이어야 한다. 이는 하나의 문항이 완성되기까지 전문가가 한 일을 시간 순서대로 재현하는 데 그치지 않고, 각 단계에서 어떤 대안을 비교했는지, 무엇을 선택하거나 배제했는지, 어떤 가정에 근거하여 학생의 반응을 예측했는지를 해체하여 드러내는 것을 의미한다. 이처럼 겉으로 드러난 결과나 행동의 순서를 넘어 그 이면의 비교, 선택, 배제, 가정과 예측의 구조를 추출한다는 점에서 인지과제분석은 단순한 사례 분석이나 우수 문항 공유와 본질적으로 구별된다.

 

우수 사례를 보여주는 것만으로는 부족하다

 

이러한 이유로 선도교사나 우수 교사를 중심으로 연수를 설계하는 방식만으로는 연수의 질을 담보하기 어렵다. 선도교사의 문항 설계 능력이 뛰어나다는 사실과, 그 능력이 타인에게 전달 가능한 형태로 구조화되어 있다는 사실은 동일하지 않다. 오히려 숙련된 교사일수록 자신의 판단을 “당연한 것”으로 간주하는 경향이 있어, 초보 교사가 필요로 하는 미세한 의사결정 단계를 생략한 채 설명하는 경우가 많다. 결과적으로 연수는 “이렇게 하면 좋은 문항이 된다”는 결과 중심의 설명으로 수렴하고, 실제 설계 능력의 이전에는 실패하게 된다.

 

이 지점에서 인지과제분석의 핵심적 기능이 드러난다. 인지과제분석은 전문가의 수행을 단순히 모범 사례로 제시하는 것이 아니라, 그 수행을 구성하는 인지적 단위들을 분해하고 재구성함으로써 학습 가능한 형태로 전환하는 작업이다. 다시 말해 인지과제분석은 전문가의 압축된 판단을 펼쳐서, 초보자가 따라갈 수 있는 사고의 경로로 재구성하는 과정이다. 이 과정이 결여된 연수는 아무리 우수한 교사를 활용하더라도 암묵지 수준의 전달에 머물 가능성이 높다.

 

예를 들어 숙련된 교사가 성취기준을 읽고 문항을 설계하는 과정은 겉으로 보기에는 몇 단계의 단순한 절차로 보일 수 있다. 그러나 실제로는 성취기준의 언어를 해석하는 단계에서 이미 평가 가능한 인지 수준을 추론하고 있으며, 학생의 오개념 가능성을 예측하고, 특정 자료가 유발할 사고의 방향을 시뮬레이션하며, 채점 가능성과 변별력을 동시에 고려하는 복합적 판단이 작동한다. 이러한 요소들은 대부분 의식적으로 분리되어 인식되지 않기 때문에, 단순한 설명이나 사례 공유만으로는 재현되기 어렵다.

 

채점 기준 설계 역시 마찬가지이다. 숙련 교사는 단순히 모범답안을 기준으로 점수를 분해하는 것이 아니라, 학생 답안에서 나타날 수 있는 사고의 질적 차이를 미리 구조화한다. 어떤 오류는 개념 이해의 부재를 의미하고, 어떤 오류는 표현상의 문제이며, 또 어떤 차이는 추론의 깊이 차이를 반영한다. 이러한 구분은 명시적 규칙이라기보다 경험적으로 축적된 판단 체계에 가깝기 때문에, 이를 그대로 전달하는 것은 거의 불가능하다.

 

이처럼 전문가의 수행은 겉으로 보면 몇 단계의 단순한 절차처럼 보이지만, 실제로는 오랜 경험을 통해 압축된 수많은 인지적 판단의 집합이다. 따라서 인지과제분석이 수행해야 할 핵심 과제는 전문가가 수행한 행동의 순서를 그대로 나열하는 것이 아니라, 그 행동 속에 압축되어 있는 판단을 다시 펼쳐 보이는 것이다. 다시 말해 “전문가가 무엇을 했는가”를 확인하는 데 그치지 않고, “무엇을 중요한 단서로 보았는가”, “어떤 대안들을 비교했는가”, “무엇을 선택하거나 배제했는가”, “어떤 결과를 예상했기 때문에 그러한 결정을 내렸는가”를 구체적으로 밝혀야 한다. 그래야만 전문가에게는 자동적이고 당연하게 이루어지는 판단을 다른 교사도 이해하고 연습할 수 있는 형태로 전환할 수 있다.

 

선언적 지식에서 절차적·조건적 지식으로

 

이러한 분석을 거치면 서·논술형 평가 연수에서 교사에게 길러 주어야 할 지식이 무엇인지도 보다 명확해진다. 먼저 교사는 서·논술형 평가의 목적과 원리, 타당도와 신뢰도의 의미, 성취기준과 평가 요소의 관계, 문항 유형과 채점 기준의 특징 등에 관한 선언적 지식(declarative knowledge)을 갖추어야 한다. 선언적 지식이란 쉽게 말해 어떤 개념이나 원리, 사실에 대해 “무엇인지 알고 설명할 수 있는 지식”이다. 예를 들어 타당도가 무엇인지 설명하고, 좋은 서·논술형 문항이 갖추어야 할 조건을 말할 수 있는 능력이 이에 해당한다. 이러한 지식은 교사가 자신의 문항과 채점 기준이 왜 적절한지를 설명하고 정당화하기 위한 중요한 기초가 된다. 현재 다수의 시·도교육청 연수에서 중점적으로 다루는 서·논술형 평가의 개념과 필요성, 문항 개발의 일반 원리, 채점 기준표 작성 절차와 우수 사례 등도 주로 이러한 선언적 지식을 형성하는 데 초점을 둔 내용이라고 볼 수 있다.

 

그러나 선언적 지식의 형성은 단순한 이해나 강의 수강만으로 충분히 이루어지지 않는다. 개념을 알고 설명할 수 있게 되기 위해서도 그것을 다양한 사례에 적용해 보고, 자신의 판단을 점검 받는 유의미한 반복 경험이 필요하기 때문이다. 예를 들어 타당도의 개념을 이해하는 것과 실제 문항을 보고 타당도를 판단하는 것은 다르며, 후자는 여러 사례를 반복적으로 분석하고 피드백을 받는 과정 속에서 점차 정교해진다. 그러나 대부분의 연수는 이러한 반복적 적용과 초점화된 피드백을 충분히 제공하지 못한 채 개념 설명에 머무르는 경향이 있다. 그 결과 교사는 선언적 지식을 “이해한 상태”로는 남기지만, 실제 판단 상황에서 활용할 수 있는 수준으로까지는 발전시키지 못하는 경우가 많다.

 

문제는 좋은 평가의 원리를 알고 설명할 수 있다는 사실이 곧 좋은 문항을 실제로 만들 수 있다는 뜻은 아니라는 사실이다. 교사는 자신의 교과에서 성취기준을 분석하고, 평가하려는 학생의 사고를 구체화하며, 그 사고가 드러날 수 있도록 자료와 발문을 구성해야 한다. 또한 예상 답안을 만들어보고, 학생이 보일 수 있는 다양한 반응과 오류를 예측하며, 실제 답안을 검토한 결과에 따라 채점 기준을 수정할 수 있어야 한다. 이처럼 어떤 과제를 실제로 “어떻게 수행하는가”에 관한 지식을 절차적 지식(procedural knowledge)이라고 한다. 선언적 지식이 좋은 평가가 무엇인지 아는 것이라면, 절차적 지식은 실제 조건 속에서 좋은 평가를 만들어내는 방법을 몸에 익힌 상태라고 할 수 있다. 현재 교육부와 시·도교육청이 주관하는 연수는 대체로 문항 개발의 절차를 설명하거나 단발성 실습을 제공하는 수준에 머물러 있어, 교사가 실제 문항을 반복적으로 설계하고 피드백과 수정을 거치며 절차적 지식을 형성하도록 충분히 지원하지 못하고 있다.

 

핵심은 절차적 지식 역시 반복적 수행과 피드백을 통해서만 형성된다는 점이다. 문항 개발의 절차를 이해하는 것과 실제로 문항을 설계하는 것은 전혀 다른 수준의 활동이며, 후자는 단 한 번의 실습으로는 거의 자동화되지 않는다. 교사가 “성취기준을 분석하고 평가 요소를 추출한 뒤 발문을 작성한다”는 순서를 기억하는 것만으로는 실제 상황에서 적절한 평가 요소를 선택하고 조정하는 판단을 수행하기 어렵다. 절차적 지식은 실제 문항을 설계해 보고, 그 결과를 검토 받고, 수정하는 과정을 여러 차례 반복하면서 점차 정교해지기 때문이다. 그러나 많은 연수는 이러한 반복적 설계–실행–피드백의 구조를 충분히 제공하지 못하고, 단발성 실습이나 모범 답안 제시에 머무르는 경우가 많다.

 

더 나아가 교사는 하나의 절차를 모든 문항에 기계적으로 적용하는 데 그쳐서는 안 된다. 평가 목적과 교과의 특성, 학생의 수준, 문항의 난이도와 예상 반응에 따라 어떤 원리와 절차를 선택하고 변형해야 하는지도 판단할 수 있어야 한다. 이를 조건적 지식(conditional knowledge)이라고 한다. 조건적 지식은 “어떤 방법을 언제, 왜 사용해야 하는가”에 관한 지식이다. 예를 들어 동일한 성취기준을 평가하더라도 학생에게 자료를 어느 정도 제공할 것인지, 사고 과정을 모두 쓰게 할 것인지 핵심 판단만 설명하게 할 것인지, 표현의 정확성과 개념적 이해를 각각 어느 정도 반영할 것인지는 교과와 평가 목적에 따라 달라질 수 있다.

 

조건적 지식 역시 반복적 상황 경험과 피드백 없이는 형성되기 어렵다. 다양한 평가 상황을 비교하고, 자신의 선택이 어떤 결과를 낳았는지 검토하며, 더 적절한 대안을 탐색하는 과정이 축적되어야 비로소 “왜 이 상황에서는 이 방식이 더 적절한가”를 판단할 수 있게 된다. 그러나 실제 연수에서는 이러한 비교 경험이 충분히 제공되지 않아, 교사가 원리를 상황에 맞게 전이하는 능력을 기르기 어려운 경우가 많다.

 

 

결론: ‘알게 하는 연수’에서 ‘할 수 있게 하는 연수’로

 

이 글의 출발점으로 다시 돌아가 보자. 서·논술형 평가 역량 강화 연수의 마지막 시간, 한 선생님은 자신이 작성한 문항과 채점 기준표를 바라보다가 노트북을 조용히 닫는다. 성취기준을 분석했고, 평가 요소를 선정했으며, 발문과 채점 기준도 완성했다. 그러나 막상 교실로 돌아가 새로운 성취기준과 학생들을 마주했을 때, 같은 과정을 다시 안정적으로 수행할 수 있을지에 대해서는 쉽게 확신하기 어렵다. 이는 개인의 역량 부족이라기보다, 연수에서 배운 절차와 실제 교실에서 요구되는 판단 사이에 여전히 큰 간극이 존재하기 때문이다. 이 선생님에게 필요한 것은 완성된 모범 답안을 한 번 더 설명해 주는 강의가 아니라, 그 원리를 실제 수행으로 옮길 수 있도록 돕는 반복적 연습과 충분한 피드백, 그리고 실패해도 다시 시도할 수 있는 환경이다.

 

현장의 교사들은 이미 과중한 수업과 행정 업무 속에서 평가를 설계하고, 학생의 수행을 해석하며, 다시 수업을 조정하는 일을 동시에 감당하고 있다. 서·논술형 평가는 학생의 사고를 드러내고 교사의 수업을 되돌아보게 하는 중요한 도구이지만, 그 의미가 실제로 구현되기 위해서는 교사 개인의 노력만으로는 충분하지 않다. 문항 형식의 변화나 평가 비율의 확대만으로는 평가의 질이 자동으로 향상되지 않는다. 평가의 질은 교사가 실제로 문항을 설계하고, 학생의 반응을 해석하며, 그 결과를 바탕으로 문항과 채점 기준을 수정해 나갈 수 있는 지속적인 실천 능력에서 비롯된다. 따라서 정책의 성패는 ‘얼마나 도입했는가’가 아니라 ‘교사가 실제로 수행할 수 있는 조건이 마련되었는가’에 의해 판단되어야 한다.

 

이를 위해 인지과제분석은 전문가의 판단 구조를 드러내는 데서 그치지 않고, 교사가 그것을 따라 해보고, 변형해 보고, 자신의 수업에 적용해 볼 수 있는 실천 도구로 전환되어야 한다. 연수 또한 일회성 설명 중심 구조를 넘어, 설계–적용–피드백–수정이 실제로 반복될 수 있는 구조로 재설계되어야 한다. 그러나 이러한 변화는 연수 내용의 개선만으로는 완성될 수 없다.

 

무엇보다 중요한 것은 교사가 수업과 평가를 연구할 수 있는 물리적·심리적 환경의 확보이다. 일정한 시간 속에서 동료 교사와 함께 문항을 검토하고, 학생의 답안을 분석하며, 시행착오를 공유할 수 있는 시간과 공간이 보장되어야 한다. 또한 평가 설계의 실패가 개인의 책임으로만 환원되지 않고, 함께 수정하고 개선할 수 있는 문화가 형성되어야 한다. 교사가 안심하고 자신의 수업을 드러내고, 다시 설계할 수 있을 때 비로소 ‘연수에서 배운 것’은 ‘교실에서 작동하는 것’이 된다.

 

교사의 확신은 정책의 선언이나 연수 이수 기록에서 생기지 않는다. 자신의 교과에서 문항을 설계하고, 학생의 답안을 검토하며, 동료와 함께 그 결과를 되짚고 수정해 본 경험 속에서 형성된다. 그리고 그 경험은 개인의 의지로만 만들어지지 않는다. 그것을 가능하게 하는 시간, 공간, 관계, 그리고 실패를 허용하는 구조가 함께 갖춰질 때 비로소 가능해진다.

 

따라서 서·논술형 평가 정책이 진정으로 교실에 뿌리내리기 위해서는 “얼마나 빨리, 얼마나 많이 도입할 것인가”보다 “교사가 실제로 할 수 있도록 무엇을 지원하고, 어떤 환경을 마련할 것인가”라는 질문이 먼저 놓여야 한다. 그 질문이 현실이 될 때, 연수는 교사에게 평가를 ‘알게 하는 과정’을 넘어, 교사가 자신의 교실에서 끝까지 책임 있게 ‘할 수 있게 되는 과정’으로 전환될 것이다.

 

※ 본 칼럼은 필자의 고유 의견이며 ‘교육을바꾸는사람들’의 공식 견해가 아닙니다.   ※ 필자의 저작권 보호를 위해, 기존의 PDF 파일을 제공하던 서비스를 중단합니다. 대신 아래의 ‘인쇄(Print)하기’ 클릭한 후, ‘Ctrl + P’를 누르시면 칼럼 내용을 인쇄할 수 있습니다.

🖨️ 인쇄(Print)하기

1. 강현석. (2026년7월3일). 문해력 대책으로 ‘100% 서·논술형 평가’?···전남광주교육청 도입 ‘논란’. 경향신문. https://www.khan.co.kr/article/202607030600041
2. 인지과제분석은 전문가가 복잡한 과제를 수행할 때 활용하는 명시적·암묵적 지식과 판단 전략을 체계적으로 추출하여 이를 교수 내용으로 전환하기 위한 방법이다(Clark et al., 2007). Clark 등(2007)은 인지과제분석을 전문가 수행의 “보이지 않는 인지 과정”을 드러내는 절차로 규정하며, 과제 수행에 필요한 지식 구조, 의사결정 규칙, 오류 회피 전략 등을 분석하여 교육 설계에 활용할 수 있음을 강조하였다. 이러한 연구 결과는 CTA가 그 자체로 교수 효과를 자동으로 보장하는 기법이라기보다, 복잡한 수행에 필요한 전문가의 지식과 판단을 보다 완전하게 밝혀 효과적인 연수와 교수 프로그램을 설계하도록 돕는 근거 기반 접근임을 시사한다.
   Clark, R. E., Feldon, D., vanMerrienboer, J., Yates, K., & Early, S. (2007). Cognitive Task Analysis. In Spector, J. M., Merrill, M. D., van Merriënboer, J. J. G., & Driscoll, M. P. (Eds.), Handbook of research on educational communications and technology (3rd ed.). Lawrence Erlbaum Associates.
3. 인지심리학 연구에 따르면 수행자가 자신의 인지 과정을 모두 직접 보고할 수 있는 것은 아니다. 수행과 동시에 이루어지는 사고 구술은 작업기억에서 현재 주의를 받고 있는 정보를 포착하는 데에는 비교적 신뢰할 수 있지만, 자동화되어 직접 주의되지 않는 과정은 언어 보고에서 누락될 수 있으며, 시간이 지난 뒤 이루어지는 사후 보고는 기억과 추론에 의해 재구성될 가능성이 있다.
   Ericsson, K. A., & Simon, H. A. (1980). Verbal reports as data. Psychological Review, 87(3), 215–251.
4. Clark, R. E., Feldon, D., vanMerrienboer, J., Yates, K., & Early, S. (2007). Cognitive Task Analysis. In Spector, J. M., Merrill, M. D., van Merriënboer, J. J. G., & Driscoll, M. P. (Eds.), Handbook of research on educational communications and technology (3rd ed.). Lawrence Erlbaum Associates.