교육을바꾸는사람들

이번 수능 출제 오류를 복수정답 처리 함으로써 이로 인해 손해 본 학생들, 이익을 본 학생들이 생겼다. 마치 로또를 방불케 한다. 수능은 누가 상위권 대학에 들어가는가를 결정하는 데 쓰이는 매우 중요한 전형자료의 하나다. 이런 시험에 2년 연속 사고가 나자 급기야는 대통령까지 나서서 출제방식 재검토를 지시하기에 이르렀다. 이어서 각 언론들은 밀실 단기간 출제부터 EBS 연계, 출제진 구성상의 문제까지 다양한 원인분석과 대안적 아이디어를 쏟아냈다. 그러나 냉정할 필요가 있다. 너무나 다양한 곳에서 다양한 의견을 쏟아내서 내심 걱정도 된다. 문제의 본질을 제대로 보고 해결책을 내야 한다.

문제의 해결은 두 가지로 나눠 생각할 필요가 있다. 하나는 당장 내년 수능에서 출제 오류가 나지 않을 수 있는 확실한 방안을 마련하는 것이고, 다른 하나는 등급제 개선이나 자격고사화 등 수능체제를 근본적으로 재검토하는 일이다. 이번 칼럼에서는 전자에 대해 새로운 대안을 하나 제안하고자 한다. 출제 오류를 막기 위한 최선의 방법은 현재의 출제와 검토 프로세스를 획기적으로 혁신하는 일이다. 수능 출제 및 검토 프로세스 혁신을 위해서 다음 10가지 사항을 제시한다.

첫째, 출제에 필수적으로 필요한 프로세스를 정의한다.

예를 들면 주요 프로세스로 아래와 같은 것들이 존재할 것이다.

– 출제자 및 검토자 선정 프로세스
– 사전 교육 프로세스
– 의사소통 및 의사결정 프로세스
– 출제 프로세스
– 검토 프로세스

둘째, 출제와 검토의 각 프로세스에 소요되는 시간이 얼마인지를 측정한다.

수능 출제경험이 있는 교수, 교사의 경험을 들어보면 시간 압박을 많이 받는다고 한다. 이게 문제다. 이번 사고도 시간의 압박 때문에 결국 검토를 제대로 하지 못해서 일어났을 가능성이 높다. 그렇다고 시간을 충분히 가지면 출제 오류를 막을 수 있는가? 도움은 되겠지만 그것은 필요조건의 하나일 뿐이다. 우선 출제와 검토의 오류를 막을 수 있는 질높은 프로세스를 먼저 개발해야 한다. 그리고 각 단계별로 소요되는 시간을 산정한다. 가령 출제와 검토의 총 과정이 약 30단계라고 한다면 총 얼마의 시간이 소요되는지 대략 계산이 가능할 것이다. 필자의 과거 30년 출판 경험을 되돌아보면 출제오류나 오탈자가 발생하는 것은 사고를 막을 프로세스가 없거나 질이 낮은 경우, 또 질높은 프로세스가 있더라도 시간의 압받 때문에 제대로 지키지 않은 것이 화근이 되었다. 그동안 평가원에서도 프로세스를 가지고 있었을 것이다. 하지만 그 프로세스가 얼마나 정교하고 잘 지켜졌는가는 뒤돌아 볼 필요가 있다.

셋째, 시간 배정 관련 프로세스를 혁신할 때 <감소, 제거, 증가, 추가>란 프레임을 사용하면 효과적이다.

기존의 출제 및 검토 프로세스에 소요되는 시간이 합리적으로 배정됐는가를 점검해야 한다. 어떤 과정은 생략하거나 배정된 시간을 줄이고 어떤 과정은 늘릴지를 결정해야 한다. 이때 <감소, 제거, 증가, 추가>란 프레임을 사용하면 효과적이다. 구체적인 내용은 다음과 같다.

•  감소 = 현재 배정된 시간을 줄이는 것,
•  제거 = 당연하게 있어야 한다고 여겼지만 없애도 될 것,
•  증가 = 현재 배정된 시간을 증가시키는 것,
•  추가 = 지금까지 없던 과정을 추가하는 것

이는 <블루오션>이란 책에서 말하는 4가지 액션 프레임워크를 응용한 아이디어다. 이런 프로세스를 동원한다면 EBS 70% 반영 제도를 없애는 것이 1순위가 될 수도 있다. EBS 교재으 문제의 질이 낮다면 그럼에도 불구하고 출제자는 여기서 70%를 연계해서 출제를 해야 한다. 바로 이런 과정이 출제 오류의 가능성을 높일 개연성이 있다. EBS연계 출제는 이런 점을 떠나서 무조건 중단되어야 한다. 이는 교육적 가치나 교육과정의 위상보다 사교육 완화 가치를 더 우위에 두는 발상이다. 이는 있을 수 없는 일이다. EBS 70% 반영이란 제도를 없애는 일은 위 4가지 프레임 중 ‘제거’에 해당되는 대표적인 예다.

넷째, 출제의 전 과정을 ‘전체와 부분’ 등으로 나누어 한 번에 한 가지 요소만 집중 검토한다.

전체와 부분, 혹은 내용과 형식을 각각 나누어 검토하지 않으면 오류의 발견에는 한계가 있다. 뇌과학에 의하면 인간의 주의력은 동시에 두 가지에 주의를 집중할 수 없기 때문이다. 주의력을 두세 가지로 분산하면 어느 한 가지에도 제대로 집중하지 못한다. 30년간 저술과 출판을 통해 터득한 필자의 경험에 의해도 그렇다. 따라서 아래와 같은 프로세스와 단계로 나누고 한 번에 한 단계씩 검토를 하면 오류를 발견하지 못할 가능성은 매우 희박해진다. 예를 들면 아래와 같은 프로세스를 두고 각 프로세스를 내의 각 단계를 검토할 때는 그 단계에 관계있는 것에만 주의력을 100% 집중해서 검토를 하는 방식이다.

1) 전체(혹은 지문)에 해당되는 요소를 검토하는 프로세스
• 단계1 = 내용의 적합성(다루는 내용이 교육과정을 벗어나지 않는가?; 청소년에게 적합한 내용인가?)
• 단계2 = 주제별 균형(지문의 주제가 어느 한쪽으로 치우치지 않는가?)
• 단계3 = 성별 균형(여성 혹은 남성에게 더 유리하지 않은가?)
• 단계4 = 논리적 흐름(짜깁기를 통해 논리적 흐름이 부자연스럽지 않은가?; 내용에 통일성이 있는가?)
• 단계5 = 기출여부(기출문제와 너무 유사하거나 시중 참고서에 있는 것인가?)
• 단계6 = 가치, 이념 등(특정 가치나 이념에 치우친 내용은 없는가?)
• 단계7 = 지문 난이도(목표하는 체감 난이도와 분석적 난이도는 적절한가?)
• 단계8 = 배경지식(특정 학교 출신에게 더 유리한 내용은 아닌가?)
• 단계9 = 내용의 정확성(시대에 뒤떨어지거나 틀린 내용을 포함하고 있지 않은가?)
• 단계10 = 공정성(지시문의 길이, 문장의 길이 등이 난독증이 있는 아동이나 작업기억 용량이 작은 아동을 어느 정도 배려하고 있는가?)

2) 부분(혹은 답지)에 해당되는 요소를 검토하는 프로세스
• 단계1 = 정답의 질 확인(질문의 내용과 정답이 일치하는가?)
• 단계2 = 오답의 매력도(오답의 매력도는 유지하면서 정답시비를 일으킬 우려는 없는가?)
• 단계3 = 용어 사용의 정확성(정확한 용어가 사용되었는가?: 용어가 중의로 해석될 여지는 없는 것인가?)
• 단계4 = 답지의 형식(답지의 문법적 형식이나 구조가 동일한가?)
• 단계5 = 답지의 길이(답지의 길이가 적절하고 비교적 동일한가?)
• 단계6 = 답지 의미의 명확성(답지의 문법적 형태와 길이를 무리하게 맞추기 위해 답지 의미의 모호성이 증가하지 않았는가?)
• 단계7 = 지시문(지시문이 너무 간명하여 내용의 이해가 어렵지 않은가?)
• 단계8 = 교정·교열(오탈자는 없는가?; 구두점은 제대로 사용하였는가?)
• 단계9 = 주석달기(고교 범위를 넘는 단어 중에 주석을 달 대상은 없는가?)
• 단계10 = 정답 배열(정답 배열이 전체적으로 잘 분산되어 있는가?)

3) 전체와 부분을 통합적으로 검토하는 프로세스
• 단계1 = 문제의 완전성(지문으로부터 의도한 정답을 도출하는 데 논리적 타당성이 충분한가?)
• 단계2 = 문제풀이 결과의 일관성(출제에 참여하지 않았던 교사나 (대)학생 다수에게 풀어보게 했을 때 정답, 오답의 시비가 일지 않고 일관된 답이 나오는가?)
• 단계3 = 원어민 확인(최소한 3명 이상의 자질있는 원어민이 충실히 검토해도 이견이 없는가?)

다섯째, 의사결정 프로세스를 혁신한다.

이번 출제 오류의 경우엔 문제제기를 했는데도 이를 최종 의사결정 책임자가 받아들이지 않았다는 소문이 돌기도 했다. 혹시 이것이 사실이라면 아래와 같이 의사결정 원칙을 바꾸어야 할 것이다.

• 민주적 의사결정의 과정을 도입하되 쟁점이 되는 부분은 누가 결정할 것인가? 직책이 높은 사람이 결정하게 하기보다는 지문 같은 것은 검토교사의 의견을 우선적으로 존중해주거나 다수결의 원칙을 따른다. 그러나 문제의 정답과 오답에 대해 이견이 있다면 이는 문제 자체의 교체를 적극 검토한다.

여섯째, 성찰 프로세스를 도입한다.

출제자와 검토자 모두 성찰의 시간을 가질 때 오류를 예방할 수 있다.

• 성찰의 시간을 갖게 한다. 출제와 검토라는 과정을 이행한 후 한 시간 뒤 혹은 그 다음날 자신의 판단에 문제가 없었는지 되돌아보는 시간을 갖는다. 인간의 뇌는 자주 잘못된 정보를 끌어와 판단을 내리는 경우가 있다. 몇 시간 후 혹은 며칠 후 다시 생각해보면 판단이 달라지는 경우가 종종 있기 때문이다.

일곱째, 출제자 및 검토자 선정 프로세스를 혁신한다.

적임자를 선정하고 선정된 적임자를 1차 강점별로 배치하고 나중에 교차 검토하는 과정을 둔다.

• 출제와 검토에 경험이 많고 적성이 높은 사람을 선정한다.
• 출제와 검토 위원이 선정되면 전체(whole)에 해당되는 것에 더 잘 집중하는 사람, 부분(part)에 더 잘 집중하는 사람들로 나누어 역할을 맡긴다.
• 인문과학, 사회과학적 소양과 감수성을 갖춘 사람들을 균형을 갖추어 배치한다. 원어민 선정도 예외가 아니다.

여덟째, 각 단계별로 적정 수의 인원을 배치한다.

인원수가 무조건 많다고 좋은 것도 아니다. 제대로 된 프로세스를 밟기에 충분하면 된다. 이는 그동안의 경험에 의해 어렵지 않게 산출할 수 있을 것이다.

아홉째, 오류 패턴을 관리한다.

출제 및 검토의 각 과정에서 초기 검토단계부터 최종 검토단계까지 나타나는 오류의 종류는 매우 많을 것이다. 이를 매년 계속 축적해 가자는 것이다. 그러면 가장 오류가 빈번히 나타나는 패턴도 확인될 것이다. 출제와 교정, 교열도 경험이 많은 사람이 훨씬 더 잘 한다. 과거 20년치의 오류 패턴을 사전에 학습하고 검토를 하면 검토 지능이 30점은 높아질 것이다. 평가원에 이런 오류 데이터가 관리되고 있는지 모르겠다.

열째, 출제문제 풀이 확인 프로세스를 혁신한다.

출제와 검토의 모든 과정이 끝났을 때 실제 이 문제를 최소한 20-50명 이상이 풀어보게 할 필요가 있다. 출제자나 검토자는 이때 제외되어야 한다. 이미 문제에 익숙해져 있기 때문에 오류를 발견하는데 어려움이 있을 수 있다. 하지만 생략해서는 안 되는 프로세스다.

이상과 같이 출제와 검토 프로세스를 혁신하고 이를 잘 따랐는데도 오류가 나는 것은 인간의 한계를 넘는 것일 수 있다. 이때는 받아들여야 한다. 하지만 이상의 프로세스만 잘 밟으면 그리 걱정하지 않아도 될 것이다.

미국이 최근 일부 주부터 실행에 들어간 차세대 평가나 PISA 2015의 평가처럼 역량까지 평가할 수 있고, 문항반응이론을 적용한 개별화 평가의 시대를 열어야 한다. 평가기술은 날로 발전하는데 아직 지필고사에만 매몰되어 있는 한국적 참 안타깝다. 평가원은 평가 비전을 만들고 예산을 확보해 즉시 평가 혁신에 착수해야 할 것이다.

🖨️ 인쇄(Print)하기