[사설] 학업성취도 평가 결과를 활용하려 들기 전에 평가 자체의 타당성부터 따져야
| “개방 예정인 평가 데이터들은 정책 수립에 쓸 수 있을 만큼 타당할까? 이제까지의 내용을 보면, 회의하지 않을 수 없다. / 정부는 데이터를 정직하고 타당하게 생산하고 분석하는 과제부터 먼저 해결해야 할 것이다.” (본문 발췌) |
“고2 17% ‘수포자’”, “‘수학 포기’ 고등학생 6명 중 1명”, “고2 학생 17% 기초학력 미달”. 신문 기사 제목들이다. 같은 얘긴 듯 아닌 듯 아리송하다. ‘2023년 국가수준 학업성취도 평가’ 결과를 보도하면서 붙인 것들이다. 보도자료를 들춰보면, ‘고2 수학’ 과목에서 “1수준(기초미달) 비율”이 16.6%로 가장 높게 나와 있다. 언론이 주목한 부분이다.
제목들에는 또 이런 꼬리들도 붙어 있다. “역대 최고치”, “2017년 이후 최대”, “2017년 이후 최고 찍었다”. ‘미달’ 비율이 꾸준히 늘어왔다는 뜻이다. 결과를 발표한 교육부나 한국교육과정평가원은 정작 이런 변화를 애써 무시했다. “통계적으로 유의한 차이는 아님”이라는 이유에서이다. 교육부 차관은 “최근 몇 년간 지속되던 기초학력 미달 비율 증가 추이가 일부 완화되고 일부 과목은 성취 수준이 개선되어 교육개혁을 통한 긍정적 변화를 확인할 수 있었다”고 자평했다고, 보도자료는 적고 있다.
언론이 정부 의중과 다르게(‘자극적이게’) 발표를 전하는 것은 예삿일이다. ‘비판적’이어야 할 언론이 제 몫을 하는 모습이기도 하다. 그렇지만 이번 건에 대해서는 조금 다르게 볼 이유가 있다. 기사들이 여전히 어설프기는 하다. 그런데 언론이 제대로 보도했느냐 따지기 전에, 들여다보아야 할 문제가 있다. 보도자료 문제이다. 정부가 발표한 ‘평가 결과’부터 모호하다.
국가수준 학업성취도 평가는 매년 이루어진다. 시행해 온 지도 4반세기가 넘어가고 있다. 보도자료는 평가의 목적을 이렇게 적고 있다. “국가 수준의 학업성취 수준 파악 및 추이 분석을 통한 학교 교육의 성과 점검 및 교육정책 수립의 기초자료 확보.” 평가를 통해 매년 학교 교육이 목표를 얼마나 달성했는지, 그리고 해마다 나아지고 있는지 확인하고, 그런 토대 위에서 ‘증거 기반’의 정책을 펴겠다는 것이다.
한 달여 전에 교육부가 내놓은 “교육데이터 개방·활용 확대 방안”도 여기서 잠깐 떠올려보자. 이 방안에 따르면, ‘학업 성취도 데이터’는 ‘수능 데이터’와 함께 ‘개방·활용’의 1순위 대상이다. 개방이 기대된다. 데이터가 여러 연구자에게 주어진다면, 다양한 시각에서 더 정밀하게 분석될 수 있을 것이다. 더 실증적인 논의와 더 합리적인 정책을 기대할 수 있다. 그러나 개방 예정인 평가 데이터들은 정책 수립에 쓸 수 있을 만큼 타당할까? 이번 발표 내용이나 이전에 나온 평가 결과 보고서들을 보면, 회의하지 않을 수 없다.
모두(冒頭)의 얘기로 돌아가 보자. “1수준(기초미달) 비율”이 16.6%라는 결과는 무엇을 뜻하는가? 언론이 보도한 대로 ‘수학을 포기한 학생’들이 6명 중 1명이라는 뜻인가? ‘1수준’은 무엇이며 ‘기초미달’은 무슨 뜻인가? 보도자료의 ‘별첨’을 보면, 그것은 “교육과정 성취 기준을 이해하고 수행하기 위해서 많은 노력이 필요[한]” 수준이다. 학년을 마쳤을 때 도달해 있어야 할 교육과정상의 기준에 ‘많이’ 못 미친다고 판정할 만한 수준이란 뜻이리라. 이 수준에 들면 ‘수포자’인가? ‘2수준’ 이상에는 수포자가 없는가? “많은 노력이 필요한” 수준은 도대체 어떤 수준인가? 발표 내용만으로는 알 길 없다.
교육부도 한국교육과정평가원도 ‘수준’에 대해 명확하게 이야기하지 않는다. 4개(1~4) 수준을 구분하면서, ‘1수준’에 대해 본 것처럼, 매우 모호하게 정의하고 있을 뿐이다. “교육과정 성취 기준의” 어느 정도를 “이해하고 수행”하느냐를 평가하여 구분한다는데, 이때 ‘정도’가 “부분적”(2수준)이냐, “상당 부분”이냐(3수준), “거의 모든 부분”이냐(4수준)를 나눈다고 발표했다. 말하자면, “교육과정 성취 기준을 부분적으로 이해하고 수행”하는 ‘2수준’만 넘으면 ‘미달’이 아니다. ‘기초학력’에는 도달했다는 뜻이다. 과연 타당한 평가일까? 확신할 수 없다. 더 캐보는 사람도 없다. 언론도 확인 않는 듯하다. 잘 모르면서, 주변에서 얘기하는 대로, ‘수포자’네 ‘미달’이네 기사 쓰고 있는 듯하다.
국가수준 학업성취도 평가는 체계적이고 종합적으로 이루어져 왔다. 성취 수준 구분이 임의로 되어 왔을 리는 없다. 예년 평가 결과 보고서를 살펴보면 2019년에 기준 수정이 이루어진 것으로 확인된다. 이에 관한 ‘기술보고서’가 있다는 사실도 적혀 있다. 그런데 그 보고서는 찾아볼 수 없다. 매년 평가 결과를 발표하면서도 ‘수준’에 대해서는 늘 두루뭉술하게 넘긴다. 학업성취 ‘수준’을 확연하게 이해할 길이 없다. 왜 흐릿하게 놓아두는지 모르겠다. ‘일반 국민’에게는 너무 전문적인 이야기라 여겨서일지 모르겠다. 복잡하게 얘기했다가 괜히 소란만 불러오리라고 지레 걱정하는 것이다.
그렇다면 오만이다. ‘전문가’도 ‘일반 국민’ 안에 있다. 국가수준 학업성취도 평가처럼 중대한 국가사업이면, 그 결과는 명료하게 알려야 한다. 데이터 생산과 분석 과정도 투명하게 공개해 검증받아야 한다. 학교 교육 목표가 도달되고 있는지, 퇴보하지 않고 더 나아지고는 있는지 확인할 수 있어야 하는 마당에, 학력 미달이니 포기자니 하는 모호한 가십만 무성하게 방치해선 안 될 일이다. 그러다간 학교 교육 실패를 감추고 있는 게 아니냐는 의혹마저 살 수 있다.
초기(2006년)에 나온 기술보고서에 근거한다면(이 보고서는 온라인에서 찾아볼 수 있는데), 중학교 수학에서 2수준(‘기초학력’)은 원점수로 만점(70점)의 13.9% 이상 39.1% 미만을 획득한 경우이다. 100점 만점에 15점만 얻어도 미달이 아니라고 구획되었다는 말이다. 문항의 난도 구성에 따라 해석은 달라져야 할 테다. 그러나 기준선은 너무 낮다 여기게 된다. 수준별 구분 선을 긋기 위해 사전에 채택한 ‘일반적’(정성적) 정의에서도, ‘2수준’을 교과의 “기본 내용”의 “20% 이상 50% 미만”을 이해한 수준이라 했다. 20% 이상만 이해하게 가르쳐도 교과 교육 목표는 달성한 것으로 보았다는 뜻이다. 낙제점을 보통 40점이나 60점으로 잡아 왔던 우리 전통에 비추어 보면, 턱없이 후한 기준이다. 미달 수준을 낮게 잡아 ‘도달’ 비율을 높이고 있는 게 아니냐 의심받을 만하다.
국가수준 학업성취도 평가가 시행되어 온 지 오래지만, 아직도 그 결과를 발표하고 보도하며 논의하는 양상은 미숙하다. 이대로는 평가를 통해 학교 교육 성과를 점검한다는 목표가 공허하다. 평가 결과를 정책 수립 자료로 사용한다면, 더욱 말도 안 된다. 데이터를 더 개방하고 활용하며 ‘실증 기반’의 ‘과학적인’ 정책을 펴겠다는 교육부의 야심 찬 구상도 허무맹랑할 뿐이다. 정부는 데이터를 정직하고 타당하게 생산하고 분석하는 과제부터 먼저 해결해야 할 것이다.
<교육 제4의 길> 편집실에서는 논급이 필요하다고 여기는 사안에 대하여 적절한 형식으로 의견을 내고 있습니다.
현직 교사입니다. 수포자는 거의 없습니다. 수학을 하고싶은데 하지 못하는 아이들이 많을 뿐입니다. 아무리 수학을 못하는 아이들도 수학을 잘 하고 싶은 마음이 없는 아이들은 거의 없습니다. 이러한 측면에서 수포자라는 표현 자체가 이러한 아이들에게 폭력적인 네이밍입니다.
좋은 말씀 감사합니다! ‘수포자’라는 용어는 저희가 만든 한국 교육의 어두운 일면을 보여주고 있다고 생각합니다. 비록 저희가 언론이 표현한 용어를 그대로 인용한 것이긴 하지만, 선생님이 지적해 주신 비판적 식견을 드러내지 못한 부분에 대해서는 저희가 더욱 신경을 쓰도록 노력하겠습니다~