AI 시대에는 무엇을, 어떻게 평가해야 할까요?
| 최근 대학에서 발생한 AI를 활용한 부정행위 사례가 논란이 되었습니다. 이는 AI 시대의 평가가 변해야 함을 의미하며, 분산인지 이론은 여기에 중요한 관점을 제공합니다. |
Ⅰ. AI 커닝 사건이 던지는 질문
최근 서울대학교, 고려대학교, 연세대학교를 포함한 여러 대학에서 생성형 AI를 활용한 부정행위 사례가 잇따라 보고되고 있습니다(김혜민, 2025; 양유라, 2025). 학생들이 ChatGPT와 같은 생성형 AI를 수업에 적극적으로 활용하게 되면서 AI로 보고서를 작성하거나, 심지어 온라인 시험에서 문제 풀이를 AI에게 맡긴 뒤 거의 수정 없이 제출한 사건들이 잦아졌습니다(이한샘·유지원, 2024). 일부 대학은 학내망에서 ChatGPT 접속을 차단하거나, 특정 교과에서 AI 사용을 금지하고 있습니다. 그러나 이러한 조치는 긴급 처방일 뿐, AI가 일상 도구가 된 시대의 본질적 문제를 해결하지는 못합니다.
평가란 단순한 성취의 판정이 아니라 교육이 학습자에게 무엇을 중요하게 여기라고 요구하는 장치입니다. Boud와 Falchikov(2007)는 평가를 “학습자가 앞으로 어떤 능력을 갖추게 될지 규정하는 가장 강력한 메시지”라고 정의합니다. 결국 AI 시대의 평가 논의는 학생이 AI를 사용했는지 감시하는 문제를 넘어서, 변화된 도구 환경에서 교육이 지향해야 할 인간 역량과 학습의 본질을 재정의하는 문제와 연결됩니다.
이 질문은 더 이상 미룰 수 없는 시점에 와 있습니다. 왜냐하면 생성형 AI는 단순히 기존 평가 방법을 위협하는 기술이 아니라, 인간의 인지 활동과 도구가 얽혀 작동하는 방식 전체를 흔들고 있기 때문입니다. 바로 여기서 분산인지 이론(distributed cognition)이 중요한 관점을 제공합니다.
Ⅱ. 분산인지 이론과 AI 기반 학습환경
분산인지 이론은 인간의 사고가 두뇌 안에서만 일어나는 과정이 아니라, 외부 도구, 사람, 상징체계, 사회적 환경에 걸쳐 ‘분산’된다는 견해를 말합니다. Hutchins(1995)는 항해사들이 복잡한 항로를 계산할 때 머릿속 추론만으로 해결하는 것이 아니라 지도, 계산 도구, 타인과의 협력 등 다양한 인지 자원이 하나의 체계처럼 작동한다는 사실을 보여주었습니다. Salomon(1993)은 이러한 분산적 인지 환경이 학습자의 수행을 확장시키거나 축소시키는 방식이 있다고 분석했습니다.
AI는 분산인지 연구에서 말하는 ‘인지적 도구’ 중에서도 매우 높은 수준의 외부 자원에 해당합니다. 기존의 계산기나 사전이 단순 기능을 제공했다면, 생성형 AI는 요약, 추론, 글쓰기, 코딩 등 인간 내부의 인지 과정을 대리하거나 확장할 수 있는 인지적 파트너로 기능합니다. Pea(1993)는 이러한 도구를 “인지 보조물(cognitive amplifiers)”이라 정의하며, 외부 도구의 성능이 인간 사고의 범위를 획기적으로 변화시킬 수 있다고 설명한 바 있습니다. 이 관점에서 보면, 학생이 AI를 사용하는 상황은 단순히 부정행위를 했는지의 문제가 아니라, 학습자가 어떤 인지적 구조 속에서 과제를 수행하고 있는지의 문제입니다. 다시 말해 AI 사용 여부보다 중요한 것은, AI가 학습자의 사고를 어떤 방식으로 ‘대체’하거나 ‘확장’하거나 ‘재구성’하고 있는지입니다.
그렇다면 평가 체제 역시 분산인지 관점을 반영해 재설계되어야 합니다. 기존 평가가 인간 내부의 역량을 직접 측정하는 것을 전제로 했다면, 이제는 도구와 인간이 협업하는 인지 구조 전체를 어떻게 평가할 것인지 묻는 방향으로 변화해야 합니다.
Ⅲ. 분산인지 관점에서 바라본 AI 시대의 평가
생성형 AI는 학습자의 역량, 사고, 성취도 측정을 어렵게 만듭니다. 산출물이나 수행이 좋아졌다고 해서 학습자의 이해나 사고 과정이 깊어졌다고 단정할 수 없기 때문입니다. 왜냐하면 AI가 학습자의 인지를 ‘대체’했는지, 학습자의 사고를 ‘증폭’했는지, 혹은 AI가 주도하고 학습자가 수동적으로 따라갔는지 구분하기 어렵기 때문입니다.
Salomon(1993)은 인지 도구와의 상호작용에는 두 가지 차원이 존재한다고 했습니다. 하나는 도구를 사용함으로써 산출물 또는 수행의 질이 향상되는 effect-with이고 다른 하나는 도구 사용 경험이 쌓여 인간 자체의 인지구조가 발달하는 effect-of입니다. effect-with는 쉽게 말해, 학생이 AI와 함께 더 질 높은 글을 쓰고 코드를 작성하며, 그림을 그리는 것입니다. 반면, effect-of는 학생이 AI와 함께 글을 쓰고 코드를 작성하며 그림을 그리다 보니 혼자서도 글쓰기, 코드 작성, 그림 그리기를 잘 하게 되는 것입니다.
현재 AI 커닝 논란은 대부분 effect-with만을 보고 이루어집니다. 즉 “AI를 사용했기 때문에 산출물이 좋아졌다”는 사실만으로 부정행위를 판단하고 있습니다. 하지만 교육에서 더 중요한 것은 effect-of, 즉 “AI를 사용하면서 학습자의 인지 구조는 어떻게 변화했는가”입니다. 이 지점이 바로 AI 시대의 평가가 기존 평가와 분명하게 달라져야 하는 이유입니다. 수업에서 목적했던 것이 effect-with인 경우와 effect-of인 경우를 분리하여 평가를 설계해야 합니다.
Ⅳ. AI 활용 수업 목적에 따른 평가 설계
AI가 분산인지 체계의 중심 도구가 된 시대에는 모든 수업에서 동일한 평가 전략을 적용할 수 없습니다. 어떤 수업은 AI를 활용하지만 개념 이해, 논리적 글쓰기, 기초 역량과 같은 학습자의 기본적 사고 능력을 기르는 것을 목적으로 합니다. 반면 또 다른 수업은 AI를 포함한 외부 도구를 적극적으로 활용하여 산출물의 질을 높이고 실제 문제를 해결하는 것을 목표로 합니다. 이러한 차이는 분산인지 이론의 관점에서 보면 더욱 분명해지는데, 두 유형의 수업은 전혀 다른 인지 구조를 전제로 하기 때문에 평가 역시 같은 방식으로 설계될 수 없습니다.
기본 역량을 기르는 수업에서는 학습자 내부의 인지를 직접적으로 드러내는 평가가 필요합니다. AI가 대신 사고한 결과로 만들어진 산출물만으로는 학습자의 실제 이해 수준을 파악할 수 없기 때문입니다. 따라서 이 경우는 평가 시 AI를 활용하지 못하도록 하는 것이 적절합니다. AI를 활용하면 명백히 커닝 행위가 되는 것이므로 규제와 감시가 이루어져야 합니다. 이와 같은 수업 목적에서는 핵심 개념을 확인하는 평가, AI가 생성한 답안을 비판하게 하는 메타인지 평가, 문제 해결 과정을 서술하게 하는 수행 중심 평가와 같은 방식이 적절합니다. 이러한 평가 방식은 ‘도구 독립적 사고’를 지원하기 위한 전략이기도 합니다.
반면, 학습자가 AI를 활용해 산출물과 수행의 질을 높이는 것이 목표인 수업에서는 평가 시 AI를 활용할 수 있어야 합니다. 수업에서는 AI나 컴퓨터와 같은 분산인지 체계를 통합적으로 활용해 수행을 높이고 질 좋은 산출물을 만들도록 가르쳐 놓고 평가에서는 분산인지를 제약한다면 교수학습과 평가 간 모순이 발생하게 되는 것입니다. 또한, 위와 같은 수업 목적에서는 AI 사용 자체가 수업 목표에 포함되므로, AI 활용 능력을 평가 기준에 포함하는 것이 필요합니다. 이 경우에는 프롬프트를 구성하는 능력, AI가 생성한 답변을 검증하는 역량, 정보를 재구성하는 능력, 인간과 AI 사이의 역할을 적절히 분배하는 전략과 같은 요소들이 핵심 기준이 됩니다. 다시 말해 분산인지 체계에서 학습자가 “인간–도구 시스템 전체를 조절하는 능력”이 평가의 중심에 놓이게 되는 것입니다.
결국 교수자는 학습자의 사고를 평가의 중심에 둘 것인지, 혹은 학습자–AI 시스템이 만들어내는 수행을 중심에 둘 것인지를 명확히 정의해야 합니다. AI 시대 평가의 방향은 수업 목적에서 출발해야 하며, 이는 도구를 어떻게 사용할 것인가의 문제가 아니라 수업과 학습을 통해 무엇을 함양할 것인지에 대한 근본적 질문과 연결됩니다.
Ⅴ. AI 전환에 따른 평가 체제 전환
AI 시대의 평가는 단순히 AI를 사용하지 못하도록 규정하고 엄격히 감시한다고 해서 될 일이 아닙니다. 평가의 핵심은 AI와 같은 도구를 사용했는지의 유무가 아닌 학습자이며, 학습자의 사고가 어떻게 AI와 연결되고 작동했는지에 관심을 가져야 합니다(조영환 외, 2023). 이를 위해 분산인지 이론은 평가 설계에 다음과 같은 새로운 기준을 제안합니다.
첫째, 학습자의 인지 과정이 외부 도구와 어떤 구조적 관계를 이루는지 드러내야 합니다. Hollan과 동료들(2000)은 분산인지 연구에서 “행동을 만든 시스템의 전체적 구성”을 분석 대상으로 삼아야 한다고 주장했습니다. 마찬가지로, 학습자·도구·환경이 만든 전체 인지 구조를 대상으로 평가해야 합니다. 이를 위해 AI 사용 과정, 수정 기록, AI 응답 평가 과정 등을 함께 평가 자료로 요구할 수 있습니다.
둘째, 학습자의 사고 활동이 도구 사용 이후 어떻게 변화했는지 확인해야 합니다. 즉 AI의 도움을 받았더라도 학습자의 이해와 판단이 깊어졌는지, 아니면 단지 결과물만 개선되었는지 구분할 수 있어야 합니다. 이는 Salomon의 effect-of 관점과 직결됩니다.
셋째, AI를 활용할 때 학습자 스스로 도구의 한계를 인식하고 조절하는 능력이 중요한 평가 요소가 됩니다. 이는 Pea(1993)가 말한 ‘인지적 확장과 의존의 균형’을 가리키며, AI 시대의 핵심 역량이라 할 수 있습니다.
결국 AI 시대의 평가는 학습자가 ‘AI를 사용했는가’가 아니라, ‘AI와 어떻게 사고하고 학습했는가’를 평가해야 합니다. 이제 평가의 초점은 ‘산출물 중심 평가 → 인간-AI 협력의 인지 구조 평가’로 전환되고 있습니다. 이는 단순한 기술 도입이 아니라, 교수-학습-평가 체제의 변화를 의미합니다. 우리 교사들은 다음과 같은 질문을 스스로에게 던질 필요가 있습니다. “내 수업에서 학생들이 AI를 활용해 기르도록 목표하는 것은 무엇인가?” 그에 맞게 수업하고 그에 맞게 평가해야 합니다.
참고문헌
• 김혜민. (2025.11.12). 서울대서도 ‘AI 부정행위’ 적발… “재시험 예정”. 조선일보.
https://n.news.naver.com/article/023/0003940505.
• 양유라. (2025.11.12). 연·고대 이어 서울대까지···‘AI 커닝’에 대학 속수무책. 매경이코노미.
https://n.news.naver.com/article/024/0000101264.
• 이한샘, 유지원. (2024). 대학생의 생성형 AI 의 교육적 사용경험 및 인식 탐색: A 대학 사례를 중심으로. 한국콘텐츠학회논문지, 24(1), 428-437.
• 조영환, 이지은, 임규연, 정한호, 한인숙. (2023). 생성형 AI 와 함께하는 미래교육: 기계에서 협력 파트너로. 교육공학연구, 39, 1449-1478.
• Hollan, J., Hutchins, E., & Kirsh, D. (2000). Distributed cognition: Toward a new foundation for human-computer interaction research. ACM Transactions on Computer-Human Interaction, 7(2), 174–196.
• Hutchins, E. (1995). Cognition in the Wild. MIT Press.
• Pea, R. D. (1993). Practices of distributed intelligence and designs for education. In G. Salomon (Ed.), Distributed Cognitions: Psychological and Educational Considerations (pp. 47–87). Cambridge University Press.
• Salomon, G. (1993). Distributed Cognitions: Psychological and Educational Considerations. Cambridge University Press.
• Boud, D., & Falchikov, N. (2007). Rethinking Assessment in Higher Education. Routledge.
| ※ 본 칼럼은 필자의 고유 의견이며 ‘교육을바꾸는사람들’의 공식 견해가 아닙니다.
※ 필자의 저작권 보호를 위해, 기존의 PDF 파일을 제공하던 서비스를 중단합니다. 대신 아래의 ‘인쇄(Print)하기’ 클릭한 후, ‘Ctrl + P’를 누르시면 칼럼 내용을 인쇄할 수 있습니다. |
서울대학교 교육학과에서 교육공학전공으로 박사학위를 취득하고 동대학에서 교육공학과 학습과학을 가르치고 있습니다. 미래 사회의 AI는 지금보다 더욱 발전할 것입니다. 하지만, AI가 아무리 발전해도 인간을 대체하거나 인간이 AI에게 의존하기만 할 수는 없습니다. 학습자들은 AI와 공진화하는 흐름 속에서 AI와 협력하며 학습하는 방법을 배워야 합니다. 이를 위해, AI와 공존하는 학습을 연구합니다.
