교육을바꾸는사람들

Ⅰ. 역량 평가, 왜 지금 다시 물어야 하는가

2022 개정 교육과정은 자기관리, 지식정보처리, 협력적 소통, 창의적 사고, 공동체, 심미적 감성이라는 여섯 가지 핵심역량을 명시하고 있습니다. 역량이란 단순한 수행 능력의 획득을 넘어, 지식·기능·태도 및 가치를 통합적으로 동원하여 복잡한 요구에 대응하는 능력을 말합니다(OECD, 2019). 역량 중심 교육은 이제 선언을 넘어 실행의 단계에 접어들었습니다. 그런데 정작 이 역량들을 ‘어떻게 평가할 것인가’라는 질문에는 여전히 뚜렷한 답이 없습니다.

그동안 학생 역량을 측정하는 가장 일반적인 방법은 자기보고식 설문이었습니다(남궁지영 외, 2015; 백순근 외, 2017). “나는 학습 목표를 스스로 설정한다”, “나는 모둠 활동에 적극적으로 참여한다”와 같은 문항에 학생이 직접 응답하는 방식입니다. 이 방법은 편리하지만 한계가 분명합니다. 학생의 주관적 인식에 의존하기 때문에 사회적 바람직성 편향이 개입될 수 있고, 학생의 인식과 실제 수행 능력 간 괴리가 발생해 왜곡이 생길 수 있습니다. 무엇보다 특정 시점의 단편적 측정에 그치기 때문에 역량이 형성되고 변화하는 역동적 과정을 포착하기 어렵습니다.

한편, AI 교수학습 플랫폼이 교육 현장에 빠르게 도입되면서 새로운 가능성이 열리고 있습니다. AI 교수학습 플랫폼이란 AI 기술을 활용하여 학습자의 학습 활동을 지원하고, 학습 데이터를 수집·분석하여 개인화된 학습 경험을 제공하는 디지털 학습 환경을 의미합니다. AI 디지털교과서나 학습관리시스템(LMS)과 같은 통합형 플랫폼에서는 학습자의 로그인 패턴, 콘텐츠 접근 순서, 문제 풀이 시간, 동료와의 상호작용 빈도, 과제 제출 시점 등 다양한 학습 데이터가 초 단위로 수집되고 있습니다. 이 데이터들을 체계적으로 분석하면, 설문에 의존하지 않고도 학생의 역량을 실시간으로 진단하고 피드백을 제공할 수 있습니다. 이것이 바로 ‘학습분석(learning analytics)’이라는 접근입니다. 학습분석은 학습자와 학습활동, 학습 맥락에 대한 데이터를 수집·분석하여 학습과 학습 환경을 이해하고 최적화하는 것을 목표로 합니다(Siemens, 2013). 그렇다면 AI 교수학습 플랫폼에서 수집되는 데이터를 활용해 2022 개정 교육과정의 핵심역량을 측정하기 위한 구체적인 학습분석 지표에는 무엇이 있을까요? 서울대학교 학습과학연구소에서 수행한 최근 연구(이현웅 외, 2026)는 바로 이 질문에 답하고자 했습니다.

Ⅱ. 데이터로 역량을 평가한다는 것: 선행 연구의 성과와 한계

학습분석을 통한 학생 역량 평가는 이미 여러 연구에서 시도되어 왔습니다. Coursera 플랫폼에서 학습자의 강의 시청 여부와 과제 제출 여부를 기준으로 학습자 유형을 다섯 가지로 분류하고, 참여 패턴에 따라 학업성취도에 유의미한 차이가 있음을 밝힌 연구(Anderson et al., 2014)가 대표적입니다. 전자책 플랫폼에서 책갈피, 메모, 밑줄 등의 읽기 활동 데이터를 수집하여 자기조절학습 수준을 평가하고 피드백을 제공한 연구(Yang et al., 2025)도 있었습니다. 협력적 지식 구성 활동에서 동료 노트 읽기 빈도, 노트 작성 및 정교화 수준, 아이디어 연결 횟수 등의 상호작용 데이터를 분석해 학습자 간 사회적 연결성과 협업 기여도를 산출한 연구(Gutiérrez-Braojos et al., 2023)도 주목할 만합니다.

실제로 여러 선행 연구들은 학습분석의 효과를 입증하고 있습니다. Bodily와 동료들(2018)은 학습 목표 달성률, 퀴즈 성공 및 실패 횟수, 콘텐츠별 학습 시간 등의 지표를 통해 학습자의 몰입 수준과 학습 진행 상황을 파악할 수 있다고 제시했고, Saqr와 동료들(2018)은 학습자의 플랫폼 접속 시간대, 학습활동의 규칙성, 주간 학습 패턴 등 시간 관련 지표가 학업성취도를 예측하는 데 높은 설명력을 가지며 저성취 위험 학생을 조기에 식별하는 데 효과적임을 입증했습니다.

그러나 기존 연구들에는 공통적인 한계가 있었습니다. 대부분 자기조절학습, 협력 역량, 창의적 사고 등 단일한 개별 역량만을 평가했다는 점입니다. 예컨대, Lobo-Quintero(2025)는 AI 챗봇이 지원하는 온라인 협력 토론에서 발산적 사고를 측정했으나, 이는 창의적 사고 역량의 하위 역량인 발산적 사고력에 제한되었습니다. 마찬가지로, Conde와 동료들(2018)은 LMS 로그 데이터를 활용하여 역량을 평가하는 도구를 개발했으나 협력이라는 단일 역량만을 다루었습니다. 이처럼 AI 디지털교과서와 같은 통합형 플랫폼 환경에서 교육과정이 제시하는 핵심역량 전체를 종합적으로 측정하는 지표 체계는 아직 마련되지 않았습니다.

더불어, 대부분의 학습분석 시스템이 현장의 요구를 반영하지 못한 채 개발되어 실제 활용도가 낮다는 비판도 있었습니다(Tsai & Gasevic, 2017; Márquez et al., 2024). Topali와 동료들(2025)은 인간 중심 학습분석 설계에 관한 문헌 분석을 통해 교육 현장의 관점이 개발 과정에 충분히 반영되지 않았음을 지적했습니다. 즉, 교사들이 효과적으로 활용할 수 있으려면 이론적 타당성만으로는 부족하고, 현장의 맥락과 요구가 함께 반영되어야 합니다.

Ⅲ. 데이터 기반 역량평가를 위한 학습분석 지표는 어떻게 만들어졌는가

이러한 문제의식에서 출발한 본 연구는 2022 개정 교육과정의 6대 핵심역량을 종합적으로 측정할 수 있는 학습분석 지표를 개발하고 타당화했습니다. 2022 개정 교육과정은 자기관리, 지식정보처리, 협력적 소통, 창의적 사고, 공동체, 심미적 감성이라는 6대 핵심역량을 제시하고 있으며, 각 역량은 다시 세부 하위 역량으로 나뉩니다. 연구진은 기존의 역량 평가 연구들을 분석하여 각 핵심역량의 하위 역량을 도출했습니다.

자기관리 역량은 자신의 삶과 학습을 주도적으로 이끌어가는 능력으로, 성취 목표를 스스로 설정하는 ‘목표 설정’, 자신의 학습을 스스로 계획하고 실행하며 성찰하는 ‘주도적 실행’, 학습 중 발생하는 실패나 어려움에도 불구하고 꾸준히 노력을 계속하는 ‘노력 지속’으로 구성됩니다(성은모 외, 2016; 남궁지영 외, 2015). 지식정보처리 역량은 필요한 정보를 규명하고 적절한 전략으로 정보를 찾아 활용하는 ‘지식정보 수집·분석 능력’과 디지털 매체와 테크놀로지를 기능적으로 이해하고 활용하는 ‘정보통신기술 활용 능력’으로 나뉩니다(남궁지영 외, 2015). 협력적 소통 역량은 타인의 행동과 태도에 대해 너그럽고 수용적인 태도로 행동하는 ‘공감’, 구성원 간에 원만히 의사소통하는 ‘소통’, 공동체의 목표 달성을 위해 협력하는 태도를 갖고 행동하는 ‘협업’으로 구분됩니다(남궁지영 외, 2015). 창의적 사고 역량은 새롭고 유용한 것을 만들어내는 ‘독창적 유연성’, 새로운 아이디어를 다양하게 산출하는 ‘발산적 사고력’, 과제집착력과 자발성을 포함하는 ‘탐구심’, 개방적이고 독립적으로 사고하려는 ‘호기심 및 모험심’으로 구성됩니다(남궁지영 외, 2015). 공동체 역량은 공동체 구성원으로서 요구되는 가치와 태도를 수용하고 실천하는 ‘열린 마음’과 타인과 원만한 관계를 가지고 협업하고 상호작용하는 ‘참여 및 소속감’으로 설정되었습니다(백순근 외, 2017). 심미적 감성 역량은 독서를 즐기며 풍요로운 삶을 살아가는’독서 활동’, 음악·미술·스포츠 등 문화를 향유하고 개방적으로 수용하는 ‘예술 활동’과 ‘스포츠 활동’이라는 하위 역량을 포함합니다(남궁지영 외, 2015). 이렇게 도출된 총 18개의 하위 역량을 기준으로, 각 하위 역량을 AI 교수학습 플랫폼에서 수집 가능한 데이터로 측정할 수 있는 지표를 체계적으로 개발한 것입니다.

이때 핵심 목표는 두 가지였습니다. 하나는 개별 역량 중심의 단편적 접근을 넘어 핵심역량 전체를 아우르는 종합적 체계를 구축하는 것이었고, 다른 하나는 자기보고식 설문 중심의 전통적 평가 방식에서 벗어나 학습활동 로그 데이터, 학생 산출물 데이터, 교사 평가 데이터, 동료 평가 데이터 등 다양한 데이터 소스를 통합적으로 활용하는 것이었습니다.

연구 과정은 세 단계로 이루어졌습니다.

첫째, 문헌 분석을 통한 초기 지표 도출입니다. 연구진은 기존의 자기보고식 역량 평가 척도(남궁지영 외, 2015; 백순근 외, 2017)의 문항들을 분석하여 각 문항이 측정하고자 하는 핵심 행동을 추출한 뒤, 이 행동이 AI 교수학습 플랫폼에서 어떤 형태의 데이터로 포착될 수 있는지를 검토했습니다. 예를 들어, “필요할 때 손쉽게 찾을 수 있도록 자료를 정리해 둔다”라는 설문 문항은 ‘노트 필기 및 메모 활용’이라는 학습분석 지표로 변환되었습니다. 이 과정을 통해 6대 핵심역량의 18개 하위 역량에 대응하는 80개의 초기 지표가 도출되었습니다.

둘째, 전문가 타당화입니다. 교육측정·평가 전문가 4명과 학습분석 전문가 2명으로 구성된 전문가 패널이 각 지표의 타당성을 4점 리커트 척도로 검증했습니다. 전문가들은 역량 간 중복, 명칭의 모호성, 측정의 현실적 어려움을 주요 개선 사항으로 지적했습니다. 예컨대, ‘목표 수준의 적절성: 진단평가 대비’라는 지표에 대해 “목표를 높게 설정한 것이 부적절한가 의문이 들며, 너무 낮은 목표는 오히려 부적절할 수 있다”는 의견이 제시되어, 학습자가 설정한 목표 중 달성한 목표의 비율로 지표가 수정되었습니다. 전문가 타당화 과정을 거쳐 지표는 77개로 조정되었습니다.

셋째, 교사 대상 타당화입니다. 57명의 초·중등 현직 교사를 대상으로 각 지표의 타당도(“이 지표가 학생의 역량을 정확하게 측정할 수 있는가”)와 유용성(“수업 설계·실행·평가 과정에서 실제로 활용 가능한가”)을 4점 척도로 평정했습니다. 이 과정에서 타당도와 유용성 모두 절단점(0.75) 이하에 해당하는 6개 지표(‘학습자료 조회의 즉시성’, ‘늦은 시간 학습’, ‘게시판 댓글 및 대댓글 빈도’, ‘메시지 빈도’, ‘단어 간 이질성’, ‘아이디어 생성 속도’)가 최종 목록에서 제외되어, 최종적으로 71개의 학습분석 지표가 확정되었습니다.

Ⅳ. 데이터 기반 역량평가를 위한 학습분석 지표는 무엇인가

데이터 기반 역량평가를 위한 최종 학습분석 지표는 여섯 가지 핵심역량별로 다음과 같이 구성되었습니다.

자기관리 역량(19개 지표)은 목표 설정, 주도적 실행, 노력 지속이라는 세 가지 하위 역량으로 구성됩니다. 학생이 스스로 학습 목표를 설정했는지, 설정한 목표가 구체적이고 명확한지, 기한 내에 과제를 수행했는지, 피드백을 확인한 뒤 재학습으로 이어졌는지 등이 지표에 포함됩니다. 학생이 설정한 목표 수준과 진단평가 결과를 비교하면 자신의 수준을 정확히 파악하고 적절한 목표를 세우고 있는지를 파악할 수 있고, 학습 지속 시간이나 대시보드 확인 빈도를 통해 꾸준한 노력의 양상도 읽을 수 있습니다. 특히 목표 설정 여부 및 수준은 학습자의 메타인지 및 자기조절 학습 능력을 파악할 수 있는 지표로, 학생이 설정한 목표와 실제 달성률의 비교를 통해 교사의 교수 개입 전략을 조정하는 데 도움이 됩니다(Papamitsiou et al., 2016; Dülger et al., 2025).

지식정보처리 역량(9개 지표)은 지식정보 수집·분석 능력과 정보통신기술 활용 능력을 다룹니다. 수업 중 노트 필기나 메모 작성 횟수, 하이라이트 빈도, 오답노트 활용 비율 등은 학생이 정보를 능동적으로 수집하고 정리하는 능력을 보여주는 단서가 됩니다. 디지털 기반 학습 플랫폼에서 학습자가 생성한 책갈피, 메모, 밑줄 친 텍스트 등의 읽기 활동 데이터는 여러 자료를 효과적으로 탐색하고 관리하는 능력을 파악하는 데 활용될 수 있습니다(Yang et al., 2022). 과제와 검색 키워드 간의 관련성을 분석하면 검색의 정확도도 파악할 수 있으며, 디지털 학습도구의 활용 빈도나 저작권 기재 여부는 정보통신기술을 윤리적으로 활용하는 능력을 측정하는 데 기여합니다.

협력적 소통 역량(11개 지표)은 공감, 소통, 협업이라는 하위 역량으로 나뉩니다. 학습자들이 서로의 게시물에 ‘좋아요’를 눌러 공감을 표시한 횟수는 사회적 연결성과 참여도를 진단하여 동료와의 협력적 지식 구성 능력을 드러내는 중요한 지표로 활용될 수 있습니다(Tan et al., 2017; Gutiérrez-Braojos et al., 2023). 공감 표현이나 존중 표현의 사용 빈도, 게시글 답글 작성 빈도 등은 학생 간 소통의 양과 질을 보여줍니다. 모둠과제에서의 기여 분량, 동료평가 점수의 분산, 게시판 및 메시지 기능을 활용한 상호작용 양상에서 산출되는 협업 네트워크의 구조 등은 협업 역량을 다각도로 측정할 수 있는 지표입니다.

창의적 사고 역량(10개 지표)은 독창적 유연성, 발산적 사고력, 탐구심, 호기심 및 모험심을 포괄합니다. 특히 독창적 유연성은 맥락 의존적 성격이 강한 역량으로, 학생의 산출물은 수업의 맥락에 따라 달리 평가될 경향이 크기에(Fernandez-Fontecha, 2021), 교사의 질적 평가가 핵심 지표로 포함된 점이 주목할 만합니다. 탐구심을 측정하기 위해서는 하나의 과제를 해결하기 위해 지속적으로 집중한 시간, 질문 게시글 작성 빈도, 챗봇에게 교과내용에 대해 질문한 빈도 등이 활용되며, 고난도 문제 선택 빈도와 도전적 목표 설정 빈도는 호기심 및 모험심을 정량적으로 파악하는 근거가 됩니다.

공동체 역량(8개 지표)은 열린 마음과 참여·소속감으로 구성됩니다. 수용 표현의 사용 빈도, 반대 의견에 대한 응답 횟수, 학급 자치활동 참여 빈도와 기여도 등이 포함됩니다. 반대 관점에 대한 성찰적 고려는 열린 마음의 핵심 요소로 간주되므로(van Brussel et al., 2023), 반대 의견에 대한 응답 지표가 설정되었습니다. 학급 활동 게시판에서 다른 학생과 답글을 주고받으며 형성된 사회적 연결 정도, 즉 ‘학급활동의 중심성’ 지표는 학생이 공동체 안에서 어떤 역할을 하고 있는지를 네트워크 분석을 통해 드러냅니다(Han et al., 2021).

심미적 감성 역량(14개 지표)은 독서 활동, 예술 활동, 스포츠 활동이라는 하위 역량을 다룹니다. 디지털 서재에서의 도서 열람 수와 독서 완료율, 독서 시간과 규칙성, 예술 창작 도구 사용 시간, 스포츠 관련 자료 게시 빈도 등이 포함됩니다. 학습자가 디지털 자료를 얼마나 자주, 얼마나 오래, 연속적으로 읽었는지를 통해 읽기 몰입 수준을 예측할 수 있기 때문입니다(Wang et al., 2022). 다만 연구진도 인정하듯이 심미적 감성 역량은 양적 로그 데이터만으로 파악하기 가장 어려운 영역이며, 교사의 질적 판단과 보완적으로 활용되어야 합니다.

다음 <표>는 최종 확정된 71개 학습분석 지표의 전체 목록입니다.

<표> AI 교수학습 플랫폼 기반 학생 역량 평가를 위한 최종 학습분석 지표(71개)

Ⅴ. 현장 교사들은 무엇을 말했는가

이 연구의 특징 중 하나는 개발한 학습분석 지표에 대해 전문가 타당화에 그치지 않고 57명의 현직 교사가 직접 지표의 타당성과 유용성을 평가하고 개선 의견을 제시했다는 점입니다. 교사들은 학습 지속 시간이나 총 학습 시간처럼 플랫폼 접속 여부만으로 산출되는 지표가 실제 학습 몰입을 반영하지 못할 수 있다고 우려했습니다. 학생이 플랫폼에 접속해 있더라도 실제로는 집중하지 않을 수 있기 때문입니다. 이는 Kovanovic와 동료들(2015)이 시간 기반 학습분석 지표는 멀티태스킹이나 시스템 외부 활동의 경우 측정 정확성이 저하된다고 지적한 것과 맥을 같이 합니다. 또한 노트 필기 횟수, 하이라이트 빈도와 같은 정량적 지표보다는 텍스트 속에서 핵심 아이디어를 발견하고 요약하는 능력과 같은 질적 측면이 더 중요하다는 의견도 많았습니다.

협력적 소통 역량의 지표에 대해서는 흥미로운 지적이 있었습니다. ‘좋아요’ 클릭이나 댓글 수는 교실 내 학생들 사이의 인기도와 교우 관계에 영향을 받을 수 있다는 것입니다. 인기가 많은 학생의 글에 댓글이 집중되거나, 이미 ‘좋아요’를 많이 받은 게시글에 공감 표시가 몰리는 군중 효과가 실제 공감 능력의 측정을 왜곡할 수 있다는 우려였습니다. 교사들은 댓글의 질과 태도 등 질적 측면을 함께 고려함으로써 상호작용의 맥락과 진정성을 파악할 수 있어야 한다고 제안했습니다.

창의적 사고 역량에서는 ‘단어 간 이질성’이나 ‘아이디어 생성 속도’ 지표에 대해 회의적 의견이 제시되었습니다. 이질적인 단어의 사용이 깊은 고민의 결과가 아니라 무작위적 조합일 수 있고, 빠른 생성 속도가 유효하지 않은 아이디어의 양산에 그칠 수 있다는 것입니다. 교사들은 산출물의 수나 산출 시간, 산출물의 질 외에 과제를 수행하는 과정에서 나타나는 창의적 사고 역량을 측정하는 지표가 필요하다고 응답했습니다. 이러한 교사들의 의견은 타당도·유용성 평정에도 반영되어, 해당 지표들은 최종 목록에서 제외되었습니다.

공동체 역량에서는 ‘소외 학생과의 대화’ 지표가 교사나 학생에게 부담이 될 수 있다는 의견이 제시되었습니다. 소외 학생의 정의가 모호하며, 교사가 직접 소외 학생을 사전에 설정해야 하는 경우 부담이 따를 수 있다는 것입니다. 교사들은 학생들 간의 자발적 소통 여부를 파악하는 것이 적절할 수 있다고 제안했습니다.

Ⅵ. 데이터 기반 역량 평가, 어디를 향해야 하는가

이 연구의 결과는 데이터 기반 역량 평가의 가능성과 동시에 그 본질적 한계를 함께 드러냅니다. 연구 결과에 대한 논의를 세 가지로 정리할 수 있습니다.

첫째, 역량별로 학습분석 지표 개발의 난이도에 현저한 차이가 있었습니다. 자기관리 역량과 지식정보처리 역량은 목표 설정 여부, 기한 내 과제 수행, 노트 필기 빈도 등 플랫폼에서 직접 수집되는 로그 데이터와 비교적 명확하게 대응되어 지표 개발이 상대적으로 용이했습니다(Cerezo et al., 2020). 반면, 심미적 감성 역량과 공동체 역량은 학습자의 정서적 경험, 가치 판단, 사회적 맥락에 대한 해석을 포함하는 역량으로, 플랫폼 로그나 행동 빈도와 같은 관찰 가능한 데이터만으로는 역량의 핵심을 충분히 포착하기 어려운 것으로 나타났습니다. 이러한 어려움은 학습분석이 본질적으로 행동 데이터에 기반한다는 구조적 특성과 관련되며, 정의적·가치적 성격이 강한 역량일수록 정량화 과정에서 개념이 축소되거나 왜곡될 가능성이 크다는 점을 시사합니다(Cukurova et al., 2020).

둘째, 타당화 과정에서 시간 및 빈도 기반 지표의 해석적 한계가 반복적으로 지적되었습니다. 교사들은 학습 지속 시간이나 총 학습 시간과 같이 플랫폼 접속 여부만으로 산출되는 지표가 실제 학습 몰입을 반영하지 못할 수 있다는 우려를 표명했습니다. 학생이 플랫폼에 접속해 있더라도 다른 활동을 하거나 집중하지 않을 수 있으므로, 접속 시간 자체가 과대 산정될 가능성이 있다는 것입니다. 이는 Kovanovic와 동료들(2015)이 시간 기반 학습분석 지표는 학생들이 멀티태스킹이나 시스템 외부 활동에 참여하는 경우 측정의 정확성이 저하된다고 지적한 것과 일치합니다. Dawson과 Siemens(2014)도 존재 여부, 빈도, 소요 시간과 같은 정량적이고 표시하기 쉬운 지표들이 깊이 있는 학습이나 참여를 완전히 측정할 수 없다며, 표면적 분석을 넘어서는 학습분석 도구의 필요성을 강조한 바 있습니다. 이러한 문제로 인해 ‘학습자료 조회의 즉시성’이나 ‘늦은 시간 학습’과 같은 지표는 최종 지표에서 제외되었습니다. 특히 ‘늦은 시간 학습’의 경우, 학습자의 개인적 생활 패턴이나 가정환경에 따른 차이를 반영하지 못하며, 늦은 시간의 학습이 자기관리 역량의 부족을 의미하는지 오히려 성실한 학습 태도를 보여주는지 해석이 모호하다는 의견이 제시되었습니다.

셋째, 교사들이 상대적으로 유용하게 평가한 지표들은 교육적 해석이 명확하고 즉각적인 교수적 개입과 연결되는 특성을 보였습니다. ‘기한 내 과제 수행’, ‘과제의 독창성에 대한 교사 평가’, ‘독서 완료율’, ‘협업 기여도’ 등이 높은 평가를 받았는데, 이들 지표는 학습자의 행동을 직접적으로 반영하거나, 교사의 질적 판단이 포함되어 해석의 모호성이 적다는 공통점이 있습니다. 반면 간접적 추론이 필요하거나 다양한 해석이 가능한 지표들은 상대적으로 낮은 평가를 받았습니다. 이는 Ahmad와 동료들(2024)이 강조한 바와 같이, 학습분석 지표는 학습설계와 유기적으로 연결되어 교사에게 명확한 해석을 제공하고 즉시적인 개입을 안내해야 함을 보여줍니다. 결국 교사들은 데이터가 제공하는 정보의 양보다 해석의 명확성과 교수적 개입과의 연결 가능성을 더 중시한 것입니다.

이 연구가 제시하는 71개 학습분석 지표는 완성된 평가 도구라기보다는 데이터 기반 역량 평가를 위한 ‘기초 설계도’에 가깝습니다. 그리고 이 설계도는 다음과 같은 시사점을 제공합니다. 첫째, 학습분석 지표는 교사의 관찰과 판단을 대체하는 것이 아니라 보완하는 도구로 이해되어야 합니다. 연구 결과가 보여주듯, 정량적 지표만으로는 역량의 핵심을 온전히 포착하기 어렵습니다. 데이터는 교사가 포착하기 어려운 패턴을 드러내 주지만, 그 의미를 해석하고 교육적 개입으로 연결하는 것은 여전히 교사의 몫입니다. 학습분석 지표는 교사가 포착하기 어려운 데이터를 종합해 비교적 참신한 교육적 함의를 제공할 수 있다는 의의를 지니므로(Blikstein & Worsley, 2016), 새로운 양식의 데이터로서 맞춤형 교육 실현을 위한 보완적·대안적 정보원으로 활용하는 것이 바람직합니다. 이 지표들은 학생의 역량 수준에 대해 단정적인 판단을 내리는 도구가 아니라, 교사가 학생의 역량을 다각도로 파악할 수 있도록 풍부한 관찰 단서를 제공하는 보조적 지원 시스템으로 이해되어야 합니다(Banihashem et al., 2025). 둘째, 교사용 대시보드에 이 지표들을 시각화하여 제공함으로써 교사의 관찰과 데이터 기반의 정보를 상호보완적으로 활용할 수 있습니다. 이를 통해 개별 학습자의 역량 발달 현황을 보다 입체적으로 파악하고, 적시에 교수적 개입을 지원할 수 있습니다(van Kessel et al., 2025). 또한 학습자용 대시보드를 통해 학생 스스로 자신의 역량 발달 수준을 확인하고 학습 전략을 조정하는 성찰의 도구로 활용할 수 있으며, 이를 통해 학습자 주도의 역량 개발을 촉진할 수 있습니다(Divjak et al., 2023). 셋째, 학교 또는 지역 단위에서 수집된 역량 데이터를 분석함으로써 특정 역량이 취약한 학교나 지역을 식별하고 이에 기반한 자원 배분 및 지원 정책을 수립하는 데 활용될 수 있습니다. 2022 개정 교육과정이 추구하는 역량 중심 교육의 실현을 위해서는 객관적이고 체계적인 역량 평가 도구가 필수적인데, 이 연구에서 개발한 지표들은 데이터 기반 역량 평가 도구 개발을 위한 기초 자료로 활용될 수 있습니다. 특히 본 연구에서 개발한 학습분석 지표를 AI 디지털교과서와 같은 교육 정책과 연계한다면 데이터 기반 교육의 실천을 위한 핵심 요소로 기능할 수 있을 것입니다.

물론 이 연구에는 몇 가지 제한점이 존재하며, 이는 후속 연구의 방향을 가리키기도 합니다. 첫째, 본 연구에서 개발한 지표는 교과나 학년, 사용 플랫폼에 따라 적용 가능성이 달라질 수 있습니다. 교육과정에 제시된 핵심역량을 평가하기 위한 범교과적 지표를 개발했으나, 개별 교과마다 추구하는 역량이 다르고 이를 평가하기 위해 요구되는 지표도 상이할 수 있습니다. 향후 연구에서는 교과별, 학년별 맥락에 맞는 지표의 선별과 적용 방안이 함께 모색될 필요가 있습니다. 둘째, 현재 AI 교수학습 플랫폼 간 수집 가능한 데이터의 스펙이 표준화되어 있지 않습니다. 동일한 지표라 하더라도 플랫폼에 따라 데이터의 정의, 수집 범위, 산출 방식이 상이할 수 있으며, 이러한 비표준화는 지표의 일관된 적용과 보급을 저해하는 요인으로 작용할 수 있습니다. AI 디지털교과서의 활용을 준비하고 있는 지금, 플랫폼에서 수집되는 학습 데이터 표준화 방안이 함께 모색될 필요가 있습니다. 셋째, 개발된 지표에는 AI 챗봇 질문 빈도와 같이 AI 기능과 연계된 지표가 포함되어 있으나, 자연어 처리 기반 텍스트 분석, AI 챗봇과의 상호작용 패턴 등 AI 플랫폼 고유의 데이터를 보다 활용할 필요가 있습니다. 예컨대, 학생이 AI 챗봇에게 어떤 유형의 질문을 하는지, AI가 생성한 답변을 어떻게 검증하고 재구성하는지 등은 AI 시대에 요구되는 새로운 역량을 측정할 수 있는 중요한 데이터가 될 수 있습니다.

AI 교수학습 플랫폼 시대에 우리가 던져야 할 질문은 “학생에게서 어떤 데이터를 수집할 수 있는가”가 아니라 “어떤 데이터가 학생의 역량을 의미 있게 드러내는가”입니다. 그리고 그 의미는 데이터 자체에 내재하는 것이 아니라, 교사가 교육적 맥락 속에서 해석할 때 비로소 생겨납니다. 데이터와 교사의 전문성이 만나는 지점, 바로 거기에서 역량 평가의 새로운 가능성이 열릴 것입니다.

참고 문헌

• 교육부 (2022). 2022 개정 교육과정.
• 남궁지영, 김양분, 박경호, 정동철, 박현정 (2015). KEDI 학생역량 조사 연구: 조사 도구 개발 및 타당화. 한국교육개발원.
• 백순근, 윤승혜, 신안나, 손주영, 김연경 (2017). 고등학생용 여섯 가지 핵심역량 측정도구 개발 및 타당화 연구. 교육평가연구, 30(3), 363-395.
• 성은모, 진성희, 김균희 (2016). 청소년 생애학습역량 측정 도구 개발 및 타당화 연구. 한국청소년연구, 27(3), 219-256.
• 이현웅, 이정찬, 사운서, 박현정, 조영환 (2026). AI 교수학습 플랫폼 기반 학생 역량 평가를 위한 학습분석 지표 개발 연구. 교육정보미디어연구, 32(1), 349-383.
• Ahmad, A., Schneider, J., Griffiths, D., Biedermann, D., Schiffner, D., Greller, W., & Drachsler, H. (2024). Connecting the dots–A literature review on learning analytics indicators from a learning design perspective. Journal of Computer Assisted Learning, 40(6), 2432-2470.
• Anderson, A., Huttenlocher, D., Kleinberg, J., & Leskovec, J. (2014). Engaging with massive online courses. In Proceedings of the 23rd International Conference on World Wide Web (pp. 687-698). ACM.
• Banihashem, S. K., Gašević, D., & Noroozi, O. (2025). A critical review of using learning analytics for formative assessment: Progress, pitfalls and path forward. Journal of Computer Assisted Learning, 41, e70056.
• Blikstein, P., & Worsley, M. (2016). Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks. Journal of Learning Analytics, 3(2), 220-238.
• Bodily, R., Ikahihifo, T. K., Mackley, B., & Graham, C. R. (2018). The design, development, and implementation of student-facing learning analytics dashboards. Journal of Computing in Higher Education, 30(3), 572-598.
• Cerezo, R., Bogarín, A., Esteban, M., & Romero, C. (2020). Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education, 32(1), 74-88.
• Conde, M. A., Colomo-Palacios, R., García-Peñalvo, F. J., & Larrucea, X. (2018). Teamwork assessment in the educational web of data: A learning analytics approach towards ISO 10018. Telematics and Informatics, 35(3), 551-563.
• Cukurova, M., Giannakos, M., & Martinez-Maldonado, R. (2020). The promise and challenges of multimodal learning analytics. British Journal of Educational Technology, 51(5), 1441-1449.
• Dawson, S., & Siemens, G. (2014). Analytics to literacies: The development of a learning analytics framework for multiliteracies assessment. International Review of Research in Open and Distributed Learning, 15(4), 284-305.
• Divjak, B., Svetec, B., Horvat, D., & Kadoić, N. (2023). Assessment validity and learning analytics as prerequisites for ensuring student-centred learning design. British Journal of Educational Technology, 54(1), 313-334.
• Dülger, M., van Leeuwen, A., Janssen, J., & Kester, L. (2025). Designing a classroom-level teacher dashboard to foster primary school teachers’ direct instruction of self-regulated learning strategies. Education and Information Technologies, 1-35.
• Fernandez-Fontecha, A. (2021). The role of learner creativity in L2 semantic fluency: An exploratory study. System, 103, 102658.
• Gutiérrez-Braojos, C., Rodríguez-Domínguez, C., Daniela, L., & Carranza-García, F. (2023). An analytical dashboard of collaborative activities for the knowledge building. Technology, Knowledge and Learning, 1-27.
• Han, J., Kim, K. H., Rhee, W., & Cho, Y. H. (2021). Learning analytics dashboards for adaptive support in face-to-face collaborative argumentation. Computers & Education, 163, 104041.
• Kovanovic, V., Gašević, D., Dawson, S., Joksimovic, S., & Baker, R. (2015). Does time-on-task estimation matter? Implications on validity of learning analytics findings. Journal of Learning Analytics, 2(3), 81-110.
• Lobo-Quintero, R. (2025). AI-Enhanced Think-Pair-Share: A learning analytics approach to foster linguistic creative thinking and collaborative learning. Journal of Learning Analytics, 12(2), 19-34.
• Márquez, L., Henríquez, V., Chevreux, H., Scheihing, E., & Guerra, J. (2024). Adoption of learning analytics in higher education institutions: A systematic literature review. British Journal of Educational Technology, 55(2), 439-459.
• OECD (2019). An OECD learning framework 2030. In The future of education and labor (pp. 23-35). Springer International Publishing.
• Papamitsiou, Z., Karapistoli, E., & Economides, A. (2016). Applying classification techniques on temporal trace data for shaping student behavior models. Proceedings of the Sixth International Conference on Learning Analytics & Knowledge, 299-303.
• Saqr, M., Nouri, J., & Fors, U. (2018). Temporality matters: A learning analytics study of the patterns of interactions and its relation to performance. In EDULEARN18 Proceedings (pp. 5386-5393). IATED.
• Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400.
• Tan, J. P. L., Koh, E., Jonathan, C., & Yang, S. (2017). Learner dashboards a double-edged sword? Students’ sense-making of a collaborative critical reading and learning analytics environment for fostering 21st-century literacies. Journal of Learning Analytics, 4(1), 117-140.
• Topali, P., Ortega-Arranz, A., Rodríguez-Triana, M. J., Er, E., Khalil, M., & Akçapınar, G. (2025). Designing human-centered learning analytics and artificial intelligence in education solutions: A systematic literature review. Behaviour & Information Technology, 44(5), 1071-1098.
• Tsai, Y. S., & Gasevic, D. (2017). Learning analytics in higher education—challenges and policies: A review of eight learning analytics policies. Proceedings of the Seventh International Learning Analytics & Knowledge Conference, 233-242.
• van Brussel, S., Timmermans, M., Verkoeijen, P., & Paas, F. (2023). Comparing instructional strategies to support student teachers’ learning to prepare an open-minded citizenship education lesson. Instructional Science, 51(3), 451-473.
• van Kessel, M., Molenaar, I., Knoop-van Campen, C. A. N., de Jonge, M., & Saab, N. (2025). Primary school teacher perspectives on effective dashboard use in the classroom: Skills, knowledge, and contextual conditions. Journal of Learning Analytics, 12(2), 279-292.
• Wang, X. W., Zhu, Y. J., & Zhang, Y. C. (2022). An empirical study of college students’ reading engagement on academic achievement. Frontiers in Psychology, 13, 1025754.
• Yang, C. C., Wu, J. Y., & Ogata, H. (2025). Learning analytics dashboard-based self-regulated learning approach for enhancing students’ e-book-based blended learning. Education and Information Technologies, 30(1), 35-56.
• Yang, Y., Majumdar, R., Li, H., Flanagan, B., & Ogata, H. (2022). Design of a learning dashboard to enhance reading outcomes and self-directed learning behaviors in out-of-class extensive reading. Interactive Learning Environments, 32(3), 892-909.

🖨️ 인쇄(Print)하기