본문 음성으로 듣기 중지 멈춤 이어듣기

서술형 평가와 AI 채점, 기술보다 먼저 물어야 할 것

시험지를 디지털로 바꾸고, 채점 과정을 전산화하면 더 정확하고 공정해질 것이라고 생각하기 쉽습니다. 채점자의 주관을 줄이고, 지역과 학교에 따른 편차도 줄일 수 있습니다. 여기에 인공지능까지 더해진다면 수많은 서술형 답안을 빠르게 처리할 수도 있습니다.

바로 이런 기대를 안고 국가 단위 시험 채점의 전면 디지털화에 나섰다가 심각한 혼란에 빠진 나라가 있습니다. 포르투갈입니다.

지난 7월 말 영국 《가디언(The Guardian)이 전한 포르투갈의 상황은 단순한 시스템 오류 사례가 아닙니다. 국가가 운영하는 평가에서 기술적 오류가 발생했을 때 그것이 얼마나 빠르게 교육의 공정성과 국가에 대한 신뢰의 문제로 번질 수 있는지를 보여주는 사례입니다. 

26만 명의 시험을 디지털로 채점하다

포르투갈 중도우파 정부는 올해 14세에서 18세 학생들이 치르는 국가시험의 채점 과정을 전면 디지털화했습니다. 대상 학생만 26만 명이 넘습니다.

정부가 내세운 명분은 우리에게도 익숙합니다. 공공행정을 현대화하고, 평가를 더욱 ‘엄격하고 객관적’으로 만들겠다는 것이었습니다.

방식도 얼핏 합리적으로 보였습니다. 학생들의 종이 답안지를 스캔해 디지털화하고, 익명 처리한 문항을 교사들에게 무작위로 배분해 온라인에서 채점하도록 했습니다. 한 장소에 시험지를 모으고 사람이 직접 관리하는 기존 방식보다 효율적이고 객관적으로 보일 수 있습니다.

그러나 시험이 시작된 6월 중순부터 문제가 쏟아졌습니다.

채점할 시험지가 엉뚱한 교사에게 배정됐습니다. 은퇴한 교사에게 채점 요청이 갔고, 심지어 이미 사망한 교사에게도 채점 업무가 배정됐습니다. 자신의 전공이 아닌 과목을 채점하라는 요청을 받은 교사도 있었습니다.

더 심각한 문제는 학생들의 답안 자체에서 발생했습니다.

채점 플랫폼에 접속하기 어려운 일이 생겼고, 이어지는 답안 페이지가 사라지거나 학생의 답안 일부가 누락됐습니다. 스캔 상태가 나빠 글씨를 알아볼 수 없는 답안도 있었습니다. 온라인 시스템에서 학생의 답변이 사라졌다는 보고까지 나왔습니다. 

수학 교사 안드레 아지녜이라^{André Azinheira}는 자신이 보고 있는 것이 학생의 전체 답안인지, 일부 페이지가 빠진 답안인지 확인할 방법조차 없는 상태에서 채점해야 했다고 증언했습니다.

이것은 단순한 불편이 아닙니다.

학생이 쓰지 않은 답을 틀렸다고 채점한 것이 아니라, 학생이 쓴 답이 시스템에서 사라졌는데 틀렸다고 채점했을 가능성이 생긴 것입니다.

결과가 나오자 사태는 더 커졌습니다

7월 중순, 예정보다 사흘 늦게 시험 결과가 발표되자 수천 명의 학생이 예상 성적과 실제 성적 사이에 이해하기 어려울 정도로 큰 차이가 있다고 항의했습니다. 어떤 학생은 성적 자체가 나오지 않았습니다.

학생들이 자신의 시험지 사본을 확인하면서 더 심각한 문제가 드러났습니다.

페이지가 빠져 있거나, 자신의 것이 아닌 필체가 들어 있거나, 다른 학생의 시험과 뒤바뀐 답안이 발견됐습니다. 시험지 자체가 분실된 사례도 보고됐습니다. 특수교육 지원이 필요한 학생을 표시하는 정보가 디지털화 과정에서 누락돼 채점에 영향을 주었을 가능성도 제기됐습니다.

결국 교육 당국의 감독기관은 2만6천 건의 시험이 소프트웨어 또는 시스템 설정 오류의 영향을 받았으며, 1만8천 건이 넘는 성적을 수정해야 한다고 밝혔습니다. 재채점 요구도 2만 건을 넘어 평년의 세 배 수준으로 늘었습니다. 

약 1만9천 명은 아예 올해 시험 결과 전체를 무효화하라는 청원에 서명했습니다. 일부 학생과 학부모는 국가를 상대로 법적 대응까지 검토하기 시작했습니다.

교육부 장관 페르난두 알렉산드르^{Fernando Alexandre}의 사퇴를 요구하는 학생 시위도 벌어졌습니다. 학생들은 장관 자신에게 시험의 언어를 돌려주었습니다.

장관을 ‘낙제(flunk)’시키라는 것입니다.

한 언론인은 이번 사태로 포르투갈 시험제도의 신뢰성이 “치명적인 상처를 입었다”고 평가했습니다. 8월 들어 《가디언》은 이를 다시 세계 각국의 시험제도 혼란을 다룬 기사에서 포르투갈의 수십 년 만의 심각한 교육 위기로 소개했습니다. 

이 이야기를 한국이 주의 깊게 봐야 하는 이유

포르투갈의 사례는 지금 한국에서 진행되고 있는 논의와 묘하게 겹칩니다.

국가교육위원회는 AI 시대의 교육체제 개편을 논의하고 있으며, 차정인 국가교육위원장은 AI 대전환에 맞춰 교육체제 역시 새롭게 구축해야 한다고 강조하고 있습니다. 

더 구체적인 정책 방향도 이미 제시돼 있습니다. 정부의 「대한민국 인공지능행동계획」에는 현재의 정답 중심 평가를 역량·과정 중심 평가로 전환하고, AI를 활용한 새로운 평가 모델을 도입한다는 방향이 명시돼 있습니다.

특히 교육부가 서·논술형 평가를 활성화하고, AI 학습용 데이터를 구축하며, 교육청 단위의 AI 채점 지원 시스템 구축을 지원한다는 계획까지 포함돼 있습니다. 

서술형 평가를 확대해야 한다는 주장 자체가 잘못된 것은 아닙니다. 객관식 시험만으로 학생의 사고 과정, 논증 능력, 표현 능력을 충분히 평가하기 어렵다는 문제 제기 역시 검토할 가치가 있습니다. AI를 보조적으로 활용해 교사의 채점 부담을 줄이는 연구와 실험도 필요합니다.

그러나 여기에서 완전히 다른 질문이 하나 생깁니다.

“AI가 채점할 수 있는가?”가 아니라 “AI가 잘못 채점했을 때 우리는 무엇을 할 것인가?”입니다.

포르투갈은 바로 그 질문의 중요성을 보여주었습니다.

시험에서 99%의 정확성은 충분하지 않습니다

일반적인 디지털 서비스에서는 오류율 1%가 상당히 좋은 성능으로 평가될 수 있습니다. 그러나 50만 명이 치르는 국가시험이라면 1%는 5천 명입니다.

그 5천 명에게는 ‘시스템 정확도 99%’라는 설명이 아무 의미가 없습니다.

대학 진학이 걸려 있고, 한두 점으로 합격과 불합격이 갈리며, 학생이 12년 동안 준비한 결과가 결정되는 시험에서는 평균적인 정확도가 아니라 오류를 당한 한 사람을 어떻게 구제할 것인가가 제도의 핵심이 됩니다.

서술형 AI 채점은 이 문제를 더 어렵게 만듭니다.

종이 시험에서 덧셈 오류가 발생했다면 어디서 잘못됐는지 확인할 수 있습니다. 사람이 채점했다면 이의 신청을 통해 다른 채점자가 다시 볼 수도 있습니다. 그러나 AI가 복잡한 서술형 답안을 평가한다면 학생과 학부모에게는 더 근본적인 권리가 필요합니다.

왜 이 점수를 받았는지 설명을 요구할 권리, 원본 답안과 디지털 답안을 대조할 권리, AI의 판단에 이의를 제기할 권리, 인간 채점자에게 재심을 요구할 권리, 시스템 장애가 발생했을 때 불이익을 받지 않을 권리입니다.

따라서 AI 채점 시스템의 핵심은 ‘AI 모델의 정확도’만이 아닙니다.

오류를 발견하고, 설명하고, 바로잡을 수 있는 전체 제도의 정확성입니다.

더 위험한 것은 평가부터 바꾸는 것입니다

한국의 논의에서 더욱 신중하게 봐야 할 부분도 있습니다.

서술형 시험을 확대하는 목적이 학생들의 사고력과 글쓰기 능력을 키우는 것이라면, 시험지를 먼저 바꾸는 것으로는 충분하지 않습니다.

학생들이 질문을 만들고, 자료를 읽고, 자신의 생각을 구성하고, 토론하고, 쓰고, 고쳐 쓰는 수업이 먼저 있어야 합니다. 교사에게도 이를 가르치고 평가할 시간과 전문성이 필요합니다.

그런 교육의 변화 없이 객관식을 서술형으로 바꾸면 어떤 일이 벌어질까요.

학교와 학원은 곧바로 ‘서술형 답안 작성법’을 가르치기 시작할 것입니다. 사고력을 평가하기 위해 도입한 시험이 다시 정형화된 답안 패턴을 훈련하는 시험으로 변할 가능성이 높습니다.

그리고 대량의 서술형 답안을 처리하기 어렵다는 현실적인 문제가 등장하면 AI 채점은 매력적인 해결책으로 제시될 것입니다.

결국 교육을 바꾸기 위해 평가를 바꾸었는데, 평가를 감당하기 어려워 AI를 투입하는 역설이 생길 수 있습니다.

포르투갈이 보여준 것은 바로 이 지점에서 기술적 효율성이 교육적 정당성을 대신할 수 없다는 사실입니다.

포르투갈에서 배워야 할 것은 ‘디지털화를 하지 말라’가 아닙니다

포르투갈 사태를 근거로 디지털 평가나 AI 채점을 모두 거부하자는 결론 역시 지나칩니다.

오히려 반대입니다.

실험해야 합니다. 다만 실험실이 수십만 학생이 치르는 국가시험이어서는 안 됩니다.

소규모 평가에서 시작해 인간 채점과 AI 채점을 장기간 비교하고, 과목과 문항 유형별 오류를 공개해야 합니다. 지역·성별·언어능력·장애 여부 등에 따라 특정 학생 집단에 불리한 결과가 나타나는지도 검증해야 합니다. AI의 점수와 인간의 점수가 다를 경우 누가 최종 판단을 내릴 것인지도 미리 정해야 합니다.

무엇보다 시스템에 문제가 발생했을 때 즉시 인간 중심의 채점 체계로 돌아갈 수 있는 대체 절차가 있어야 합니다.

교육에서 기술 도입의 가장 위험한 순간은 기술이 실패할 때가 아닙니다.

실패할 가능성을 충분히 검토하지 않은 채, 실패할 수 없다고 가정하고 제도를 설계할 때입니다.

포르투갈 정부가 원했던 것도 평가의 현대화와 객관성이었습니다. 출발점만 놓고 보면 한국에서 나오는 주장과 크게 다르지 않습니다. 그러나 좋은 의도가 좋은 평가제도를 보장하지 않았습니다.

시험은 일반적인 행정 서비스가 아닙니다. 특히 대학 입학과 연결된 국가시험에서 한 번의 오류는 한 학생의 인생에서 되돌리기 어려운 결과를 만들 수 있습니다.

한국이 서술형 평가 확대와 AI 채점을 진지하게 검토하려 한다면 포르투갈에서 벌어진 일을 먼저 자세히 들여다볼 필요가 있습니다.

그리고 기술 기업에 “얼마나 정확합니까?”라고 묻기 전에 교육 당국 스스로에게 더 어려운 질문을 던져야 합니다.

“틀렸을 때, 그 한 학생에게 누가 어떻게 책임질 것입니까?”

그 질문에 답할 수 있을 때 비로소 AI 채점을 이야기할 수 있습니다.