KMB NEWS | 특집·교육과 시험 공정성
세무사 시험 부정행위로 국가자격시험 점검 착수…
기초 역량은 독립적으로, 실무 역량은 판단 근거와 수행 과정까지 평가하는 방안 주목
객관식 답안지 위의 스마트 안경과, 자료를 보며 자신의 판단 근거를 설명하는 학생을 한 화면에 AI가 그렸다
제63회 세무사 시험 수석 합격자가 생성형 인공지능(AI)과 전자기기를 이용해 1·2차 시험에서 부정행위를 했다고 밝히면서 경찰이 수사에 착수했다. 청와대는 11월 15일 긴급 대책회의를 열어 국가 자격시험 전반에서 AI 활용 부정행위 의심 사례를 조사하기로 했다.
19일 치러지는 2027학년도 대학수학능력시험을 앞두고는 AI 기기 점검 절차와 전담인력 배치 등 시험장 관리 대책을 점검했다.
시험장에서 허용되지 않은 도움을 차단하는 일은 응시자에게 같은 조건을 보장하기 위해 필요하다. 시험이 무엇을 측정하는지는 그와 별개의 질문이다. 제보 자료로 제공된 티스토리 칼럼 「스마트 안경, 교육에 두번째 기회가 왔다」는 AI로 쉽게 답을 얻을 수 있는 문제를 풀게 하는 시험이 대학에서의 학업 능력이나 자격 취득 후의 직무 역량을 얼마나 잘 보여주는지 묻는다. 그런 효용을 입증하기 어렵다면 문항을 바꾸는 데서 나아가 시험의 존폐도 검토하자는 주장이다.
코로나 때 남은 질문…강의를 듣고 난 뒤 수업에서 무엇을 하나
칼럼 필자는 코로나19 시기 원격 수업이 확대됐을 때 온라인 강의 제작과 시험 감독에 많은 노력이 들어갔다고 돌아봤다. 그때 확보한 온라인 강의를 수업 전에 활용하고, 교실에서는 학생이 배운 내용을 질문하고 토론하며 과제에 적용하는 거꾸로 학습(플립드 러닝)으로 전환할 기회가 있었다는 것이 필자의 견해다.
가령 학생이 수업 전에 통계의 기초 개념을 익혔다면, 교실에서는 같은 설문 자료를 두고 서로 다른 결론이 나온 이유를 따져볼 수 있다. 조사 대상에서 빠진 집단이 있는지, 표본이 전체를 대표하는지, 그래프의 축이 차이를 과장 하는지를 설명하는 식이다. 시험에서도 통계 용어의 뜻을 기억하는 능력과 실제 자료를 읽어 결론을 검토하는 능력은 서로 다른 과제로 확인할 수 있다.
쟁점 문답 | 수능과 자격 시험에서 ‘실력’을 어떻게 확인할까
아래 문답은 제공된 칼럼과 공개 자료를 바탕으로 KMB NEWS가 구성한 해설이다.
Q. AI가 풀 수 있는 문제라면 시험에서 모두 빼야 하나.
시험의 목적부터 살펴야 한다. 수능에서는 대학 수업을 따라가는 데 필요한 읽기, 수리, 추론 능력을 공통 조건에서 확인하는 일이 중요하다. 기본 개념을 스스로 이해하고 있는지 묻는 문항에는 여전히 역할이 있다. 여기에 낯선 자료를 비교하고 자신의 판단 근거를 설명하는 과제를 더한다면, 기억한 내용을 새로운 상황에 적용할 수 있는지도 살펴볼 수 있다. 대규모 시험에서 이런 과제를 도입하려면 채점자가 달라도 결과가 일관되는지, 지역과 소득에 따른 준비 기회의 격차가 커지는지 먼저 검증해야 한다.
Q. 세무사 처럼 실제 업무가 있는 시험은 어떻게 달라질 수 있나.
가상의 세무사 평가를 예로 들면, 응시자에게 거래 명세서와 증빙을 주고 신고안을 작성하게 할 수 있다. 일부 자료를 의도적으로 비워 두면 응시자가 어떤 증빙을 추가로 요청하는지, 불확실한 부분을 고객에게 어떻게 설명하는지도 확인할 수 있다. AI 사용을 허용하는 과제라면 AI가 제시한 답에 어떤 오류가 있었고, 어떤 법령과 자료로 검증 했는지를 평가할 수 있다. 짧은 구술 확인을 더하면 응시자가 제출한 결과의 판단 근거를 직접 설명할 수 있는지도 살펴볼 수 있다.
실제 직무 수행 과정을 평가하는 국내 사례도 있다. 한국보건의료인국가시험원의 의사 국가 시험 실기 시험에서는 훈련받은 표준화환자가 환자 역할을 맡는다. 응시자가 환자에게 어떤 질문을 하고 어떻게 진찰하는지, 진료 태도는 어떤지 확인하는 방식이다.
호주 고등교육 품질·기준청(TEQSA)도 대학 평가 지침에서 학생이 허가받지 않은 도움 없이 핵심 역량을 발휘하는지 확인하는 방법으로 구술 발표나 감독 아래 치르는 실기 시연 등을 제시했다.
Q. 시험을 바꾸는 비용과 효과는 어떻게 비교할 수 있나.
현행 방식에서는 출제·감독 비용에 더해 응시자가 들이는 준비 시간과 비용을 살피고, 시험 점수가 이후 학업이나 직무 수행을 얼마나 잘 예측하는지 확인할 수 있다. 실기·구술을 도입한 방식에서는 평가자 훈련과 채점 비용, 응시자의 실습 기회, 채점 결과의 일관성을 함께 봐야 한다. 두 방식 모두 준비 비용이 가구의 소득이나 거주 지역에 따라 어떻게 달라지는지도 비교할 항목이다.
예컨대 일부 대학 과목이나 자격 훈련 과정에서 기존 필기 평가와 실무 과제를 함께 운영해 볼 수 있다. 같은 응시자가 두 평가에서 어떤 결과를 얻었는지, 어느 결과가 이후 현장 실습 성과와 더 잘 맞았는지, 평가에 시간과 비용이 얼마나 들었는지 비교하는 방식이다. 그 결과를 공개하면 어떤 역량은 공통 필기로 확인하고 어떤 역량은 실기와 구술로 확인할지 근거를 갖고 논의할 수 있다.
2027학년도 수능의 당면 과제는 공지된 규정을 시험장 마다 일관되게 적용하는 일이다. 그 이후의 과제는 합격이라는 결과가 어떤 능력을 증명하는지 설명할 수 있도록 평가를 설계하는 일이다.
AI가 준 답의 타당성을 검토하는 능력과 도움 없이도 갖춰야 할 기초 역량을 각각 어떻게 확인 할지가 그 논의의 출발점이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}