생성형 인공지능(AI)이 인간 과외교사와 비슷한 학습 효과를 내면서 비용은 최대 918분의 1에 불과하다는 연구 결과가 나왔다. AI가 교육의 질뿐 아니라 비용 면에서 크게 앞설 가능성을 보여준 결과에 관심이 모였다.
미국 핸드셰이크 AI 리서치 연구팀은 23일 논문 사전 공개 사이트 아카이브(arXiv)에 낸 조사 보고서 ‘StudentBench: AI와 인간 과외의 동등한 GRE 학습 효과(StudentBench: AI and human tutoring yield equivalent GRE learning gains)’를 내고 이 같이 주장했다.
연구팀은 미국 대학원 입학시험 GRE를 이용해 AI와 사람의 일대일 과외 효과를 비교했다. 성인 남녀 2383명을 모은 연구팀은 먼저 수학 또는 언어 영역을 택하게 하고 GRE 문제 27개를 풀게 했다. 이후 피실험자를 AI 과외 그룹과 인간 과외 그룹으로 나눴다.
AI 그룹에 속한 피실험자들은 13종의 대규모언어모델(LLM) 중 하나와 대화하며 1시간 동안 공부했다. 사람 과외 그룹의 경우 전문가에게 화상으로 1시간 동안 일대일 지도를 받았다.
수업을 마친 두 그룹은 수학 또는 언어의 다른 GRE 문제 27개를 풀었다. 수학과 언어를 합친 평균 정답률은 AI 그룹이 13.9%포인트, 사람 과외 그룹이 15.6%포인트 상승했다. 단순 수치로는 사람이 앞섰지만 사전시험 성적 등을 보정한 차이는 0.58%포인트였다.
연구팀이 사전에 정한 통계적 범위 안에서 AI와 사람 과외의 전체 학습 효과를 측정한 결과 동등한 것으로 판정됐다. 다만 수학에서는 AI와 사람 과외의 효과가 비슷했지만 언어 영역에서는 사람 과외가 더 좋은 성과를 냈다.
가장 큰 격차는 비용이었다. 사람 과외와 동등한 학습 효과를 보인 AI 가운데 가장 저렴한 Gemma 4 31B는 학습계획과 연습문제 작성, 1시간 대화에 들어간 평균 모델 이용료가 단 0.067달러(약 91원)였다.
연구팀은 사람 전문 과외 비용을 시장 가격을 참고해 시간당 75달러(약 10만2000원)로 잡고 정답률을 1%포인트 올리는 데 필요한 비용을 비교했다. 사람은 약 4.81달러(6536.79원)가 필요했지만 Gemma 4 31B는 약 0.0052달러(7.07원)에 그쳤다. 연구팀이 반올림 전 수치로 계산한 결과, 정답률 1%포인트 향상에 드는 비용은 Gemma 4 31B가 사람 과외의 약 918분의 1이었다.
물론 이번 연구는 1시간의 GRE 과외 직후 성적만 측정했다. 수개월 뒤에도 학습 효과가 유지되는지 확인하지 않았다. 연구팀 역시 이번 결과가 AI가 교사를 대체해야 한다는 의미는 아니라고 강조했다. 다만 이번 실험이 AI가 사람 전문가와 비슷한 학습 효과를 훨씬 적은 비용으로 낼 수 있음을 분명히 보여줬다고 연구팀은 강조했다.
댓글0