인간만큼 똑똑해진 AI챗GPT… 수학실력은 '낙제수준'

[서울와이어 정현호 기자] 미국 의사시험, 로스쿨, MBA 등 전문직 시험을 통과한 인공지능(AI) 챗GPT가 정작 우리나라의 대학수학능력시험 수리영역에선 낙제점을 받았다. 

문장 요약과 추론, 문맥 이해 후 답변 등이 가능해 국내외에서 챗GPT가 연일 화제가 됐지만, 수학 문제 풀이에서는 기대 이하의 실력을 발휘했다. 

7일 관련 업계에 따르면 한국에서도 챗GPT가 제 실력을 발휘할지에 대한 시험이 진행돼 눈길을 끌었다. 애나와 연세대학교 인공지능대학 김시호 교수 연구팀은 실제 수능 문제를 통해 실력을 가늠하는 테스트를 진행했다. 

애나는 2021년부터 가상현실(VR)·증강현실(AR) 시험평가 기술 개발을 시작으로 기술검증 등의 사업을 꾸준히 추진해온 전문 기관이다.

현재는 산업계에 관심이 집중된 메타버스를 포함한 확장현실(XR)뿐 아니라 AI, 블록체인(BC)까지 소프트웨어(SW) 전반에 대한 시험평가와 기술검증을 국제 인증 표준을 기반으로 수행 중이다.

이번 실험은 2023학년도 대학수학능력시험 문제에서 그림이 포함돼 문항의 입력이 불가능한 경우를 제외한 전체를 입력하고 답을 확인하는 방식으로 이뤄졌다. 그 결과 챗GPT는 영어 수능 시험에서 합산 점수 82점을 기록했다. 

듣기 평가의 경우 16문제 중 14문제, 독해 평가는 17문제 중 13문제에 정답을 맞췄다. 수능 2등급 수준의 능력을 갖춘 것으로 확인됐다. 문단에 함축된 의미 추론, 요지 파악, 글의 목적과 주제 파악 등 난이도가 높은 문제에서도 무난히 정답을 선택했다. 

수학 시험에서는 상반된 성적이 나왔다. 공통 과목 분야에서는 20문제 중 6문제에 정답을 맞췄으나 확률과 통계, 미적분학, 기하 분야의 문제는 전부 오답을 내는 등 수학 능력은 현저히 부족한 것으로 나타났다.

특히 한 자리 숫자의 곱셈 정도는 풀지만 두 자리 숫자의 곱셈 문제까지 풀기에는 한계가 있었다. 

최근 등장한 거대 AI 능력은 전문직 일자리를 빠르게 대체할 것으로 주목받지만, 신뢰성과 정확성이 다소 떨어진다는 점에서 아직 성장단계에 있다는 것이 시험을 통해 입증된 셈이다. 

벤치마킹을 주도한 이상호 애나 최고기술경영자(CTO)는 “챗GPT가 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보였다. 이 기능들을 활용해 응용할 수 있는 서비스가 무궁무진할 것”이라며 “산업계 인재 채용에 대한 요구사항이 머지않아 바뀌게 될 것으로 보인다”고 말했다. 

한경희 연세대 공학교육혁신센터의 교수는 “머지않은 미래에 AI능력이 대학 신입생의 학습 능력 수준을 넘어서게 될 것”이라며 “AI와 동행하게 될 교육계도 새로운 방법을 고민하지 않는다면, 미래사회 대학 교육은 존립의 근거를 잃게 될지 모른다”고 설명했다. 

한편 CNN비즈니스, BBC 등 복수 외신에 따르면 구글은 지난 6일(현지시간) 전 세계적으로 주목받는 챗GPT의 대항마가 될 AI챗봇 ‘바드’ 출시 계획을 공식 발표했다. 마이크로소프트(MS)사의 지원을 받는 대화형 AI 챗GPT가 급부상하면서 위협을 느낀 모양새다. 

순다르 피차이 구글 최고경영자(CEO)는 블로그 게시물을 통해 AI챗봇 바드를 신뢰할 수 있는 테스터들에게 공개한 뒤 수주 안에 대중에게 공개하겠다고 밝혔다. 

그는 “세계 지식의 폭을 우리의 대규모 언어 모델의 힘, 지능, 창의성과 결합하고자 한다”며 “곧 웹에서 더 많은 정보를 얻을 수 있을 것”이라고 강조했다.