[서울와이어 서동민 기자] 크래프톤은 대규모 언어 모델(LLM, Large Language Model)을 기반으로 한 인공지능(AI) 에이전트의 게임 수행 능력을 정량적으로 평가할 수 있는 벤치마크 체계 ‘Orak’을 16일 공개했다.
‘Orak’은 ‘오락’에서 착안한 명칭으로, 다양한 게임 환경에서 AI의 상황 인식과 판단, 행동 결정 능력을 분석할 수 있도록 설계됐다. 액션, 어드벤처, RPG, 시뮬레이션, 전략, 퍼즐 등 6개 장르의 대중적인 게임을 기반으로 구성됐다.
이번 벤치마크에는 크래프톤과 엔비디아가 공동 개발한 AI 캐릭터 ‘CPC(Co-Playable Character)’ 프로젝트를 통해 축적한 AI 설계 경험이 반영됐다. 이를 통해 LLM 기반 AI 에이전트가 복잡한 게임 맥락 속에서 의사결정을 수행하는 능력을 반복적으로 검증할 수 있으며, AI와 함께 플레이하는 새로운 게임 경험 개발에도 활용될 전망이다.
핵심 기술로는 ‘MCP(Model Context Protocol)’가 있다. MCP는 게임 내 정보를 언어 모델이 이해할 수 있는 텍스트 기반 데이터로 변환하고, AI의 출력값을 게임 내 행동으로 전환하는 역할을 한다. 예컨대 액션 게임에서는 장애물 위치 정보를 텍스트로 받아 AI가 점프·이동 등의 판단을 내리게 된다.
크래프톤은 Orak을 통해 게임 산업을 넘어 다양한 산업군으로의 AI 연구 확장을 목표로 하고 있으며, 연구자들을 위한 LLM 파인튜닝용 데이터셋도 함께 제공한다. 이를 활용하면 사전 학습된 LLM을 실제 게임 환경에 맞게 최적화할 수 있다.
이강욱 크래프톤 딥러닝 본부장은 “Orak은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크로, 향후 LLM 에이전트 설계 능력을 겨루는 대회도 기획 중”이라며 “AI를 기반으로 한 차세대 게임 경험의 혁신을 지속적으로 주도해 나가겠다”고 말했다.
한편 크래프톤은 올해 세계 최고 권위의 AI 학회인 ICLR과 ICML에 총 10편의 논문을 제출해 채택됐으며, 이 중 3편은 ICLR Spotlight 논문으로 선정됐다.