수학 문제 푸는 ‘매스GPT’ 성능 평가서 세계 1위…업스테이지·콴다·KT 협업 성과

인공지능(AI) 스타트업 업스테이지와 AI 기반 학습 플랫폼 콴다, KT가 공동 개발한 수학 특화 언어모델 ‘매스(Math)GPT’ 성능 평가에서 마이크로소프트(MS)와 오픈AI를 제쳤다.

8일 업스테이지에 따르면 매스GPT는 업스테이지와 KT, 콴다 운영사 매스프레소의 합작품이다. 매개변수 130억(13B)개 규모로, 수학을 학습했다. 

언어모델의 수할 능력을 평가하는 세계적인 벤치마크 테스트로 ‘MATH’와 ‘GSM8K’가 있는데, 매스GPT는 여기서 높은 점수를 받았다. MATH 벤치마크는 1만2500개의 고난도 수학 경시 문제로 구성됐으며, GSM8K는 8500개의 초등학교 수학 문제로 산술 연산을 평가한다. 

MATH 벤치마크 테스트에서 매스GPT는 1점 만점에 0.488점을 받아 130억 매개변수 이하 모델에서 역대 최고점을 기록했다. GPT-4는 0.425점, 챗GPT는 0.355점, MS의 토라 13B는 0.481점, 토라 7B는 0.401점이었다. GSM8K에서는 토라 13B(0.758점)보다 높은 0.782점을 기록해 1위를 차지했다.

업스테이지는 “3사의 전략적 파트너십을 기반으로 KT의 전폭적인 인프라 지원과 콴다의 독보적인 수학 특화 노하우 및 고품질의 학습 데이터, 업스테이지의 언어모델 ‘솔라(SOLAR)’가 합쳐진 결과물”이라고 평가하면서 “앞으로 솔라를 앞세워 다양한 영역에서 생성형 AI 혁신을 주도해 나갈 것”이라고 밝혔다.

이진경 기자 [e-mail]