모티프 47점·LG 31점, 스타트업 약진
750B K-엑사원보다 314B 모티프 앞서
대형화에 집중하다 최적화 놓쳤나
특정 시험 겨냥한 ‘벤치맥싱’ 논란도

빛의 속도로 변하는 IT 업계 주요 이슈를 짚고, 그 배경과 파장을 분석합니다. 인공지능(AI), 플랫폼, 통신, 클라우드, 반도체 등 기술 변화가 기업과 산업, 일상에 어떤 영향을 미치는지 쉽게 풀어서 전합니다.

어제(13일) 한 인공지능(AI) 모델 ‘성적표’가 국내 AI 업계를 술렁이게 했습니다. 스타트업 모티프테크놀로지스가 만든 AI 모델이 글로벌 성능 평가에서 LG AI연구원과 SK텔레콤의 대형 AI 모델을 크게 앞섰기 때문입니다.

이번 성적표는 각 기업이 홍보를 위해 자체적으로 실시한 평가가 아닙니다. 한국을 대표해 미국과 중국의 최첨단 AI 모델과 경쟁할 ‘국가대표 AI’를 뽑는 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에 실제 반영되는 지표입니다.

스타트업 모티프테크놀로지스가 만든 AI 모델이 글로벌 성능 평가에서 LG AI연구원과 SK텔레콤의 대형 AI 모델을 크게 앞섰다. 게티이미지뱅크

독파모 2차 평가는 100점 만점입니다. 수치로 모델 성능을 재는 벤치마크가 40점, 전문가 평가가 35점, 사용자 평가가 25점을 차지합니다. 벤치마크 40점 가운데 15점은 한국지능정보사회진흥원(NIA)이 평가하고, 나머지 25점은 글로벌 AI 평가기관 아티피셜 애널리시스(Artificial Analysis)의 ‘인텔리전스 인덱스(AAII)’를 활용합니다.

정부가 독파모 2차 평가를 위해 아티피셜 애널리시스에 별도로 평가를 의뢰했고, 그 결과가 13일 공개된 겁니다. 평가 대상은 현재 독파모 경쟁을 이어가고 있는 SK텔레콤·LG AI연구원·업스테이지·모티프테크놀로지스 등 4개 팀의 최신 모델입니다.

◆대기업 제친 스타트업

결과는 예상 밖이었습니다. 모티프테크놀로지스의 ‘모티프 3’가 47점으로 가장 높았습니다. 업스테이지 ‘솔라 오픈 2’가 37점, SK텔레콤 ‘A.X K2’가 35점, LG AI연구원 ‘K-엑사원 2.0’이 31점으로 뒤를 이었습니다.

특히 LG AI연구원과 모티프테크놀로지스의 순위가 눈길을 끌었습니다. LG AI연구원은 지난해 12월 독파모 1차 평가에서 NIA·글로벌 공통·글로벌 개별 벤치마크를 합산한 성적에서 1위를 차지했습니다. 반면 모티프테크놀로지스는 독파모 사업 공모에서 정예팀 5개에 선발되지 못했고, ‘패자부활전’을 거쳐 2단계 경쟁에 합류한 팀입니다.

미국과 중국, 한국 대표 AI 모델의 AAII 점수. 챗GPT 생성 사진

정예팀들의 희비를 가른 AAII는 어떤 시험일까요. 현재 사용되는 AAII v4.1.1은 총 9개 세부 시험을 묶어 AI 모델의 능력을 평가합니다. 크게 보면 에이전트 34%, 코딩 24%, 과학적 추론 24%, 일반 능력 18%입니다. 단순히 “이 문제의 답이 뭐냐”고 묻는 시험보다 AI가 여러 단계를 거쳐 스스로 일을 처리하고, 프로그램을 짜고, 도구를 활용해 문제를 해결하는 능력을 중요하게 봅니다.

이는 최근 AI 시장의 경쟁 기준이 달라진 영향입니다. 예전에는 어려운 수학 문제를 얼마나 잘 풀고 지식을 얼마나 많이 알고 있는지가 중요했다면, 지금은 AI가 실제 업무를 얼마나 잘 해내는지가 핵심 경쟁력으로 떠오르고 있습니다. 이메일이나 보고서를 작성하는 것에서 더 나아가 자료를 찾고, 프로그램을 실행하고, 필요한 도구를 골라 여러 단계의 업무를 끝까지 수행하는 ‘AI 에이전트’ 능력이 중요해진 겁니다.

◆싸움은 체급 순이 아니야

이번 독파모 2차 평가도 이런 흐름을 반영하고 있습니다. 흥미로운 점은 모델의 덩치와 AAII 점수가 비례하지 않았다는 겁니다. K-엑사원 2.0은 매개변수 약 7500억개(750B)를 가진 초대형 모델입니다. A.X K2도 6880억개 규모입니다. 모티프 3은 3140억개, 솔라 오픈 2는 2500억개 수준입니다.

매개변수는 쉽게 말하면 AI가 학습하면서 조정하는 수많은 ‘숫자 값’입니다. 보통 매개변수가 많을수록 더 많은 정보를 담고 복잡한 문제 처리 역량도 커집니다.

LG AI연구원은 이번 개발 과정에서 모델의 체급을 키우는 데 많은 자원을 투입했습니다. 글로벌 최상위권 AI와 장기적으로 경쟁하려면 우선 충분히 큰 ‘그릇’을 만들어야 한다고 판단한 겁니다. 다만 제한된 개발 기간 안에서 모델 대형화와 안정화에 자원이 많이 투입되면서 후학습과 에이전트 성능 최적화에는 상대적으로 시간이 부족했던 것으로 보입니다.

후학습은 기본 학습을 끝낸 모델을 실제 사용 목적에 맞게 다듬는 과정입니다. 사전학습이 학교에서 여러 과목의 기초를 배우는 과정이라면 실제 서비스에 쓰기 위해 답변 방식을 다듬고, 추론·코딩·도구 사용 능력을 집중적으로 훈련하는 과정이 후학습입니다.

물론 이 지표가 각 모델의 최종 경쟁력을 결정하지 않습니다. 여러 평가 지표 중 하나일 뿐이고, 지표 점수가 모델 성능을 보장하는 것도 아닙니다. 한국어 성능과 실제 사용자 경험, 비용, 효율, 안전성, 산업 전문성 등 성능을 결정하는 요소는 다양해서 하나의 지표로 알기 어렵습니다.

스타트업 모티프테크놀로지스가 만든 AI 모델이 글로벌 성능 평가에서 LG AI연구원과 SK텔레콤의 대형 AI 모델을 크게 앞섰다. 게티이미지뱅크

◆시험 점수 높다고 일 잘하나

이번 성적표가 공개되자 또 다른 논쟁이 시작됐습니다. ‘벤치맥싱’입니다.

벤치맥싱을 쉽게 말하면 AI에게 시험에 잘 나오는 문제를 집중적으로 공부시키는 겁니다. 어떤 벤치마크가 평가에 사용되는지 알고 있다면 그 시험과 비슷한 문제를 대량으로 만들어 모델에 학습시킬 수 있습니다. 실제 범용 능력을 골고루 높이는 것보다 특정 시험의 점수를 빠르게 올리는 데 집중하는 방식입니다.

시험공부를 했다고 무조건 문제라고 볼 수는 없습니다. 코딩 능력을 평가한다면 코딩을 더 많이 훈련하는 건 당연합니다. 문제는 ‘실제 능력이 좋아져서 시험 점수가 오른 것인지, 시험 유형에 지나치게 특화돼 점수만 크게 오른 것인지’ 구분하기 어렵다는 점입니다.

최근에는 이런 벤치마크 성능 개선을 전문적으로 돕는 기업까지 등장했습니다. 미국 AI 학습데이터 기업 애프터쿼리가 대표적입니다. 이 회사는 이미 만들어진 AI 모델을 특정 업무와 에이전트 작업에 잘 맞도록 후학습시키는 데이터셋과 학습 환경을 제공합니다. 주요 AI 벤치마크의 성능을 끌어올린 사례를 소개하기도 합니다.

독파모 프로젝트에서는 이미 한 차례 평가 기준을 둘러싼 논쟁이 있었습니다. 1차 평가 당시에는 모델을 처음부터 자체 기술로 만들었는지를 둘러싼 ‘독자성’과 ‘프롬 스크래치(from scratch)’ 논란이 불거졌습니다.

2차 평가에서는 질문이 달라졌습니다. 높은 벤치마크 점수가 AI 모델 성능을 보장하는가. 정부도 이런 한계를 고려해 AAII뿐 아니라 NIA 벤치마크, 전문가 평가와 실제 사용자 평가를 함께 진행합니다.

AI 업계 관계자는 “실제 범용 성능보다 특정 평가 점수를 크게 끌어올릴 방법이 있는 만큼 단일 지표 점수만으로 모델의 종합 성능을 판단하기는 어렵다”며 “한국어 성능과 실사용성, 전문가 평가 등을 종합했을 때 최종 경쟁력이 갈릴 것”이라고 말했습니다.

정부는 조만간 2차 평가 결과를 발표합니다. 3개 팀만 다음 단계로 진출할 수 있습니다.

이정한 기자 [e-mail]