한국지능정보사회진흥원(NIA)과 업스테이지는 공동 운영하는 'Open Ko-LLM 리더보드'에 추론 관련 지표를 추가한다고 11일 밝혔다.

Open Ko-LLM 리더보드는 지난해 9월, 민관 협업을 통해 개설돼 학계와 업계 다양한 참여자들로부터 큰 관심을 받고 있다. 지난 5월 말까지 참여한 LLM(초거대언어모델) 모델 수가 1500개를 넘어섰고, 최고 점수는 70.7점을 기록했다. 이는 세계적으로 인정받는 허깅페이스 LLM 리더보드(최고점 81.2점)에 근접한 수치다.

이번에 추가하는 지표는 '추론 능력'과 '산출 추론 능력'이다. 인공지능(AI) 언어 데이터 전문 기업인 '플리토(300080)'가 해당 지표 개발을 도왔다. NIA와 업스테이지는 해당 지표를 한국어에 맞게 적용함으로써, 한국어 모델의 성능 평가 체계를 국제 평가 기준과 대등한 수준으로 끌어올리는 계기가 될 것으로 기대하고 있다.

박찬준 업스테이지의 리더는 "한국의 LLM 평가의 표준으로 인정받는 만큼, 책임감 있는 운영을 위해 지속적으로 NIA와 노력하겠다"고 포부를 밝혔다.

황종성 NIA 원장은 "NIA와 업스테이지는 한국어 LLM 발전을 위해 리더보드 평가 지표와 체계를 지속적인 개선할 방침"이라며 "이를 통해 국내외 AI 연구자들 사이에서 더욱 활발한 교류와 협력이 이루어질 것으로 기대하고 있다"고 밝혔다.