전 세계 쟁쟁한 글로벌기업들이 경쟁하는 ‘오픈 LLM 리더보드’에서 미디어그룹사람과숲(이하 사람과숲)과 마커 사가 공동 개발한 모델이 평균 74.4점을 획득하며 최고성능으로 1위를 차지했다.
미디어그룹사람과숲의 LLM 리더보드가 글로벌 ‘Open LLM 리더보드’ 1위를 차지했다(출처: HuggingFace, Open LLM Leader board)
‘오픈 LLM 리더보드’에서 1위를 차지한 사람과숲의 ‘Sakura-SOLAR-Instruct’ 모델은 ‘SOLAR-10.7b-Instruct-v1.0’과 ‘SauerkrautLM-SOLAR-Instruct’ 두 가지 SOLAR 기반 모델을 Merge(Slerp)하고 DPO를 적용, 파인튜닝해 개발된 모델이다.
사람과숲은 ‘오픈 Ko-LLM 리더보드’ 개최 이후 대부분의 기간 동안 1위를 석권했던 한국형 LLM 모델의 연구개발 경력이 큰 도움이 됐으며, 특히 두 모델 간의 대답 분포도를 비교해 사용자가 원하는 대답으로 분포를 맞추는 DPO(directly preference optmization)에 관련한 노하우가 원동력이 돼 ‘오픈 LLM 리더보드 1위’라는 값진 성과를 낳았다고 밝혔다.
허깅페이스의 ‘오픈 LLM 리더보드’는 전 세계 수백개의 오픈소스 모델들이 추론과 상식능력, 언어 이해 종합능력 및 환각현상 방지 등 여러 지표의 평균점수로 평가해 순위를 매긴다. ‘Sakura-SOLAR-Instruct’ 모델이 획득한 점수는 74.4점으로, 이는 OpenAI가 개발한 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가점수 71.9점을 훌쩍 뛰어넘는 점수다.
사람과숲은 한국정보화진흥원(NIA)과 업스테이지가 주관하는 ‘오픈 Ko-LLM 리더보드’에서 올해 9월 리더보드 오픈 시부터 12월까지 대부분의 기간 1위를 유지했던 기업으로, 그간의 연구 노하우를 바탕으로 글로벌 LLM 기술 선도기업으로 성장하고 있다.
한윤기 사람과숲 대표는 “먼저 국내 1위에서 세계 1위까지 이어진 LLM 개발 여정에 밤낮으로 고생한 개발자들에게 이 영광을 돌린다”며 “사회적 가치 실현에 기업이 앞장서야 한다고 생각한다. AI와 같은 가장 앞선 기술의 수혜가 사회적 약자에게 돌아가는 구조가 만들어져 사회적 약자가 기술 개발에 적극적으로 참여하고, 그 열매를 다시 사회적 약자에게 돌려놓는 선순환 구조를 만들어 동반성장의 새로운 방향을 만들고 싶다”고 밝혔다.