7월 16일, 베이징 Moonshot AI 과기유한회사가 차세대 모델 'Kimi K3'를 공개했다. 매개변수 규모는 2조 8,000억 개로, 현재 세계에서 가장 큰 오픈웨이트 모델이다. 오픈웨이트는 AI 학습 과정에서 형성된 가중치를 공개해 개발자가 모델을 맞춤화할 수 있도록 한 방식이다.

Kimi K3는 네이티브 비전을 지원하며, 100만 토큰(token) 규모의 컨텍스트 윈도우(언어 모델이 응답을 생성할 때 참조할 수 있는 텍스트)를 갖췄다. 소프트웨어 엔지니어링, 지식 업무, 심층 연구, 멀티모달 이해 등 복잡한 작업 환경에 맞춰 최적화됐으며, 파운데이션 모델의 복잡한 과제 처리 역량을 한층 향상시켰다. 평가 결과, Kimi K3의 종합 지능 수준은 세계 최고 수준의 폐쇄형 모델에 근접한 것으로 나타났다.

Kimi K3 브랜드 이미지

Kimi K3 차세대 파운데이션 모델을 훈련시키는 과정에서 기업은 자체 개발한 하위 모델 아키텍처를 활용하고, 체계적인 모델 학습 방법론을 축적했다. Kimi K3는 모델 구조, 학습 방식, 데이터 구성 등 최적화를 통해 이전 모델 보다 전체 확장 효율을  약 2.5배 향상하면서 연산 역량 대비 모델 성능 변환 효율을 높이는 데 기여했다.

Moonshot AI는 해당 모델의 전체 가중치를 곧 공개할 예정이며, 모델 구조·학습 과정·평가 방식 등에 관한 세부 내용도 기술 보고서를 통해 순차적으로 발표할 계획이라고 밝혔다.

원문 출처: 신화망(新华网)