지푸의 신규 모델, 최대 3.5조 개 파라미터로 알려져… 클로드 페이블 수준에 도달할 전망

동찰(Beating AI) 보도에 따르면, 투자업계에서 유통 중인 한 전문가 인터뷰 요약 자료는 인공지능 기업 지보(Zhipu)가 곧 출시할 차세대 베이스 모델의 파라미터 규모가 시장에서 그간 알려진 1.6조 개가 아니라 2.5조~3.5조 개 사이일 것이라고 밝혔다. 한편 지보는 올해 8월 GLM-5.3을 공개했는데, 이는 여전히 이전 세대 베이스 모델을 기반으로 하며 총 파라미터 수는 약 7440억 개다. 만일 이 정보가 사실이라면, 새 베이스 모델의 파라미터 수는 현재 GLM-5.3의 3.4배에서 최대 4.7배에 달하게 된다. 해당 요약 자료는 모델 훈련 과정에서 어려움이 있었다고 전하며, 지보가 보다 급진적인 아키텍처 설계를 채택한 탓에 사전 훈련 단계에서 ‘로스(Loss) 장기 정체 현상’이 발생했다고 설명했다. 즉, 계산 자원을 계속 소비함에도 불구하고 핵심 훈련 지표가 더 이상 개선되지 않았던 것이다. 다만 인터뷰 응답자는 관련 기술적 문제들이 최근 해결됐다고 판단했으며, 훈련 작업이 곧 마무리될 것으로 예상한다고 밝혔다. 또한 최종 모델은 클로드(Claude) 패블(Fable) 수준의 플래그십 성능을 달성할 가능성이 높다고 평가했다. 요약 자료는 또 새 모델이