Новая модель Zhipu, как сообщается, насчитывает до 3,5 трлн параметров и может достичь уровня Claude Fable.

Согласно срочным новостям Beating AI от источника «Дунь Ча», в распространенном среди инвесторов протоколе экспертного интервью раскрывается следующая информация: параметрический масштаб следующего базового ИИ-моделя компании Zhipu, который будет представлен в ближайшее время, составляет не 1,6 трлн, как ранее сообщалось на рынке, а находится в диапазоне от 2,5 до 3,5 трлн; при этом GLM-5.3, выпущенный Zhipu в августе этого года, по-прежнему основан на предыдущем поколении базовой модели и имеет общий объем параметров около 744 млрд — если эта информация верна, то количество параметров новой базовой модели превысит показатель текущей GLM-5.3 в 3,4–4,7 раза. В протоколе отмечается, что процесс обучения этой модели столкнулся с трудностями: Zhipu применила более агрессивный архитектурный дизайн, в результате чего на этапе предварительного обучения наблюдалась длительная стагнация значения функции потерь (Loss), то есть вычислительные ресурсы продолжали расходоваться, однако ключевые метрики обучения не улучшались; тем не менее, собеседник считает, что соответствующие технические проблемы недавно были решены, а завершение обучения модели ожидается в ближайшее время; он также полагает, что окончательная модель сможет достичь флагманского уровня, сопоставимого с Claude Fable. В протоколе дополнительно указано, что новая модель с