Se revela que el nuevo modelo de Zhipu tiene hasta 3,5 billones de parámetros, lo que podría situarlo al nivel de Claude Fable.

Según las noticias flash de Beating AI de Dongcha, un resumen de una entrevista con expertos que circula entre los círculos de inversión revela que el tamaño de los parámetros del próximo modelo base de la empresa de IA Zhipu no será, como se había rumoreado previamente en el mercado, de 1,6 billones, sino que oscilará entre 2,5 y 3,5 billones. Por otro lado, el GLM-5.3 lanzado por Zhipu en agosto de este año sigue basado en la generación anterior de modelos base, con un número total de parámetros de aproximadamente 744 mil millones; si esta información es verídica, la cantidad de parámetros del nuevo modelo base será de 3,4 a 4,7 veces mayor que la del actual GLM-5.3. El resumen señala que el proceso de entrenamiento de dicho modelo ha enfrentado dificultades: Zhipu adoptó un diseño arquitectónico más agresivo, lo que provocó una larga estancación de la función de pérdida (Loss) durante la fase de preentrenamiento, es decir, se consumía continuamente potencia de hash sin lograr mejorar significativamente las métricas clave de entrenamiento. No obstante, el entrevistado considera que estos problemas técnicos ya se han resuelto recientemente, y que el entrenamiento está previsto que finalice muy pronto; además, opina que el modelo final podría alcanzar el nivel de referencia de Claude Fable. El resumen también indica que el nuevo modelo, desde