Mô hình mới của Zhipu bị lộ thông tin có tới 3,5 nghìn tỷ tham số — có tiềm năng đạt trình độ ngang Claude Fable

Theo tin nhanh Beating AI của Dongcha, một bản ghi chép phỏng vấn chuyên gia đang lan truyền trong giới đầu tư tiết lộ: quy mô tham số của thế hệ mô hình nền tiếp theo do công ty trí tuệ nhân tạo Zhipu phát triển không phải là 1,6 nghìn tỷ như tin đồn thị trường trước đây, mà nằm trong khoảng từ 2,5 nghìn tỷ đến 3,5 nghìn tỷ; trong khi đó, mô hình GLM-5.3 do Zhipu ra mắt vào tháng 8 năm nay vẫn dựa trên thế hệ mô hình nền trước đó, với tổng số tham số khoảng 744 tỷ — nếu thông tin này là chính xác, thì số tham số của mô hình nền mới sẽ cao gấp 3,4 đến 4,7 lần so với GLM-5.3 hiện tại. Bản ghi chép chỉ ra rằng quá trình huấn luyện mô hình này gặp nhiều trở ngại, Zhipu đã áp dụng thiết kế kiến trúc táo bạo hơn, dẫn đến hiện tượng mất mát (Loss) bị đình trệ kéo dài trong giai đoạn huấn luyện sơ bộ, tức là tiêu tốn liên tục sức mạnh tính toán nhưng không thể thúc đẩy thêm việc tối ưu hóa các chỉ số huấn luyện then chốt; tuy nhiên, người được phỏng vấn đánh giá rằng các vấn đề kỹ thuật liên quan gần đây đã được giải quyết, công tác huấn luyện dự kiến sẽ sớm hoàn tất và cho rằng mô hình cuối cùng có tiềm năng đạt tới trình độ hàng đầu tương đương với Claude Fable. Bản ghi chép cũng nêu rằng mô hình mới từ