2024年12月，Cerebras Systems标志着人工智能历史的转折点。他们与加利福尼亚州桑迪亚国家实验室合作，在单个 CS-3 系统上训练了一个包含超过一万亿个参数的深度学习模型。这一技术进步无需复杂的基础设施或代码修改即可实现，重新定义了人工智能模型的性能标准。
我们为什么要谈论革命？
到目前为止，训练如此规模的模型一直是一个巨大的挑战。完成此类任务需要数千个 GPU 和数周的硬件配置。配备晶圆级集群技术和外部MemoryX设备的Cerebras CS-3从根本上简化了流程，打破了这一障碍。
解决方案在于内存管理。万亿参数模型需要数 TB 的内存，远远超出了单个GPU 澳大利亚电报数据 能力。 CS-3 系统使用 MemoryX，这是一种能够有效存储和管理模型权重的外部存储设备。只需几天时间，55TB 的配置就搭建完毕，可以快速启动第一步训练。
但真正的创新在于线性可扩展性。在证明了单个 CS-3 系统的有效性后，研究人员将训练扩大到 16 个单元，速度接近线性加速 15.3 倍。