这个超算中心位于美国田纳西州宝运莱app登录,孟菲斯,使用了100,000个(不用数了!是10万个!)英伟达H100液冷GPU,通过单一RDMA网络连接。 RDMA(RemoteDirectMemoryAccess)即远程直接内存访问,它可以把数据直接从一台计算机传输到另一台计算机,无需双方操作系统的介入。单一RDMA打造了高吞吐、低延迟的网络通信,尤其适合在大规模并行计算机集群中使用。 单从规模来看,xAI孟菲斯超算中心已经在算力上跻身世界第一,不仅远远超过了OpenAI用来训练GPT-4的
2024-08-06 06:18:37