2024-07-31
完整的云端 AI 涉及到的四类互联网络

AI 算力更多集中在云端是目前的主流情况。而一套完整的云端 AI 涉及到哪些用于互联的网络呢?

Marvell 在下图做了一个归纳,其认为一共包括四类网络:

(1) Compute fabric(计算架构):连接服务器内的 AI 加速器、GPU、CPU 和其他组件。该架构设计用于在短距离内高速运行,通常依赖于使用 PCIe 或 NVLink 等专有接口的铜线

(2) Backend network(后端网络):使用多层互连的网络交换机和光模块将上述服务器连接成 AI 集群。网络协议包括 InfiniBand 或以太网。

(3) Frontend

2024-07-19
AI 数据中心网络设备的市场空间 2027

运行大模型的 AI 服务器都数据传输的网络带宽要求是传统服务器的 10-100x 倍。以 Nvidia InfiniBand 为代表的高性能网络互联的需求大增。

Spear Invest 预计 AI 数据中心网络设备的市场空间在 2027 会提升到 1,000 亿美元。