知识块 #M4XARZ
不同 AI 大模型的训练成本
Robin  |  2024-04-19

Epoch 研究显示,Google Gemini Ultra 的训练模型达到了 1.91 亿美元,而 OpenAI GPT-4 的训练成本估计为 7800 万美元。

对比,Google 最早的 Transformer 的训练成本仅为 900 美元。

所谓 Scaling laws (尺度定律),最浅显的理解就是物理规模得很大。

数据来源 Epoch Stanford
分享链接 http://robin5G.com/M4XARZ
延伸阅读
以太网 LightCounting

大型 AI 计算集群的互联需要大量使用光模块。 附图来自 LightCounting 的研究,其预测了 2021 - 2029 年 AI 集群的以太网光模块出货量。

光模块 的销量侧面也可反应 AI 计算量的增长。

OpenAI 0xPaulius@X

从业人员 @0xPaulius 认为,在 OpenAI GPT 出现之前,聊天机器人用于某个特定用例的训练需要花费数月,以及 10,000 美金以上的训练成本,而且效果还很糟糕。

而使用 GPT、Llama 等大模型后,特定用户的训练效果会改善,而且训练成本只需要到 1,000+ 美元。

Gen AI 易观

AI 应用的运行需要消耗算力,那中国的各垂直行业中,企业 AI 应用的算力来自哪里呢?

根据易观和 CSDN 的 AI 应用开发者调研,34.2% 的反馈 “主要使用企业自建算力设施”。只有 20% 的反馈是 “主要使用算力云服务”。

这个反馈对公有云服务商而言,并不是乐观的消息。