下图是 Google 其下自动驾驶汽车 Waymo 在过去小十年的每 1000 英里的接管次数（Disengagement）。

如果只看图，会容易得出结论 2020 年之前，随着 Waymo 汽车的传感器、数据积累、软件和算法模型的优化，Waymo 被驾驶员 “接管" 的次数越来越少，自动驾驶的成熟度日趋提高。

从图上看，2020 年之后貌似进入 “瓶颈”，因为接管次数不降反升。

但实际上是，Waymo 2021 年进入了人口密集的旧金山，以及后续更多的自动驾驶出租车Robotaxi 投入使用。

AI 应用的运行需要消耗算力，那中国的各垂直行业中，企业 AI 应用的算力来自哪里呢？

根据易观和 CSDN 的 AI 应用开发者调研，34.2% 的反馈 “主要使用企业自建算力设施”。只有 20% 的反馈是 “主要使用算力云服务”。

这个反馈对公有云服务商而言，并不是乐观的消息。

对于生成式 AI 应用而言，训练数据的重要性是显而易见的。

通过对大量数据的积累和分析，开发者可以训练出更加精准和高效的模型，从而提升应用的性能和用户体验。数据飞轮闭环则是指通过用户使用应用产生的数据，进一步优化和迭代模型，形成一个持续循环的过程。

从易观和 CSDN 针对中国 AI 应用开发者的调研看，“领域数据量及数据获取难度使用成本” 是响 AI 应用开发者路径规划时最大的考虑因素。

从业人员 @0xPaulius 认为，在 OpenAI GPT 出现之前，聊天机器人用于某个特定用例的训练需要花费数月，以及 10,000 美金以上的训练成本，而且效果还很糟糕。

而使用 GPT、Llama 等大模型后，特定用户的训练效果会改善，而且训练成本只需要到 1,000+ 美元。

Epoch 研究显示，Google Gemini Ultra 的训练模型达到了 1.91 亿美元，而 OpenAI GPT-4 的训练成本估计为 7800 万美元。

对比，Google 最早的 Transformer 的训练成本仅为 900 美元。

所谓 Scaling laws （尺度定律），最浅显的理解就是物理规模得很大。

The Economist 基于 OpenAI 披露的数据，绘制了一张图，展示了不同的大模型及应用在算力需求上的变化。

纵轴是 OpenAI 用于描述 AI 计算量的算力单位 petaflop/s-days (每天执行 one petaflop per second）。OpenAI 定义一次乘法或一次加法为一个操作。如果每秒钟可以进行 10 的 15 次方运算，也就是1 peta flops，那么一天就可以进行约 10 的 20 次方运算，这个算力消耗被称为 1 个 petaflop/s-day。

从整体看上，摩尔定律时代大约两年算力翻一番；而当前用于 AI 大模型训练