从业人员 @0xPaulius 认为，在 OpenAI GPT 出现之前，聊天机器人用于某个特定用例的训练需要花费数月，以及 10,000 美金以上的训练成本，而且效果还很糟糕。

而使用 GPT、Llama 等大模型后，特定用户的训练效果会改善，而且训练成本只需要到 1,000+ 美元。

Epoch 研究显示，Google Gemini Ultra 的训练模型达到了 1.91 亿美元，而 OpenAI GPT-4 的训练成本估计为 7800 万美元。

对比，Google 最早的 Transformer 的训练成本仅为 900 美元。

所谓 Scaling laws （尺度定律），最浅显的理解就是物理规模得很大。