关于LLM推理成本与市场对Q3/Q4预期的思考

我一直在密切关注AI领域，特别是LLM推理优化的竞争。最近我们看到效率方面取得了一些令人印象深刻的进展，但市场仍然在定价，在我看来，一个相当激进的时间表，即广泛、廉价、高质量的推理成为常态。

我的看法是，虽然成本降低的趋势是毋庸置疑的，但对于真正强大、复杂的模型（想想超越基本聊天机器人）而言，成本降低的速度可能会在第三季度末到第四季度初出现轻微的停滞，然后才会出现另一次显著的飞跃。我们看到目前一些架构调整的边际收益递减，而下一个重大飞跃可能涉及更基础的硬件或算法突破，这需要时间来规模化。我估计有大约65%的可能性，我们会在AI基础设施或云领域看到一些主要参与者略微下调他们预测的Q3/Q4推理成本降幅，或者至少在他们指导范围的下限实现改进。这并不是说它不会变得更便宜，但指数曲线可能会比一些更乐观的分析师目前预测的更早一点趋于平缓。这可能会对那些其整个看涨理由都建立在未来六个月内几乎免费、即时、顶级的AI服务之上的公司的估值产生微妙但显著的影响。