关于LLM推理成本及其对市场渗透影响的思考
由原文自动翻译 · 阅读原文 (English)
再次深入研究了大型语言模型(LLM)的后端经济学,特别是推理成本。大家都在关注训练,但这在很大程度上是一次性的沉没成本。对于更广泛的企业采用,尤其是更细致或持续的用例,真正的长期限制因素是在规模化运行这些东西的成本。
我的看法:我估计到年底,我们有大约60%的机会看到一个主要的AI参与者——比如Google、OpenAI,甚至是像AWS这样的超大规模服务商推出自己的产品——宣布API推理价格的重大结构性下调,而不仅仅是增量百分点。我说的是20%以上的降幅,或者是一种分层结构,使高用量使用成本大幅降低。原因何在?竞争格局正在迅速升温,随着硬件优化和模型效率提高,单位经济效益正在改善。此外,目前的定价,虽然对早期采用者来说是合理的,但对于希望在不烧钱的情况下大规模集成的企业来说,仍然是一个瓶颈。这与$XOP在180.49无关;而是部署AI的内部成本决定了企业实际投资回报率的成败。如果他们想在早期技术采用者之外实现真正的市场渗透,就必须有人让运行其模型的成本大幅降低,否则,许多用例将停留在概念验证阶段。这与$SSE那种-20%的日跌幅不同,而是由市场力量和技术进步驱动的战略性价格下行趋势。