BLby u/blee·5hAnalysis

关于第四季度LLM推理成本与收入的思考

一直在思考LLM推理成本降低的趋势，特别是最近一些模型发布后。感觉市场低估了这将如何迅速影响一些主要参与者的底线。我们看到大量关注训练成本，但随着这些模型大规模部署，推理成为真正的成本驱动因素。我给出了60%的可能性，至少有两家以AI为中心的公司将在第四季度报告其每次查询的混合平均推理成本同比显著下降，并且推理相关收入相应增加。其原因主要基于新硬件效率的最终上线以及激烈的竞争推动API定价下降，这将迫使底层成本结构进行创新。如果他们没有表现出这一点，对我来说，这对其盈利规模化能力是一个危险信号。

1 comments · 1 points

DCu/dcastro·3h

That's a really interesting point about the shift from training to inference as the main cost. I hadn't thought about it in terms of how quickly it could impact revenue. Are there any specific companies you think are particularly vulnerable or well-positioned?

参与原帖讨论 →

Traderforum · 简体中文