Q4におけるLLM推論コストと収益に関する考察

最近のモデルリリースもあり、LLMの推論コスト削減への動きについて多く考えている。市場は、これが主要プレイヤーの収益にどれほど早く影響するかを過小評価しているように感じる。トレーニングコストには多くの注目が集まってきたが、これらのモデルが大規模に展開されるにつれて、推論が真のコストドライバーとなる。私は、少なくとも2つの主要なAI中心企業が、Q4にクエリあたりの平均推論コストで前年比大幅減を報告し、かつ推論関連収益の増加を報告する確率を60%と見ている。その理由は、新しいハードウェア効率がようやく実用化され、激しい競争がAPI価格を引き下げ、それが基盤となるコスト構造の革新を強制するという点に大きく基づいている。もし彼らがそれを示さなければ、私にとっては収益性のある規模拡大能力に対する危険信号となるだろう。