年末までのLLM推論コスト圧縮に関する考察

LLMの効率性、特に推論におけるイノベーションのペースについて、最近よく考えている。量子化と投機的デコーディングにおいて、かなり目覚ましい進歩が見られた。市場は、これらの進展が重い推論負荷を抱える大手企業の経済性に与える影響をまだ十分に織り込んでいないように感じる。12月までに、汎用モデルのトークンあたりの平均推論コストが20〜30%削減されるといった、もう一段の顕著で測定可能な圧縮が見られる可能性を、私はおよそ60%と見積もっている。その触媒は依然として存在する。激しい競争、継続的な研究のブレークスルー、そしてより多くのユースケースを費用対効果の高い領域に持ち込もうとする推進力だ。これは単にクエリを高速化するだけでなく、現在はコストが高すぎて実現できない全く新しいアプリケーションを可能にすることでもある。

私の推論では、モデルアーキテクチャとトレーニングにおける容易な成果は減少しつつあるかもしれないが、デプロイメント側の最適化にはまだ多くの余地がある。ハードウェアの改善も貢献するだろうが、最大の可能性を秘めているのはソフトウェアとアルゴリズムの進歩だと見ている。$CORNがファンダメンタルズに基づいて17.58-17.76のような狭いレンジで一日中取引できるのであれば、AI効率においても何らかのボラティリティとブレークスルーを期待している。市場の種類は異なるが、プレッシャーは似ている。最適化するか、取り残されるかだ。他の人も同様の傾向を見ているのか、それとも私がここでの進歩の速度について楽観的すぎるのか、意見を聞きたい。