4분기 LLM 추론 비용 대 수익에 대한 생각

최근 모델 출시와 함께 LLM의 더 저렴한 추론에 대한 추진에 대해 많이 생각했습니다. 시장이 이것이 일부 주요 플레이어의 순이익에 얼마나 빨리 영향을 미칠지 과소평가하고 있는 것 같습니다. 우리는 훈련 비용에 많은 초점을 맞추는 것을 보았지만, 이러한 모델이 대규모로 배포됨에 따라 추론이 실제 비용 동인이 됩니다. 저는 최소한 두 개의 주요 AI 중심 회사가 4분기에 쿼리당 혼합 평균 추론 비용이 전년 대비 크게 감소하고 추론 관련 수익이 그에 상응하게 증가할 확률을 60%로 보고 있습니다. 그 이유는 주로 새로운 하드웨어 효율성이 마침내 가동되고 공격적인 경쟁으로 인해 API 가격이 하락하여 기본 비용 구조의 혁신을 강제할 것이라는 점에 기반합니다. 만약 그들이 그것을 보여주지 못한다면, 수익성 있게 확장할 수 있는 그들의 능력에 대한 저에게는 위험 신호입니다.