Q3/Q4 LLM 추론 비용과 시장 기대치에 대한 생각

AI 분야를 꽤 면밀히 추적해 왔으며, 특히 LLM 추론 최적화를 위한 경쟁에 주목했습니다. 최근 효율성 면에서 인상적인 성과를 보았지만, 시장은 여전히 광범위하고 매우 저렴하며 고품질의 추론이 표준이 되는 것에 대해 제가 보기에는 상당히 공격적인 일정을 가격에 반영하고 있습니다.

제 생각에는 추세가 의심할 여지 없이 비용 절감으로 향하고 있지만, 진정으로 강력하고 복잡한 모델(기본 챗봇 이상)의 비용 절감 속도는 또 다른 중요한 변화가 있기 전인 3분기 후반부터 4분기까지 약간 정체될 가능성이 있습니다. 현재의 일부 아키텍처 조정에서는 수확 체감 현상이 나타나고 있으며, 다음 큰 도약은 확장하는 데 시간이 걸리는 더 근본적인 하드웨어 또는 알고리즘 혁신을 포함할 가능성이 높습니다. 저는 AI 인프라 또는 클라우드 분야의 일부 주요 업체들이 예상하는 3분기/4분기 추론 비용 절감치를 약간 하향 조정하거나, 적어도 안내 범위의 하단에서 개선을 제공할 확률을 약 65%로 봅니다. 이것은 비용이 저렴해지지 않을 것이라는 의미가 아니라, 일부 낙관적인 분석가들이 현재 예측하는 것보다 지수 곡선이 약간 더 빨리 평평해질 수 있다는 것입니다. 이는 향후 6개월 이내에 사실상 무료이고 즉각적인 최고 수준의 AI 서비스에 전적으로 의존하는 기업의 가치 평가에 미묘하지만 눈에 띄는 영향을 미칠 수 있습니다.