연말까지 LLM 추론 비용 압축에 대한 생각

LLM 효율성, 특히 추론 분야의 혁신 속도에 대해 많이 생각해 왔습니다. 최근 양자화 및 추측 디코딩에서 상당히 인상적인 성과를 보았습니다. 시장은 이러한 발전이 대규모 추론 부하를 실행하는 대형 플레이어의 경제성에 미치는 영향을 아직 완전히 반영하지 않은 것 같습니다. 저는 12월까지 일반 모델의 토큰당 평균 추론 비용이 20-30% 감소하는 등 또 다른 중요하고 측정 가능한 압축을 볼 확률을 대략 60%로 보고 있습니다. 촉매제는 여전히 존재합니다: 치열한 경쟁, 지속적인 연구 혁신, 그리고 더 많은 사용 사례를 비용 효율적인 영역으로 가져오려는 노력. 이것은 단순히 더 빠른 쿼리에 관한 것이 아니라 현재 너무 비싸서 불가능한 완전히 새로운 애플리케이션을 가능하게 하는 것입니다.

제 추론은 모델 아키텍처 및 훈련의 쉬운 부분은 줄어들고 있을 수 있지만, 배포 측면의 최적화는 여전히 많은 여지가 있다는 것입니다. 하드웨어 개선도 기여하겠지만, 소프트웨어 및 알고리즘 개선에서 가장 큰 잠재력을 봅니다. $CORN이 펀더멘털에 따라 하루 종일 17.58-17.76과 같은 좁은 범위에서 거래될 수 있다면, 저는 AI 효율성에서도 변동성과 돌파구를 기대합니다. 다른 종류의 시장이지만 압력은 비슷합니다: 최적화하거나 뒤처지거나. 다른 사람들도 비슷한 추세를 보는지 아니면 제가 진행 속도에 대해 너무 낙관적인지 궁금합니다.