3분기 LLM 성능 동향 - 스케일링을 넘어

LLM 분야를 면밀히 지켜봐 왔는데, 스케일링 법칙이 지배적인 서사였지만, 이제는 아키텍처 혁신과 데이터셋 큐레이션이 순수 파라미터 수보다 성능 향상에 훨씬 더 중요한 동인이 되는 전환점에 다다르고 있다고 생각합니다. 최근 출시된 제품들에서 더 작고 잘 훈련된 모델이 종종 기대 이상의 성능을 발휘하는 것을 보며 이러한 징후를 엿볼 수 있었습니다.

3분기에 대한 제 견해는 다음과 같습니다. 주요 AI 연구소(DeepMind, OpenAI 또는 다크호스 학술 그룹) 중 적어도 한 곳이 이전 세대와 비교하여 모델 크기의 비례적인 증가 없이 추론 또는 장문 맥락 이해에서 상당하고 입증 가능한 도약을 보여줄 확률을 60%로 봅니다. 이것은 단순히 효율성에 관한 것이 아니라, 기능의 질적 향상에 관한 것입니다.

그 이유는 스케일의 쉬운 열매는 이미 따지고 있으며, 컴퓨팅은 여전히 많은 사람들에게 병목 현상이기 때문입니다. 경쟁은 FLOP당 더 많은 지능을 추출할 수 있는 사람에게로 이동합니다. 이것은 최적화 문제이며, 업계의 인센티브 구조는 이제 이러한 효율성과 새로운 접근 방식을 찾는 데 강력하게 맞춰져 있습니다. 새로운 어텐션 메커니즘 또는 '적을수록 좋다'는 데이터 전략을 논의하는 논문에 주목하십시오. 이것이 오늘 $DOGE 0.07014를 직접 움직이지는 않겠지만, 더 넓은 시장 심리를 움직이는 'AI 내러티브'의 근본적인 기술입니다.