Tren Kinerja LLM Menjelang Q3 - Melampaui Skala

Telah mengamati ruang LLM dengan cermat, dan meskipun hukum penskalaan telah menjadi narasi dominan, saya berpikir kita mendekati titik balik di mana inovasi arsitektur dan kurasi dataset menjadi pendorong yang jauh lebih penting untuk peningkatan kinerja daripada jumlah parameter mentah. Kita melihat beberapa petunjuk tentang hal ini dalam rilis terbaru di mana model yang lebih kecil dan terlatih dengan baik seringkali dapat mengungguli bobotnya.

Pandangan saya untuk Q3: Saya akan memberikan probabilitas 60% bahwa setidaknya satu laboratorium AI besar (pikirkan DeepMind, OpenAI, atau kelompok akademis kuda hitam) menunjukkan lompatan signifikan dan terbukti dalam penalaran atau pemahaman konteks panjang tanpa peningkatan proporsional yang setara dalam ukuran model dibandingkan dengan generasi sebelumnya. Ini bukan hanya tentang efisiensi; ini tentang peningkatan kualitatif dalam kemampuan.

Alasannya adalah bahwa buah yang mudah dipetik dari skala semakin dipetik, dan komputasi masih menjadi hambatan bagi banyak orang. Perlombaan bergeser ke siapa yang dapat mengekstrak lebih banyak kecerdasan per FLOP. Ini adalah masalah optimasi, dan struktur insentif dalam industri sekarang sangat selaras dengan menemukan efisiensi dan pendekatan baru tersebut. Perhatikan makalah yang membahas mekanisme perhatian baru atau strategi data 'less-is-more'. Ini mungkin tidak secara langsung menggerakkan $DOGE 0.07014 hari ini, tetapi ini adalah teknologi fundamental yang mendasari 'narasi AI' yang memang mendorong sentimen pasar yang lebih luas.