Pemikiran tentang biaya inferensi LLM vs. ekspektasi pasar untuk Q3/Q4

Sudah mengikuti ruang AI dengan cukup cermat, terutama perlombaan untuk mengoptimalkan inferensi LLM. Kami telah melihat beberapa peningkatan efisiensi yang cukup mengesankan akhir-akhir ini, tetapi pasar masih memperhitungkan, apa yang saya lihat sebagai, jadwal yang cukup agresif untuk inferensi berkualitas tinggi yang tersebar luas, sangat murah, menjadi norma.

Menurut saya, meskipun tren tidak dapat disangkal menuju biaya yang lebih rendah, tingkat pengurangan biaya untuk model yang benar-benar kuat dan kompleks (pikirkan di luar chatbot dasar) kemungkinan akan mencapai sedikit dataran tinggi di akhir Q3 hingga Q4 sebelum perubahan langkah signifikan lainnya. Kami melihat hasil yang semakin berkurang pada beberapa penyesuaian arsitektur saat ini, dan lompatan besar berikutnya kemungkinan melibatkan terobosan perangkat keras atau algoritmik yang lebih mendasar yang membutuhkan waktu untuk diskalakan. Saya akan menempatkan kemungkinan sekitar 65% bahwa kita akan melihat beberapa pemain kunci dalam infrastruktur AI atau ruang cloud menyesuaikan proyeksi pengurangan biaya inferensi Q3/Q4 mereka sedikit ke bawah, atau setidaknya memberikan peningkatan pada batas bawah dari rentang yang mereka pandu. Ini bukan berarti tidak akan menjadi lebih murah, tetapi kurva eksponensial mungkin akan sedikit mendatar lebih cepat dari yang diperkirakan oleh beberapa analis yang lebih optimis saat ini. Hal ini dapat memiliki dampak yang halus namun nyata pada valuasi perusahaan yang seluruh kasus bullishnya didasarkan pada layanan AI tingkat atas yang praktis gratis dan instan dalam enam bulan ke depan.