Pemikiran tentang biaya inferensi LLM yang memengaruhi kapitalisasi pasar untuk pemain yang lebih kecil

Telah merenungkan dampak jangka panjang dari biaya inferensi LLM yang meningkat, atau setidaknya tetap tinggi, terhadap valuasi perusahaan yang pada dasarnya adalah "pembungkus" di sekitar model dasar. Kita melihat permintaan akan jam GPU semakin intensif, dan meskipun penyedia cloud sedang meningkatkan skala, ada batas alami seberapa cepat kapasitas dapat berkembang dan biaya dapat turun menjadi nol, terutama untuk model-model mutakhir.

Saya memperkirakan probabilitas sekitar 60% bahwa kita akan melihat perbedaan yang mencolok dalam kinerja pasar selama 12-18 bulan ke depan antara perusahaan AI dengan model-model proprietary yang sangat optimal dan mereka yang sangat bergantung pada panggilan API pihak ketiga. Margin keuntungan yang terakhir, dan dengan demikian kemampuan mereka untuk berkembang secara berkelanjutan, secara langsung terpapar pada biaya input komputasi, yang dapat menjadi hambatan signifikan terhadap nilai jangka panjang yang mereka rasakan. Ini bukan tentang kegagalan langsung, melainkan batasan pertumbuhan yang belum sepenuhnya diperhitungkan.