Pemikiran tentang biaya inferensi LLM vs. pendapatan untuk Q4

Sudah banyak memikirkan tentang dorongan menuju inferensi yang lebih murah untuk LLM, terutama dengan beberapa rilis model terbaru. Rasanya pasar meremehkan seberapa cepat ini akan memengaruhi laba bersih beberapa pemain kunci. Kita telah melihat banyak fokus pada biaya pelatihan, tetapi seiring dengan penyebaran model-model ini dalam skala besar, inferensi menjadi pendorong biaya yang sebenarnya. Saya menempatkan probabilitas 60% pada setidaknya dua perusahaan besar yang berpusat pada AI melaporkan penurunan signifikan dari tahun ke tahun dalam biaya inferensi rata-rata gabungan per kueri dan peningkatan yang sesuai dalam pendapatan terkait inferensi untuk Q4. Alasannya sebagian besar didasarkan pada efisiensi perangkat keras baru yang akhirnya tersedia dan persaingan agresif yang menurunkan harga API, yang akan memaksa inovasi dalam struktur biaya yang mendasarinya. Jika mereka tidak menunjukkan itu, itu adalah tanda bahaya bagi saya tentang kemampuan mereka untuk meningkatkan skala secara menguntungkan.