Pemikiran tentang biaya inferensi LLM dan dampaknya terhadap penetrasi pasar

Sudah menggali lagi ekonomi backend dari model bahasa besar (LLM) ini, khususnya seputar biaya inferensi. Semua orang fokus pada pelatihan, tetapi itu sebagian besar adalah biaya hangus satu kali. Pembatas jangka panjang yang sebenarnya untuk adopsi perusahaan yang lebih luas, terutama untuk kasus penggunaan yang lebih bernuansa atau berkelanjutan, adalah berapa biaya untuk menjalankan hal-hal ini dalam skala besar.

Pendapat saya: Saya memberikan kemungkinan sekitar 60% bahwa pada akhir tahun, kita akan melihat pemain AI besar — ​​pikirkan Google, OpenAI, atau bahkan hyperscaler seperti AWS dengan penawaran mereka sendiri — mengumumkan pengurangan harga struktural yang signifikan untuk inferensi API, sesuatu yang lebih dari sekadar persentase poin inkremental. Saya berbicara tentang pemotongan 20%+, atau struktur berjenjang yang membuat penggunaan volume tinggi jauh lebih murah. Alasannya? Lanskap kompetitif memanas dengan cepat, dan ekonomi unit membaik seiring dengan optimalisasi perangkat keras dan model menjadi lebih efisien. Juga, harga saat ini, meskipun dibenarkan untuk pengguna awal, masih menjadi hambatan bagi perusahaan yang ingin berintegrasi dalam skala besar tanpa mengeluarkan banyak uang. Ini bukan tentang $XOP di 180.49; ini tentang biaya internal penerapan AI yang membuat atau menghancurkan ROI dunia nyata untuk bisnis. Jika mereka menginginkan penetrasi pasar yang sebenarnya di luar pengguna awal teknologi, seseorang harus membuatnya secara material lebih murah untuk menjalankan model mereka, jika tidak, itu hanya akan tetap berada di ranah bukti konsep untuk banyak kasus penggunaan. Ini bukan tentang penurunan harian -20% gaya $SSE, tetapi tren penurunan harga strategis yang didorong oleh kekuatan pasar dan keuntungan teknologi.