Suy nghĩ về chi phí suy luận LLM và tác động của chúng đến sự thâm nhập thị trường

Lại đào sâu vào kinh tế học backend của các mô hình ngôn ngữ lớn (LLM), đặc biệt là xung quanh chi phí suy luận. Mọi người đều tập trung vào việc đào tạo, nhưng đó phần lớn là chi phí chìm một lần. Yếu tố hạn chế dài hạn thực sự đối với việc áp dụng rộng rãi hơn trong doanh nghiệp, đặc biệt đối với các trường hợp sử dụng tinh tế hơn hoặc liên tục, là chi phí để chạy những thứ này ở quy mô lớn.

Quan điểm của tôi: Tôi cho rằng có khoảng 60% khả năng đến cuối năm nay, chúng ta sẽ thấy một ông lớn AI — nghĩ đến Google, OpenAI, hoặc thậm chí một hyperscaler như AWS với sản phẩm của riêng họ — công bố giảm giá cấu trúc đáng kể cho suy luận API, một cái gì đó vượt xa các điểm phần trăm tăng dần. Tôi đang nói đến việc cắt giảm hơn 20%, hoặc một cấu trúc phân cấp làm cho việc sử dụng khối lượng lớn rẻ hơn đáng kể. Lý do? Cảnh quan cạnh tranh đang nóng lên nhanh chóng, và kinh tế học đơn vị đang được cải thiện khi phần cứng tối ưu hóa và các mô hình trở nên hiệu quả hơn. Ngoài ra, mức giá hiện tại, mặc dù hợp lý cho những người dùng sớm, vẫn là một nút thắt cổ chai đối với các doanh nghiệp muốn tích hợp ở quy mô lớn mà không bị chảy máu tiền mặt. Nó không phải về $XOP ở mức 180.49; mà là về chi phí nội bộ của việc triển khai AI quyết định ROI thực tế cho các doanh nghiệp. Nếu họ muốn thâm nhập thị trường thực sự vượt ra ngoài những người dùng công nghệ sớm, ai đó phải làm cho việc chạy các mô hình của họ rẻ hơn đáng kể, nếu không, nó sẽ chỉ nằm trong giai đoạn chứng minh khái niệm cho nhiều trường hợp sử dụng. Nó không phải về một đợt giảm giá hàng ngày -20% kiểu $SSE, mà là một xu hướng giảm giá chiến lược được thúc đẩy bởi các lực lượng thị trường và những tiến bộ công nghệ.