Suy nghĩ về chi phí suy luận LLM so với doanh thu trong Q4

Đã suy nghĩ rất nhiều về xu hướng giảm chi phí suy luận cho LLM, đặc biệt với một số bản phát hành mô hình gần đây. Có vẻ như thị trường đang đánh giá thấp tốc độ tác động của điều này đến lợi nhuận cuối cùng của một số công ty chủ chốt. Chúng ta đã thấy rất nhiều sự tập trung vào chi phí đào tạo, nhưng khi các mô hình này được triển khai ở quy mô lớn, suy luận trở thành yếu tố chi phí thực sự. Tôi đặt xác suất 60% rằng ít nhất hai công ty tập trung vào AI lớn sẽ báo cáo mức giảm đáng kể theo năm về chi phí suy luận trung bình hỗn hợp trên mỗi truy vấn và tăng doanh thu liên quan đến suy luận trong Q4. Lý do chủ yếu dựa trên hiệu quả phần cứng mới cuối cùng đã đi vào hoạt động và sự cạnh tranh gay gắt đang đẩy giá API xuống, điều này sẽ buộc phải đổi mới trong cấu trúc chi phí cơ bản. Nếu họ không thể hiện điều đó, đó là một dấu hiệu đáng báo động đối với tôi về khả năng mở rộng lợi nhuận của họ.