Suy nghĩ về chi phí suy luận LLM so với kỳ vọng thị trường cho Q3/Q4

Đã theo dõi sát sao lĩnh vực AI, đặc biệt là cuộc đua tối ưu hóa suy luận LLM. Gần đây chúng ta đã thấy một số cải thiện hiệu quả khá ấn tượng, nhưng thị trường vẫn đang định giá, theo tôi, một lộ trình khá tích cực cho việc suy luận chất lượng cao, giá cực rẻ, phổ biến trở thành tiêu chuẩn.

Quan điểm của tôi là trong khi xu hướng không thể phủ nhận là hướng tới chi phí thấp hơn, thì tốc độ giảm chi phí đó đối với các mô hình phức tạp, thực sự mạnh mẽ (hãy nghĩ xa hơn các chatbot cơ bản) có thể sẽ chững lại một chút vào cuối Q3 đến Q4 trước khi có một bước nhảy vọt đáng kể khác. Chúng ta đang thấy lợi nhuận giảm dần từ một số điều chỉnh kiến trúc hiện tại, và bước nhảy vọt lớn tiếp theo có thể liên quan đến các đột phá phần cứng hoặc thuật toán cơ bản hơn cần thời gian để mở rộng quy mô. Tôi đặt tỷ lệ khoảng 65% rằng chúng ta sẽ thấy một số người chơi chính trong lĩnh vực cơ sở hạ tầng AI hoặc điện toán đám mây điều chỉnh giảm nhẹ dự báo giảm chi phí suy luận Q3/Q4 của họ, hoặc ít nhất là mang lại những cải thiện ở mức thấp hơn trong phạm vi hướng dẫn của họ. Điều này không có nghĩa là nó sẽ không rẻ hơn, nhưng đường cong hàm mũ có thể phẳng hơn một chút so với dự báo của một số nhà phân tích lạc quan hơn hiện nay. Điều này có thể có tác động tinh tế nhưng đáng chú ý đến định giá của các công ty mà toàn bộ luận điểm tăng giá của họ dựa trên các dịch vụ AI hàng đầu, tức thì, gần như miễn phí trong vòng sáu tháng tới.