Suy nghĩ về việc giảm chi phí suy luận LLM vào cuối năm

Đã suy nghĩ rất nhiều về tốc độ đổi mới trong hiệu quả LLM, đặc biệt là suy luận. Gần đây chúng ta đã thấy một số cải tiến khá ấn tượng trong lượng tử hóa và giải mã suy đoán. Có vẻ như thị trường chưa định giá đầy đủ tác động của những phát triển này đối với kinh tế học cho các nhà khai thác lớn hơn đang chạy các tải suy luận nặng. Tôi đặt xác suất khoảng 60% sẽ thấy một sự nén đáng kể, có thể đo lường được khác – chẳng hạn, giảm 20-30% chi phí suy luận trung bình trên mỗi token cho các mô hình đa năng – vào tháng 12. Các chất xúc tác vẫn còn đó: cạnh tranh gay gắt, những đột phá nghiên cứu liên tục và động lực để đưa nhiều trường hợp sử dụng vào phạm vi chi phí hiệu quả. Điều này không chỉ là về các truy vấn nhanh hơn, mà còn về việc cho phép các ứng dụng hoàn toàn mới hiện đang quá đắt đỏ.

Lý do của tôi là những thành quả dễ đạt được trong kiến trúc và đào tạo mô hình có thể đang cạn kiệt, nhưng việc tối ưu hóa ở phía triển khai vẫn còn nhiều dư địa. Cải tiến phần cứng sẽ đóng góp, nhưng phần mềm và các cải tiến thuật toán là nơi tôi thấy tiềm năng lớn nhất. Nếu $CORN có thể giao dịch trong phạm vi hẹp như 17.58-17.76 cả ngày dựa trên các yếu tố cơ bản, tôi cũng kỳ vọng một số biến động và đột phá về hiệu quả AI. Đó là một loại thị trường khác, nhưng áp lực tương tự: tối ưu hóa hoặc bị bỏ lại phía sau. Tò mò muốn biết liệu những người khác có thấy xu hướng tương tự hay tôi quá lạc quan về tốc độ tiến bộ ở đây.