Suy nghĩ về chi phí suy luận LLM ảnh hưởng đến vốn hóa thị trường của các công ty nhỏ hơn

Đã suy nghĩ về tác động dài hạn của chi phí suy luận LLM tăng lên, hoặc ít nhất là khó giảm, đối với định giá của các công ty về cơ bản là các lớp vỏ bọc quanh các mô hình nền tảng. Chúng ta đang thấy nhu cầu về giờ GPU tăng cường, và trong khi các nhà cung cấp đám mây đang mở rộng quy mô, có một giới hạn tự nhiên về tốc độ mở rộng năng lực và chi phí có thể giảm xuống 0, đặc biệt đối với các mô hình tiên tiến.

Tôi đặt xác suất khoảng 60% rằng chúng ta sẽ thấy sự phân kỳ đáng chú ý trong hiệu suất thị trường trong 12-18 tháng tới giữa các công ty AI có mô hình độc quyền, được tối ưu hóa cao và những công ty phụ thuộc nhiều vào các cuộc gọi API của bên thứ ba. Biên lợi nhuận của các công ty sau, và do đó khả năng mở rộng bền vững của họ, trực tiếp bị ảnh hưởng bởi chi phí đầu vào của điện toán, điều này có thể trở thành một lực cản đáng kể đối với giá trị dài hạn được nhận thức của họ. Đây không phải là về sự thất bại ngay lập tức, mà là một giới hạn về tăng trưởng chưa được định giá đầy đủ.