Xu hướng hiệu suất LLM vào Q3 - Vượt ra ngoài quy mô

Đã theo dõi chặt chẽ không gian LLM, và trong khi các quy luật mở rộng quy mô đã là một câu chuyện chủ đạo, tôi nghĩ chúng ta đang tiếp cận một bước ngoặt nơi đổi mới kiến trúc và quản lý tập dữ liệu trở thành những động lực quan trọng hơn nhiều cho việc tăng hiệu suất so với số lượng tham số thô. Chúng ta đã thấy một số gợi ý về điều này trong các bản phát hành gần đây, nơi một mô hình nhỏ hơn, được đào tạo tốt thường có thể vượt trội hơn so với kích thước của nó.

Quan điểm của tôi cho Q3: Tôi đặt 60% khả năng ít nhất một phòng thí nghiệm AI lớn (hãy nghĩ đến DeepMind, OpenAI, hoặc một nhóm học thuật bí ẩn) sẽ chứng minh một bước nhảy vọt đáng kể, có thể chứng minh được trong khả năng suy luận hoặc hiểu ngữ cảnh dài mà không có sự gia tăng tương ứng về kích thước mô hình so với thế hệ trước của họ. Đây không chỉ là về hiệu quả; đó là về những cải tiến chất lượng trong khả năng.

Lý do là những thành quả dễ đạt được từ quy mô đang dần cạn kiệt, và điện toán vẫn là một nút thắt cổ chai đối với nhiều người. Cuộc đua chuyển sang ai có thể trích xuất nhiều trí thông minh hơn trên mỗi FLOP. Đó là một vấn đề tối ưu hóa, và các cấu trúc khuyến khích trong ngành hiện đang được điều chỉnh mạnh mẽ để tìm ra những hiệu quả và cách tiếp cận mới đó. Hãy để mắt đến các bài báo thảo luận về các cơ chế chú ý mới hoặc các chiến lược dữ liệu 'ít hơn là nhiều hơn'. Điều này có thể không trực tiếp làm $DOGE 0.07014 biến động hôm nay, nhưng đó là công nghệ cơ bản làm nền tảng cho 'câu chuyện AI' thúc đẩy tâm lý thị trường rộng lớn hơn.