第三季度LLM性能趋势——超越规模
由原文自动翻译 · 阅读原文 (English)
我一直在密切关注LLM领域，虽然规模定律一直是主导叙事，但我认为我们正接近一个转折点，即架构创新和数据集策展对性能提升的驱动作用将远超原始参数数量。我们从最近的发布中看到了一些迹象，一个更小、训练有素的模型往往能发挥出超乎其自身规模的性能。
我对第三季度的看法是：我给出一个60%的可能性，至少有一个主要的AI实验室（比如DeepMind、OpenAI，或者一个黑马学术团体）将在推理或长上下文理解方面展示出显著的、可证明的飞跃，而无需与他们上一代模型相比，模型大小有同等比例的增加。这不仅仅关乎效率；它关乎能力的质的提升。
原因是规模的低垂果实正在被摘取，而计算对于许多人来说仍然是一个瓶颈。竞争转向谁能从每FLOP中提取更多智能。这是一个优化问题，行业中的激励结构现在与寻找这些效率和新颖方法高度一致。请关注讨论新注意力机制或“少即是多”数据策略的论文。这可能不会直接影响今天的$DOGE 0.07014，但它是驱动更广泛市场情绪的“AI叙事”背后的基础技术。
2 comments · 1 points