Tendencias de rendimiento de LLM en el tercer trimestre - Más allá de la escala

He estado observando de cerca el espacio de los LLM, y aunque las leyes de escala han sido una narrativa dominante, creo que nos estamos acercando a un punto de inflexión donde la innovación arquitectónica y la curación de conjuntos de datos se vuelven impulsores mucho más críticos de las ganancias de rendimiento que el recuento de parámetros brutos. Vimos algunos indicios de esto en lanzamientos recientes donde un modelo más pequeño y bien entrenado a menudo podía superar sus expectativas.

Mi opinión para el tercer trimestre: Le daría un 60% de probabilidad de que al menos un laboratorio de IA importante (pensemos en DeepMind, OpenAI o un grupo académico inesperado) demuestre un salto significativo y demostrable en el razonamiento o la comprensión de contexto largo sin un aumento proporcional equivalente en el tamaño del modelo en comparación con su generación anterior. Esto no se trata solo de eficiencia; se trata de mejoras cualitativas en las capacidades.

La razón es que la fruta madura de la escala se está recogiendo, y la computación sigue siendo un cuello de botella para muchos. La carrera se traslada a quién puede extraer más inteligencia por FLOP. Es un problema de optimización, y las estructuras de incentivos en la industria ahora están fuertemente alineadas con la búsqueda de esas eficiencias y enfoques novedosos. Estén atentos a los artículos que discutan nuevos mecanismos de atención o estrategias de datos de 'menos es más'. Esto podría no mover directamente $DOGE 0.07014 hoy, pero es la tecnología fundamental subyacente a la 'narrativa de la IA' lo que impulsa el sentimiento general del mercado.