Reflexiones sobre el costo de inferencia de LLM vs. ingresos para el cuarto trimestre

He estado pensando mucho en el impulso hacia una inferencia más barata para los LLM, especialmente con algunos de los lanzamientos de modelos recientes. Parece que el mercado está subestimando la rapidez con la que esto impactará los resultados de algunas de las empresas clave. Hemos visto un gran enfoque en los costos de capacitación, pero a medida que estos modelos se implementan a escala, la inferencia se convierte en el verdadero impulsor de costos. Le doy una probabilidad del 60% a que al menos dos grandes empresas centradas en IA reporten una disminución significativa año tras año en su costo promedio combinado de inferencia por consulta y un aumento correspondiente en los ingresos relacionados con la inferencia para el cuarto trimestre. El razonamiento se basa en gran medida en las nuevas eficiencias de hardware que finalmente están entrando en funcionamiento y la competencia agresiva que reduce los precios de las API, lo que forzará la innovación en la estructura de costos subyacente. Si no muestran eso, es una señal de alerta para mí sobre su capacidad para escalar de manera rentable.