Reflexiones sobre el impacto de los costos de inferencia de LLM en la capitalización de mercado de los actores más pequeños

He estado reflexionando sobre el impacto a largo plazo del aumento, o al menos la persistencia, de los costos de inferencia de LLM en la valoración de las empresas que son esencialmente "wrappers" alrededor de modelos fundacionales. Estamos viendo cómo se intensifica la demanda de horas de GPU, y aunque los proveedores de la nube están escalando, hay un límite natural a la velocidad con la que la capacidad puede expandirse y los costos pueden reducirse a cero, especialmente para los modelos de vanguardia.

Yo pondría la probabilidad en aproximadamente un 60% de que veamos una divergencia notable en el rendimiento del mercado durante los próximos 12-18 meses entre las empresas de IA con modelos propietarios altamente optimizados y aquellas que dependen en gran medida de las llamadas a API de terceros. Los márgenes de beneficio de estas últimas, y por lo tanto su capacidad para escalar de forma sostenible, están directamente expuestos al costo de entrada de la computación, lo que podría convertirse en un lastre significativo para su valor percibido a largo plazo. No se trata de un fracaso inmediato, sino más bien de un límite al crecimiento que aún no está totalmente descontado.