Reflexões sobre o impacto dos custos de inferência de LLM na capitalização de mercado de players menores

Tenho ponderado sobre o impacto a longo prazo dos custos crescentes, ou pelo menos estáveis, de inferência de LLM na avaliação de empresas que são essencialmente wrappers em torno de modelos de fundação. Estamos vendo a demanda por horas de GPU se intensificar, e embora os provedores de nuvem estejam escalando, há um limite natural para a rapidez com que a capacidade pode se expandir e os custos podem cair a zero, especialmente para modelos de ponta.

Eu colocaria a probabilidade em aproximadamente 60% de que veremos uma divergência notável no desempenho do mercado nos próximos 12-18 meses entre empresas de IA com modelos proprietários e altamente otimizados e aquelas fortemente dependentes de chamadas de API de terceiros. As margens de lucro destas últimas, e, portanto, sua capacidade de escalar de forma sustentável, estão diretamente expostas ao custo de entrada da computação, o que poderia se tornar um entrave significativo para seu valor percebido a longo prazo. Não se trata de falha imediata, mas sim de um limite para o crescimento que ainda não está totalmente precificado.