Reflexões sobre o custo de inferência de LLM vs. receita para o 4º trimestre

Tenho pensado muito sobre o impulso para uma inferência mais barata para LLMs, especialmente com alguns dos lançamentos recentes de modelos. Parece que o mercado está subestimando a rapidez com que isso impactará o resultado final de alguns dos principais players. Vimos muito foco nos custos de treinamento, mas à medida que esses modelos são implantados em escala, a inferência se torna o verdadeiro motor de custo. Estou colocando uma probabilidade de 60% de que pelo menos duas grandes empresas centradas em IA relatem uma diminuição significativa ano a ano em seu custo médio combinado de inferência por consulta e um aumento correspondente na receita relacionada à inferência para o 4º trimestre. O raciocínio baseia-se em grande parte nas novas eficiências de hardware que finalmente estão entrando em operação e na concorrência agressiva que está reduzindo os preços da API, o que forçará a inovação na estrutura de custos subjacente. Se eles não mostrarem isso, é um sinal de alerta para mim sobre sua capacidade de escalar de forma lucrativa.