A Nvidia é como a Taylor Swift das empresas de tecnologia.
Seus clientes de IA desembolsam US$40.000 por chips avançados e às vezes esperam meses pela tecnologia da empresa, mantendo-se leais mesmo com alternativas concorrentes surgindo. Essa devoção vem do fato de a Nvidia ser a maior fabricante de chips de IA do mercado. Mas também existem razões técnicas importantes que mantêm os usuários voltando.
Por exemplo, não é simples trocar um chip por outro – as empresas constroem seus produtos de IA de acordo com as especificações desses chips. Mudar para uma opção diferente pode significar voltar e reconfigurar modelos de IA, uma busca demorada e cara. Também não é fácil misturar diferentes tipos de chips. E não é apenas o hardware: o CUDA, software da Nvidia para controlar chips de IA conhecidos como GPUs, funciona muito bem, disse Ray Wang, CEO da Constellation Research, com sede no Vale do Silício. Wang disse que isso ajuda a fortalecer a dominância de mercado da Nvidia.
“Não é que haja uma dependência absoluta”, disse ele. “É apenas que ninguém realmente dedicou um tempo para dizer: ‘Ei, vamos construir algo melhor'”.
Isso pode estar mudando. Nas últimas duas semanas, empresas de tecnologia começaram a concorrer com a Nvidia, com a Meta, da controladora do Facebook – Alphabet do Google e AMD revelando novos ou atualizados chips. Outros, incluindo Microsoft e Amazon, também fizeram anúncios recentes sobre produtos de chips de fabricação própria.
Embora a Nvidia provavelmente não seja destituída tão cedo, esses esforços e outros podem ameaçar a estimada participação de mercado de 80% da empresa ao apontar algumas fraquezas do fabricante de chips, aproveitando-se de um ecossistema em mudança – ou ambos.
Diferentes chips funcionam melhor em diferentes tarefas de IA, mas alternar entre várias opções é um problema para os desenvolvedores. Pode até ser difícil para diferentes modelos do mesmo chip, disse Wang. Desenvolver software que possa funcionar bem entre uma variedade de chips cria novas oportunidades para concorrentes, com Wang apontando para a oneAPI como uma startup que já está trabalhando em um produto assim.
“As pessoas vão perceber que, às vezes, precisam de CPUs, às vezes de GPUs e às vezes de TPUs, e você terá sistemas que realmente percorrem essas três opções”, disse Wang – referindo-se a unidades centrais de processamento, unidades de processamento gráfico e unidades tensoriais de processamento, três tipos diferentes de chips de IA.
Em 2011, o capitalista de risco Marc Andreessen proclamou famosamente que o software estava dominando o mundo. Isso ainda é verdade em 2024 quando se trata de chips de IA, que estão cada vez mais impulsionados pela inovação de software. O mercado de chips de IA está passando por uma mudança familiar com ecos nas telecomunicações, em que os clientes comerciais passaram de depender de múltiplos componentes de hardware para soluções de software integradas, disse Jonathan Rosenfeld, que lidera o grupo FundamentalAI no MIT FutureTech.
“Se você olhar para os avanços reais em hardware, eles não vêm da Lei de Moore ou algo assim, nem de longe”, disse Rosenfeld, que também é co-fundador e CTO da startup de saúde de IA somite.ai.
Essa evolução aponta para um futuro em que o software desempenha um papel crítico na otimização em várias plataformas de hardware, reduzindo a dependência de um único fornecedor. Embora o CUDA da Nvidia tenha sido uma ferramenta poderosa no nível do chip único, a mudança para um cenário dependente de software exigido por modelos muito grandes que abrangem muitas GPUs não necessariamente beneficiará a empresa.
“Provavelmente veremos consolidação”, disse Rosenfeld. “Existem muitos concorrentes, muito dinheiro e definitivamente muita otimização que pode acontecer.”
Rosenfeld não vê um futuro sem a Nvidia como uma força importante no treinamento de modelos de IA como o ChatGPT. O treinamento é como os modelos de IA aprendem a realizar tarefas, enquanto a inferência é quando eles usam esse conhecimento para realizar ações, como responder a perguntas que os usuários fazem a um chatbot. As necessidades de computação para essas duas etapas são distintas, e embora a Nvidia seja adequada para a parte de treinamento da equação, as GPUs da empresa não são tão adequadas para a inferência.
Apesar disso, a inferência representou aproximadamente 40% da receita do centro de dados da empresa nos últimos anos, segundo a Nvidia em seu último relatório de ganhos.
“Sinceramente, eles são melhores no treinamento”, disse Jonathan Ross, CEO e fundador da Groq, uma startup de chips de IA. “Você não pode construir algo que seja melhor em ambos”.
O treinamento é onde se gasta dinheiro, e a inferência deveria ser onde se ganha dinheiro, disse Ross. Mas as empresas podem se surpreender quando um modelo de IA é colocado em produção e requer mais poder de computação do que o esperado – reduzindo os lucros.
Além disso, as GPUs, o principal chip que a Nvidia fabrica, não são particularmente rápidas em fornecer respostas para chatbots. Enquanto os desenvolvedores não percebem uma pequena demora durante um treinamento de um mês, as pessoas que usam chatbots querem respostas o mais rápido possível.
Então, Ross, que anteriormente trabalhou em chips no Google, fundou a Groq para construir chips chamados de Unidades de Processamento de Linguagem (LPUs), que são construídos especificamente para inferência. Um teste de terceiros da Artificial Analysis descobriu que o ChatGPT poderia rodar mais de 13 vezes mais rápido se estivesse usando os chips da Groq.
Ross não vê a Nvidia como um concorrente, embora brinque que os clientes frequentemente se veem movidos para cima na fila para obter chips da Nvidia depois de comprar da Groq. Ele os vê mais como colegas no espaço – fazendo o treinamento enquanto a Groq faz a inferência. Na verdade, Ross disse que a Groq poderia ajudar a Nvidia a vender mais chips.
“Quanto mais as pessoas finalmente começam a ganhar dinheiro com a inferência”, disse ele, “mais vão gastar com o treinamento”.
