A empresa de chips de IA Groq quer que todos se esqueçam do chatbot de Elon Musk com quase o mesmo nome, Grok. As demonstrações super rápidas da Groq viralizaram neste fim de semana, tornando as versões atuais do ChatGPT, Gemini e até Grok lentas. A Groq afirma fornecer “os modelos de linguagem grandes mais rápidos do mundo” e testes de terceiros estão dizendo que essa afirmação pode ser verdadeira.
Em um piscar de olhos, a Groq produz centenas de palavras em uma resposta factual, citando fontes ao longo do caminho, de acordo com uma demonstração postada no X. Em outra demonstração, o fundador e CEO Jonathan Ross permitiu que um apresentador da CNN tivesse uma conversa verbal em tempo real com um chatbot de IA do outro lado do mundo na televisão ao vivo. Enquanto o ChatGPT, o Gemini e outros chatbots são impressionantes, a Groq poderia torná-los ultra rápidos. Rápidos o suficiente para terem aplicações práticas no mundo real.
A Groq produz 247 tokens/segundo em comparação com os 18 tokens/segundo da Microsoft, de acordo com um teste de terceiros da Artificial Analysis publicado na semana passada. Isso significa que o ChatGPT poderia rodar mais de 13 vezes mais rápido se estivesse sendo executado nos chips da Groq.
Os chatbots de IA como o ChatGPT, Gemini e Grok poderiam ser significativamente mais úteis se fossem mais velozes. Uma limitação atual é que esses modelos não conseguem acompanhar a fala humana em tempo real; alguns atrasos fazem as conversas parecerem robóticas. O Google recentemente falsificou sua demonstração do Gemini para parecer que o Gemini poderia ter uma conversa multimodal em tempo real, mesmo que não possa. Mas com a velocidade aumentada da Groq, esse vídeo poderia se tornar realidade.
Antes da Groq, Ross co-fundou a divisão de chips de IA do Google, que produziu chips de ponta para treinar modelos de IA. Com os LPUs, Ross diz que a Groq contorna dois gargalos do LLM nos quais GPUs e CPUs ficam presos: densidade de cálculo e largura de banda de memória.
O nome Grok vem de “Estranho em uma Terra Estranha”, um livro de ficção científica de 1961 de Robert Heinlein. A palavra significa “entender profundamente e intuitivamente”. Essa é a razão pela qual muitas empresas de IA estão usando para descrever seus produtos de IA.
Não existem apenas Groq, Grok de Ross e Grok de Elon Musk, mas também uma empresa de TI habilitada para IA chamada Grok. Grimes também tem um brinquedo AI chamado Grok, supostamente chamado assim pela maneira como ela e os filhos de Musk dizem “Grocket”. No entanto, Ross afirma que seu Groq foi o primeiro em 2016.
“Seja bem-vindo à Galáxia da Groq, Elon”, disse uma postagem de blog de novembro de Ross, três dias depois que Elon Musk lançou a versão do xAI do Grok. “Veja bem, eu sou o fundador e CEO da empresa chamada Groq™”, disse Ross, certificando-se de incluir que Groq é um nome registrado.
Embora a Groq esteja recebendo muita atenção, ainda não se sabe se seus chips de IA têm a mesma escalabilidade que as GPUs da Nvidia ou os TPUs do Google. Os chips de IA são um foco importante para o CEO da OpenAI, Sam Altman, hoje em dia, que até está considerando construí-los sozinho. As velocidades aumentadas dos chips da Groq poderiam impulsionar o mundo da IA, criando novas possibilidades para comunicação em tempo real com chatbots de IA.
