A empresa Groq, especializada em chips de inteligência artificial, quer que todos esqueçam o chatbot sarcástico de Elon Musk com quase o mesmo nome, Grok. Demonstrações ultra-rápidas da Groq viralizaram neste fim de semana, tornando as versões atuais do ChatGPT, Gemini e até do Grok parecerem lentas. A Groq afirma fornecer “os modelos de linguagem mais rápidos do mundo”, e testes de terceiros estão sugerindo que essa afirmação pode ser verdadeira.
Em questão de segundos, a Groq produz centenas de palavras em uma resposta factual, citando fontes ao longo do caminho, de acordo com uma demonstração postada no X. Em outra demonstração, o fundador e CEO Jonathon Ross permitiu que um apresentador da CNN tivesse uma conversa verbal em tempo real com um chatbot de IA do outro lado do mundo em uma transmissão ao vivo. Enquanto o ChatGPT, o Gemini e outros chatbots são impressionantes, a Groq poderia torná-los super rápidos. Rápidos o suficiente para terem aplicações práticas no mundo real.
A Groq cria chips de IA chamados de Unidades de Processamento de Linguagem (LPUs), que afirmam ser mais rápidos do que as Unidades de Processamento Gráfico (GPUs) da Nvidia. As GPUs da Nvidia são geralmente vistas como o padrão da indústria para rodar modelos de IA, mas resultados iniciais indicam que as LPUs poderiam superá-las.
A Groq é um “motor de inferência”, não um chatbot como o ChatGPT, Gemini ou Grok. Ele ajuda esses chatbots a rodarem incrivelmente rápido, mas não os substitui completamente. No site da Groq, você pode testar diferentes chatbots e ver quão rápido eles rodam usando as LPUs da Groq.
A Groq produz 247 tokens/segundo comparado com os 18 tokens/segundo da Microsoft, de acordo com um teste de terceiros da Artificial Analysis publicado na semana passada. Isso significa que o ChatGPT poderia rodar mais de 13 vezes mais rápido se estivesse utilizando os chips da Groq.
Chatbots de IA como o ChatGPT, o Gemini e o Grok poderiam ser significativamente mais úteis se fossem mais rápidos. Uma limitação atual é que esses modelos não conseguem acompanhar a fala humana em tempo real; alguns atrasos tornam as conversas robóticas. O Google recentemente falsificou sua demonstração do Gemini para parecer que o Gemini poderia ter uma conversa multimodal em tempo real, embora não possa. Mas com a velocidade aumentada da Grok, esse vídeo poderia se tornar realidade.
Antes da Groq, Ross co-fundou a divisão de chips de IA do Google, que produziu chips de ponta para treinar modelos de IA. Com as LPUs, Ross diz que a Groq dribla dois gargalos dos LLMs em que GPUs e CPUs ficam presos: densidade de cálculo e largura de banda da memória.
O nome Grok vem do livro de ficção científica de 1961 “Estranho em uma Terra Estranha”, de Robert Heinlein. A palavra significa “compreender profundamente e intuitivamente”. Essa é a razão pela qual muitas empresas de IA estão usando para descrever seus produtos de IA.
Além da Groq de Ross e da Grok de Elon Musk, há também uma empresa de TI com inteligência artificial chamada Grok. Grimes também tem um brinquedo alimentado por IA chamado Grok, supostamente nomeado pela maneira como ela e os filhos de Musk dizem “Grocket”. No entanto, Ross afirma que sua Groq foi a primeira em 2016.
“Bem-vindo à galáxia da Groq, Elon” disse um blog de novembro de Ross, três dias depois de Elon Musk lançar a versão xAI do Grok. “Veja, eu sou o fundador e CEO da empresa chamada Groq™”, disse Ross, garantindo que a Groq é um nome registrado.
Embora a Groq esteja recebendo muita atenção, ainda não se sabe se seus chips de IA têm a mesma escalabilidade das GPUs da Nvidia ou dos TPUs do Google. Chips de IA são um foco importante para o CEO da OpenAI, Sam Altman, nos dias de hoje, que está até considerando construí-los sozinho. A aumento da velocidade dos chips da Groq poderia impulsionar o mundo da IA, criando novas possibilidades para a comunicação em tempo real com chatbots de IA.
