Nesta história, a ByteDance desenvolve modelos de inteligência artificial para competir na China. O bot que a empresa utiliza para coletar dados e treinar esses modelos está aumentando significativamente em atividade.
A empresa lançou seu próprio web scraper, Bytespider, em abril e, segundo relatórios do Fortune, está raspando dados muito mais rapidamente do que os bots de outras empresas. Empresas que desenvolvem modelos de IA, como Google e Meta, usam bots raspadores para coletar dados e aprimorar os grandes modelos de linguagem (LLMs) e modelos multimodais que impulsionam seus serviços de IA.
Bytespider está raspando dados da web cerca de 25 vezes mais rapidamente do que o web scraper GPTbot da OpenAI, e 3.000 vezes mais rápido do que o ClaudeBot da Anthropic. Assim como os bots da OpenAI e da Anthropic, Bytespider ignora instruções dos robots.txt, um código não legalmente vinculativo que informa aos web scrapers quais dados podem ou não acessar em um site.
“É como se estivessem tentando desesperadamente se recuperar”, disse Crowther ao Fortune. ByteDance não respondeu imediatamente a um pedido de comentário.
Além disso, a empresa planeja construir um novo modelo de IA usando chips da Huawei, de acordo com informações da Reuters. A ByteDance também desenvolveu dois chips de IA com a Taiwan Semiconductor Manufacturing Company que planeja produzir em massa até 2026. Com a produção de seus próprios chips, a empresa poderia se tornar menos dependente das caras unidades de processamento gráfico (GPUs) da Nvidia, sujeitas a controles de exportação dos EUA.
