Nesta História
Conforme a ByteDance desenvolve modelos de inteligência artificial para competir na China, o bot que ela usa para extrair dados e treinar esses modelos está aumentando sua atividade.
A ByteDance lançou seu próprio web scraper, Bytespider, em abril e agora está coletando dados várias vezes mais rápido do que os bots de outras empresas, relatou a Fortune, citando pesquisas da Kasada, uma empresa de gerenciamento de bots, e da Dark Visitors, um monitor de scraper bots. Empresas que desenvolvem modelos de IA, como Google (GOOGL) e Meta (META), usam bots para coletar dados e aprimorar os grandes modelos de linguagem (LLMs) e modelos multimodais que alimentam os serviços de IA das empresas.
O Bytespider está coletando dados da web cerca de 25 vezes mais rápido do que o web scraper do OpenAI, o GPTbot, disse Sam Crowther, CEO da Kasada. Em comparação com o ClaudeBot da Anthropic, o Bytespider é 3.000 vezes mais rápido.
Assim como os bots do OpenAI e da Anthropic, o Bytespider ignora instruções do robots.txt, uma linha de código não vinculativa que informa aos web scrapers quais dados podem ou não acessar em um site, relatou a Fortune. De acordo com os dados da Kasada, o Bytespider teve picos de atividade de scraping nas últimas seis semanas.
“É como se estivessem tentando desesperadamente acompanhar”, disse Crowther à Fortune.
A ByteDance não respondeu imediatamente a um pedido de comentário.
A empresa sediada na China lançou seu chatbot alimentado por IA, Doubao, em agosto passado, e está se mostrando uma concorrente difícil para o rival local Baidu, Ernie Bot. Em maio, a ByteDance lançou uma série de Doubao LLMs para empresas, que custam menos do que modelos dos concorrentes chineses da empresa.
Agora, a ByteDance planeja construir um novo modelo de IA usando chips da Huawei da China, segundo a Reuters, citando três pessoas não identificadas familiarizadas com o assunto. No entanto, um porta-voz da ByteDance disse anteriormente ao Quartz que a empresa não está desenvolvendo um novo modelo de IA.
A empresa também projetou dois chips de IA com a Taiwan Semiconductor Manufacturing Company (TSM) que a ByteDance planeja produzir em massa até 2026, relatou o The Information, citando pessoas não identificadas familiarizadas com o assunto. Ao produzir seus próprios chips, a empresa poderia se tornar menos dependente das caras unidades de processamento gráfico (GPUs) da Nvidia, que estão sujeitas a controles de exportação dos EUA, disseram as fontes do The Information.
