O que começou como um projeto de maratona de hackers de 24 horas no fim de semana passado poderia capacitar a comunidade de código aberto a revolucionar a indústria de óculos inteligentes. Cinco membros da equipe construíram um par de óculos inteligentes de $20, chamado Open Glass, que conecta o que você vê e ouve a um chatbot de IA, como o Llama 3 da Meta.
Scott Fitsimones dirigiu-se ao centro de São Francisco no sábado de manhã para encontrar Nik Shevchenko, sem saber que passaria as próximas 24 horas em um hackathon de IA construindo um novo dispositivo com ele. Na época, Fitsimones pensou que estava pegando um pingente de IA feito por Shevchenko, que descreve como o líder de movimento de wearables de IA crescente de São Francisco. No final do fim de semana, a equipe deles ganhou o hackathon e tinha aproximadamente 1.500 pessoas em uma lista de espera para pré-encomendar seus óculos inteligentes de código aberto.
“Eu não tinha ideia sobre este hackathon, e foi muito serendipitamente”, disse Fitsimones. “E então, sabe, eu acho que começamos a improvisar e construir no protótipo inicial.”
Por sua parte, Shevchenko foi para o hackathon sabendo que queria construir o elemento de hardware para algum tipo de óculos inteligentes, de acordo com seus colegas de equipe (Shevchenko não respondeu ao pedido de entrevista do Gizmodo). Ele foi acompanhado por Stepnan Korshakov, que resolveu os desafios de software mais difíceis do projeto. Esses dois pegaram Fitsimones, Shreeganesh Ramanan, e Jatin Gupta para formar uma equipe vencedora.
Em uma sala grande e arejada com vista para as águas azuis e as montanhas verdes da Baía de São Francisco, engenheiros de software codificavam em sofás fofos com pilhas de La Croix ao lado. O Cerebral Valley hospeda hackathons como este com frequência, reunindo a próspera cena de startups de IA de São Francisco. Shevchenko foi um dos poucos que usava uma caneta de solda em vez de um laptop, enquanto o resto da equipe continuava com o software. Em um momento tarde no sábado, Shevchenko deixou o evento para imprimir em 3D o case do computador Open Glass.
Após cerca de um dia de hackathon, Shevchenko e a equipe orgulhosamente apresentaram um par de óculos baratos com uma caixa preta sobressaindo do lado direito. Os óculos tinham uma câmera que tirava uma foto a cada cinco segundos, e um microfone que transcrevia constantemente o áudio. Isso coleta um banco de dados de fotos e texto para refletir o que seus olhos e ouvidos captam. Aperte um botão do lado dos óculos, e você pode pedir ao chatbot Llama 3 da Meta para responder a perguntas sobre sua própria vida.
“Qual é o nome daquela pessoa?”, “Onde deixei minhas chaves?”, e “Quantas calorias têm nessas frutas?” foram algumas das perguntas que a IA respondeu durante a demonstração. A tecnologia tem aplicações úteis para muitas pessoas, mas poderia se destacar especialmente ajudando alguém com baixa visão ou má audição.
A equipe de Shevchenko ganhou o primeiro prêmio no hackathon, apesar de um bug nas habilidades de conversão de fala para texto dos óculos durante a demonstração. Eles receberam elogios de executivos da Meta e Groq, bem como o CEO da Hugging Face, Clem Delangue, que julgou os projetos finais. Dentro de horas, a mente empreendedora de Shevchenko entrou em alta velocidade e ele criou uma lista de espera para pré-encomendar uma versão do protótipo.
“Opa, opa, opa, opa, são 1.300”, disse Korshakov ao telefone comigo na segunda-feira ao descobrir quantas pré-encomendas eles tinham recebido. “Pessoas ao redor do mundo querem construir coisas com isso. Agora eles têm alguma maneira de possuir e contribuir para o sucesso deste projeto sozinhos.”
Enquanto outros óculos inteligentes estão no mercado hoje – como os Ray-Bans da Meta – eles não são de código aberto ou tão baratos. O Open Glass oferece um kit relativamente barato que permite aos desenvolvedores escolher quais LLMs querem usar e decidir o que querem que os óculos façam. Por exemplo, nem todo par de Open Glass precisa tirar fotos ou gravar áudio constantemente. Isso oferece uma opção acessível e hackeável para óculos inteligentes, um formato que anteriormente era extremamente caro e limitado no que podia fazer.
“Você pode conectá-lo ao OpenAI, você pode conectá-lo ao Gemini”, disse Ramanan em uma entrevista por telefone. “Tem muito a ver com a capacidade de misturar e combinar todas as melhores opções e então criar suas próprias aplicações e estruturas interessantes.”
Os óculos inteligentes não pegaram tão bem quanto outros wearables. No entanto, o avanço de modelos de IA multimodais torna este um momento empolgante para os óculos inteligentes. É fácil imaginar como o novo GPT-4 Omni da OpenAI, que pode processar vídeo, áudio e texto simultaneamente, poderia ser usado em óculos como esses. Até o Google mostrou um protótipo dos novos Google Glasses em uma demonstração de sua última IA na terça-feira. O Open Glass espera que dar à comunidade de código aberto acesso a essa tecnologia possibilite uma maior inovação no espaço.
Uma coisa que tem assombrado os óculos inteligentes são as preocupações com privacidade. Os Ray-Bans da Meta não estão constantemente gravando áudio e vídeo para usar sua vida como um banco de dados, e isso provavelmente é algo bom. Mas há uma crescente comunidade de fanáticos por gadgets de IA no Vale do Silício interessada na ideia de gravar constantemente sua vida para criar o assistente pessoal definitivo. Anéis, pingentes e agora óculos estão surgindo de startups em São Francisco, todos fascinados por este potencial.
Enquanto o open source da tecnologia permitirá que os desenvolvedores inovem nessas ideias de uma maneira mais caseira, ainda há importantes questões a serem abordadas em relação à privacidade e aos custos. Essas questões são importantes, mas não são exatamente o foco dos desenvolvedores nas primeiras etapas desta tecnologia. O que é mais importante para eles é torná-la útil.
Algumas pessoas não técnicas podem comprar o Open Glass simplesmente para usar um par barato de óculos inteligentes. A equipe ainda está discutindo o produto, mas parece que ele virá com grandes modelos de linguagem embutidos e um aplicativo móvel que o acompanha. O preço real do dispositivo também está sujeito a alterações, embora todo o código fonte esteja disponível gratuitamente no GitHub.
A história do Open Glass é um testemunho da próspera cultura de startups de IA em São Francisco. A comunidade de código aberto pode desbloquear avanços-chave em tecnologias emperradas como os óculos inteligentes. Mais prático, também poderia oferecer às pessoas não técnicas um par de óculos inteligentes pelo preço de um ingresso de cinema.
