O que começou como um projeto de hackathon de 24 horas no último fim de semana pode capacitar a comunidade de código aberto a revolucionar a indústria de óculos inteligentes. Cinco membros da equipe construíram um par de óculos inteligentes de $20, apelidado de Open Glass, que conecta o que você vê e ouve a um chatbot de IA, como o Llama 3 da Meta.
Scott Fitsimones dirigiu até o centro de San Francisco no sábado de manhã para se encontrar com Nik Shevchenko, sem saber que passaria as próximas 24 horas em um hackathon de IA construindo um novo dispositivo com ele. Na época, Fitsimones pensava que estava pegando um pingente de IA feito por Shevchenko, quem ele descreve como líder do movimento crescente de wearables de IA de San Francisco. No final do fim de semana, a equipe deles venceu o hackathon e tinha aproximadamente 1500 pessoas na lista de espera para encomendar seus óculos inteligentes de código aberto.
“Não tinha ideia deste hackathon, e foi muito serendipidade”, disse Fitsimones. “E então, você sabe, acho que começamos a trabalhar e construir no protótipo inicial.”
Por sua parte, Shevchenko entrou no hackathon sabendo que queria construir o elemento de hardware para algum tipo de óculos inteligentes, de acordo com seus companheiros de equipe. Ele se juntou a Stepnan Korshakov, que resolveu os desafios de software mais difíceis do projeto. Esses dois recrutaram Fitsimones, Shreeganesh Ramanan e Jatin Gupta para formar uma equipe vencedora.
Em uma sala ampla e arejada com vista para as águas azuis e montanhas verdes da Baía de São Francisco, engenheiros de software codificavam em sofás fofos com pilhas de La Croix ao lado. O Cerebral Valley frequentemente hospeda hackathons como este, reunindo a próspera cena de startups de IA de São Francisco. Shevchenko era um dos poucos que usava uma caneta de solda em vez de um laptop, enquanto o resto da equipe continuava com o software. Em um ponto no sábado à noite, Shevchenko saiu do evento para imprimir em 3D o estojo do computador do Open Glass.
Após cerca de um dia de hacking, Shevchenko e a equipe orgulhosamente apresentaram um par barato de óculos de sol com uma caixa preta sobressalente no lado direito. Os óculos apresentavam uma câmera que tirava uma foto a cada cinco segundos e um microfone que transcrevia constantemente o áudio. Isso coleta um banco de dados de fotos e texto para espelhar o que seus olhos e ouvidos captam. Aperte um botão no lado dos óculos, e você pode perguntar ao chatbot Llama 3 da Meta para responder perguntas sobre sua própria vida.
“Qual era o nome daquela pessoa?”, “Onde eu deixei minha chave?”, e “Quantas calorias têm nessas frutas?” foram algumas das perguntas respondidas pela IA durante a demonstração. A tecnologia tem aplicações úteis para muitas pessoas, mas poderia se destacar especialmente em ajudar alguém com má visão ou deficiência auditiva.
A equipe de Shevchenko ganhou o primeiro prêmio no hackathon, apesar de um bug nas habilidades de conversão de fala para texto dos óculos durante a demonstração. Eles receberam elogios dos executivos da Meta e da Groq, bem como do CEO da Hugging Face, Clem Delangue, que julgou os projetos finais. Em questão de horas, a mente empreendedora de Shevchenko entrou em ação e ele criou uma lista de espera para encomendar uma versão do protótipo.
“Uau, Uau, Uau, são 1.300”, disse Korshakov ao telefone comigo na segunda-feira ao descobrir quantas pré-encomendas eles tinham recebido. “Pessoas ao redor do mundo querem construir coisas com isso. Agora eles têm alguma forma de possuir e contribuir para o sucesso deste projeto eles mesmos.”
Embora outros óculos inteligentes estejam no mercado hoje – como os Ray-Bans da Meta – eles não são de código aberto ou tão baratos. O Open Glass oferece um kit relativamente barato que permite aos desenvolvedores escolher quais LLMs desejam usar e decidir o que querem que os óculos façam. Por exemplo, nem todo par de Open Glass precisa tirar fotos ou gravar constantemente áudio. Isso oferece uma opção acessível e hackeável para óculos inteligentes, um formato que anteriormente era grotescamente caro e limitado no que se poderia fazer.
“Você pode conectá-lo ao OpenAI, você pode conectá-lo ao Gemini”, disse Ramanan em uma entrevista por telefone. “Tem muito a ver com ter a capacidade de misturar e combinar todas as melhores opções e depois criar suas próprias aplicações e estruturas interessantes.”
Os óculos inteligentes ainda não pegaram como outros wearables. No entanto, o avanço dos modelos de IA multimodal torna este um momento emocionante para os óculos inteligentes. É fácil imaginar como o novo GPT-4 Omni da OpenAI, que pode processar vídeo, áudio e texto simultaneamente, poderia ser usado em óculos como este. Até mesmo o Google mostrou um protótipo dos novos Google Glasses em uma demonstração de sua mais recente IA na terça-feira. O Open Glass espera que dar à comunidade de código aberto acesso a essa tecnologia possibilite uma maior inovação no setor.
Uma coisa que tem assolado os óculos inteligentes são as preocupações com a privacidade. Os Ray-Bans da Meta não estão constantemente gravando áudio e vídeo para usar sua vida como um banco de dados, e isso provavelmente é algo bom. Mas há uma comunidade crescente de fanáticos por gadgets de IA no Vale do Silício que estão interessados na ideia de gravar constantemente suas vidas para criar o assistente pessoal definitivo. Anéis, pingentes e agora óculos estão surgindo de startups em São Francisco, todos fascinados por esse potencial.
Embora a abertura da tecnologia permita que os desenvolvedores inovem nessas ideias de uma maneira mais caseira, ainda há grandes preocupações a serem abordadas com privacidade e custos. Essas questões são importantes, mas não são exatamente o foco dos desenvolvedores nas fases iniciais desta tecnologia. O mais importante para eles é torná-la útil.
Algumas pessoas não técnicas podem comprar Open Glass simplesmente para usar um par de óculos inteligentes baratos. A equipe ainda está desenvolvendo o produto, mas parece que virá com grandes modelos de linguagem embutidos e um aplicativo móvel para acompanhar. O preço real do dispositivo também está sujeito a mudanças, embora todo o código fonte esteja disponível gratuitamente no GitHub.
A história do Open Glass é um testemunho da próspera cultura de startups de IA em São Francisco. A comunidade de código aberto poderia desbloquear avanços importantes em tecnologias estagnadas como os óculos inteligentes. Mais pragmaticamente, também poderia oferecer a pessoas não técnicas um par de óculos inteligentes pelo preço de um ingresso de cinema.
