O que começou como um projeto de hackathon de 24 horas no último fim de semana pode capacitar a comunidade de código aberto a revolucionar a indústria de óculos inteligentes. Cinco membros da equipe construíram um par de óculos inteligentes de $20, chamado Open Glass, que conecta o que você vê e ouve a um chatbot de IA, como o Llama 3 da Meta.
Scott Fitsimones dirigiu até o centro de São Francisco no sábado de manhã para encontrar Nik Shevchenko, sem saber que passaria as próximas 24 horas em um hackathon de IA construindo um novo dispositivo com ele. Na época, Fitsimones achava que estava pegando um pingente de IA feito por Shevchenko, que ele descreve como o líder do movimento crescente de vestíveis de IA em São Francisco. No final do fim de semana, a equipe deles venceu o hackathon e tinha aproximadamente 1.500 pessoas em lista de espera para pré-encomendar seus óculos inteligentes de código aberto.
“Eu não fazia ideia desse hackathon, foi muito serendipidade”, disse Fitsimones. “E então, sabe, acho que começamos apenas a esquematizar e construir o protótipo inicial.”
Por sua parte, Shevchenko foi para o hackathon sabendo que queria construir o elemento de hardware para algum tipo de óculos inteligentes, de acordo com seus colegas de equipe. Ele se juntou a Stepnan Korshakov, que resolveu os desafios de software mais difíceis do projeto. Esses dois recrutaram Fitsimones, Shreeganesh Ramanan e Jatin Gupta para formar uma equipe vencedora.
Em uma sala ampla e arejada com vista para as águas azuis e montanhas verdes da área da Baía, engenheiros de software codificaram em sofás confortáveis com pilhas de La Croix ao lado. O Cerebral Valley hospeda hackathons como esse com frequência, reunindo a próspera cena de startups de IA de São Francisco. Shevchenko foi um dos poucos a usar uma caneta de solda em vez de um laptop, enquanto o restante da equipe se concentrava no software. Em certo momento, tarde de sábado, Shevchenko saiu do evento para imprimir em 3D a caixa do computador do Open Glass.
Após cerca de um dia de hacking, Shevchenko e a equipe apresentaram com orgulho um par de óculos de sol baratos com uma caixa preta saindo do lado direito. Os óculos tinham uma câmera que tirava uma foto a cada cinco segundos e um microfone que transcrevia constantemente áudio. Isso recolhe um banco de dados de fotos e texto para refletir o que seus olhos e ouvidos captam. Pressione um botão do lado dos óculos, e você pode pedir ao chatbot Llama 3 da Meta para responder perguntas sobre sua própria vida.
“Qual era o nome daquela pessoa?”, “Onde deixei minhas chaves?” e “Quantas calorias têm nessas frutas?” foram algumas perguntas que a IA respondeu durante a demonstração. A tecnologia tem aplicações úteis para muitas pessoas, mas poderia se destacar especialmente em ajudar alguém com má visão ou má audição.
A equipe de Shevchenko ganhou o primeiro prêmio no hackathon, apesar de um erro nas capacidades de conversão de fala para texto dos óculos durante a demonstração. Eles receberam elogios dos executivos da Meta e da Groq, bem como do CEO da Hugging Face, Clem Delangue, que julgou os projetos finais. Em questão de horas, a mente empreendedora de Shevchenko entrou em ação e ele criou uma lista de espera para pré-encomendar uma versão do protótipo.
“Uau, é 1.300”, disse Korshakov ao telefone comigo na segunda-feira, ao descobrir quantas pré-encomendas eles haviam recebido. “Pessoas ao redor do mundo querem construir coisas com isso. Agora, eles têm um jeito de possuir e contribuir para o sucesso deste projeto.”
Embora outros óculos inteligentes estejam no mercado hoje – como os Ray-Bans da Meta – eles não são de código aberto ou tão baratos quanto. Open Glass oferece um kit relativamente barato que permite aos desenvolvedores escolher quais LLMs querem usar e decidir o que querem que os óculos façam. Por exemplo, nem todos os pares de Open Glass precisam tirar fotos ou gravar áudio constantemente. Isso oferece uma opção acessível e hackeável para óculos inteligentes, um formato que antes era caro e limitado no que se poderia fazer.
“Você pode conectar isso ao OpenAI, você pode conectar isso ao Gemini”, disse Ramanan em uma entrevista por telefone. “Tem muito a ver com a habilidade de misturar e combinar todas as melhores opções e depois criar suas próprias aplicações e estruturas interessantes.”
Os óculos inteligentes ainda não decolaram como outros wearables. No entanto, o avanço dos modelos de IA multimodal torna este um momento emocionante para os óculos inteligentes. É fácil imaginar como o novo GPT-4 Omni da OpenAI, que pode processar vídeo, áudio e texto simultaneamente, poderia ser usado em óculos como este. O Google até mostrou um protótipo dos novos Google Glasses em uma demonstração de sua mais recente IA na terça-feira. Open Glass espera que dar acesso à comunidade de código aberto a esta tecnologia possibilite uma maior inovação no espaço.
Uma coisa que tem atormentado os óculos inteligentes são as preocupações com privacidade. Os Ray-Bans da Meta não estão constantemente gravando áudio e vídeo para usar sua vida como um banco de dados, e isso provavelmente é uma coisa boa. Mas há uma comunidade crescente de fanáticos por dispositivos de IA no Vale do Silício que estão interessados na ideia de gravar constantemente suas vidas para criar o melhor assistente pessoal. Anéis, pingentes e agora óculos estão surgindo de startups em São Francisco, todas fascinadas por esse potencial.
Embora a abertura da tecnologia permita aos desenvolvedores inovar nessas ideias de uma maneira mais caseira, ainda há preocupações importantes a serem tratadas em relação à privacidade e aos custos. Essas questões são importantes, mas não exatamente o foco para os desenvolvedores nas fases iniciais desta tecnologia. O mais importante para eles é torná-la útil.
Alguns não técnicos podem comprar o Open Glass apenas para usar um par barato de óculos inteligentes. A equipe ainda está aprimorando o produto, mas parece que virá pré-instalado com grandes modelos de idiomas e um aplicativo móvel que o acompanha. O preço real do dispositivo também está sujeito a alterações, embora todo o código-fonte esteja disponível gratuitamente no GitHub.
A história do Open Glass é um testemunho da próspera cultura de startups de IA em São Francisco. A comunidade de código aberto pode desbloquear avanços-chave em tecnologias estagnadas como os óculos inteligentes. Mais concretamente, também pode oferecer a pessoas não técnicas um par de óculos inteligentes pelo preço de um ingresso de cinema.
