Como Os Algoritmos De Recomendação Moldam Tudo Com O Qual Interagimos Online

Ouça em: Apple Podcasts | Spotify | Pandora

Este é o texto completo para a sétima temporada, episódio 6 – O algoritmo: Cartas de recomendação – do podcast Obsessão por Quartzo.

Gabriela: Quero ficar um pouco meta aqui, ouvintes. Por um motivo ou outro, você abriu uma ferramenta de streaming digital e isso o trouxe até mim. Ou melhor, minha voz apresentando este podcast. Talvez você esteja no computador e alguém que você conhece compartilhou este link em uma de suas redes sociais. Talvez você seja um fã que nos segue e seu telefone enviou um alerta com um novo episódio.

Talvez você estivesse em uma plataforma onde costuma ouvir outras coisas, audiolivros, álbuns, episódios de rádio, e nosso pequeno programa apareceu na sua tela. Recomendação sugerida. Programas que você pode gostar. Recomendado para você. Em algum lugar nas profundezas da sua tela, alguém ou algo tem silenciosamente determinado o que você vai querer ouvir em seguida.

Tudo bem, Bruce, você já tem que ouvir minha voz o dia todo no escritório e nas chamadas do Zoom. Como você se sentiria se o algoritmo o levasse a este episódio?

Bruce: Eu me sentiria como se tivesse acertado, que me conhece muito bem. Adoro falar sobre algoritmos com os editores do Quartzo.

Gabriela: Eu sou Gabriela Riccardi, a apresentadora da Obsessão por Quartzo temporada 7, onde estamos dando uma olhada mais de perto nas tecnologias e ideias que definem nossas vidas. Portanto, prepare-se para aprender sobre aprendizado de máquina, porque hoje estou conversando com Bruce Gill, do Quartzo, sobre algoritmos.

Quando estamos falando sobre algoritmos, pelo menos aqui, estamos falando de algoritmos de recomendação, a intrincada e peculiar sequência de números encarregada de descobrir o que você gosta e determinando como tudo o que você vê online se torna. Com isso em mente, Bruce, me explique, como você entrou no mundo do algoritmo?

Onde encontramos algoritmos de recomendação em nossas vidas diárias?

Bruce: Minha relação com o algoritmo tem sido, na maior parte do tempo, bastante positiva. Sou uma pessoa bastante indecisa por natureza. Adoro a ideia de ter algo, eu acho, me ajudando a decidir o que comer. Tipo, Grubhub, me dê recomendações. Netflix, me diga o que é bom para assistir. Spotify, me dê sua playlist selecionada.

Mas eu diria que havia algo um pouco diferente no TikTok. E acho que muitas pessoas tiveram uma experiência semelhante, onde parecia que o aplicativo te conhecia muito bem. No começo, achei isso incrível. Novamente, era como um fluxo muito constante de conteúdo divertido e envolvente.

O que o fez parecer bom demais? Que tipo de coisas ele estava servindo para você?

Era apenas muitas coisas que eu não tenho certeza de como eles sabiam que eu iria gostar. Obviamente, havia algumas coisas padrão se você me conhece. Clipes de RuPaul’s Drag Race. Havia alguns vídeos ASMR. Adoro ver pessoas batendo em coisas ou cortando sabão. Eu não sei por quê.

Gabriela: Isso coça o cérebro. Às vezes é inexplicável.

Bruce: Exatamente. E outra coisa estranha que eu notei foi que ele meio que me contou um pouco sobre minha história. Ele me mostrava memes de tempos antigos que eu costumava assistir com minha família quando eu era criança.

E eu fiquei tipo, como isso se meteu aqui? Porque não era algo que eu estava pesquisando no TikTok. Eventualmente, percebi que era quase demais, onde eu estava passando horas. Isso estava prejudicando meu sono. Acabei me livrando do aplicativo do meu telefone, apenas por preferência pessoal, e assim que comecei a aprender mais sobre esses algoritmos, isso pareceu um pouco enganoso ou meio que um pequeno trapaceiro que sabe mais sobre seus interesses do que você provavelmente sabe sobre si mesmo.

Gabriela: Todos ouvimos isso com bastante frequência, que meio que mergulhamos os dedos em uma nova plataforma social ou um ecossistema digital diferente, e de repente ela está puxando todas essas coisas que ela sabe sobre nós. Fazemos piadas de que nossos telefones e nossos dispositivos estão nos ouvindo, mas às vezes é apenas tão espantoso. Parece que muitas pessoas estão chegando a essas conclusões hoje, de que o algoritmo ficou tão sofisticado que está contando sobre você de uma maneira que você nem consegue falar sobre você mesmo.

Ok, Bruce, vamos apenas dividir isso para o nível mais básico. O que exatamente é um algoritmo?

Algoritmo: Em seu termo mais amplo, é apenas um processo ou um conjunto específico de instruções que, quando seguidas ou realizadas, resultam em um resultado desejado. Muitas vezes as pessoas gostam de descrevê-lo como quase uma receita para resolver um problema.

Eles costumam ser usados para resolver problemas matemáticos, mas agora com os computadores, eles são usados para resolver quase tudo.

Gabriela: Então volta, você sabe, todos nós aprendemos talvez na escola primária ou fundamental, a ideia da fórmula. Pelo menos nas minhas aulas, eu aprendi sobre PEMDAS, que é a ordem de operações para como colocar os números juntos para que eles cheguem às suas conclusões lógicas.

Os algoritmos são versões muito, muito, muito mais sofisticadas, mais evoluídas disso. Mas em seu nível básico, são apenas como fórmulas ou instruções. Então vamos voltar por um segundo. Quando as pessoas começaram? A usar algoritmos pela primeira vez. Como essa ideia de um algoritmo se originou?

Bruce: Os algoritmos são uma ideia bastante antiga. Alguns dos algoritmos mais antigos registrados foram escritos em tabuletas de argila em 2000 a.C. na Babilônia.

Gabriela: Oh, meu Deus.

Bruce: Isso mesmo, loucura. Havia matemáticos gregos, como um famoso algoritmo é o algoritmo euclidiano. Então esse remonta a 300 a.C. É um pouco mais recente.

Gabriela: Ah, sim. Muito mais recente.

Bruce: É um algoritmo para encontrar o maior divisor comum entre dois números diferentes de zero. E é basicamente um algoritmo muito simples onde você faz muitos problemas de divisão até obter o maior divisor comum ou o maior fator em dois números.

Gabriela: Ok.

Bruce: Tenho certeza de que as pessoas estão familiarizadas com isso desde a escola primária. Acho que é uma das primeiras fórmulas ou equações de fatoração que aprendemos na aula de matemática.

Gabriela: Como passamos de tempos literais, Euclides, matemática antiga, coisas sendo escritas em tabuletas, para o século 21 de hoje?

Quais são as origens dos algoritmos?

Bruce: Uma vez que os computadores entraram em cena, eles tornaram mais fácil para as pessoas realizar algoritmos maiores, mais complexos e são usados para todas as coisas, para classificar grandes conjuntos de dados.

Existem esses dois algoritmos que gosto de pensar como os algoritmos fundamentais para esses algoritmos de recomendação mais novos do TikTok, o Google PageRank. E o prêmio Netflix. Eles são realmente os que as pessoas começaram a interagir primeiro. Vamos começar com o Google, porque acho que é algo que usamos todos os dias e ouvir sobre suas origens é meio maluco.

Ah. Então o algoritmo original do Google foi escrito por volta de 1998 por esses dois universitários. Eles foram para Stanford, Sergey Brin e Lawrence Page. Eles o escreveram como parte de um artigo acadêmico enquanto estavam na faculdade. E a ideia era trazer ordem para a web. Naquela época, os mecanismos de busca não eram tão úteis quanto são agora.

Eles ainda estavam descobrindo como dar aos usuários os resultados de pesquisa mais relevantes e úteis. Então esses dois universitários tiveram a ideia de como garantir que ao buscar algo no Google, você está realmente obtendo informações confiáveis e não apenas o blog aleatório de alguém.

Gabriela: Então você está me dizendo que Larry Page e Sergey Brin criaram o Google a partir de um trabalho acadêmico, apenas um documento acadêmico, como de tantas maneiras que navegamos na internet hoje.

E também um verbo literário que acho que todo mundo tem em seu vocabulário para pesquisar algo. Eu te ouvi dizer, sabe, tem moldado até nossa linguagem. Sim.

É tão interessante pensar em como agora, que, tipo, meio que reclamamos do algoritmo, eles foram tão úteis e, como, mudaram o jogo no modo como todos navegamos na internet agora.

Então me conte como o PageRank funcionava quando saiu do papel acadêmico e se tornou uma ferramenta real que existia.

Bruce: Então agora o algoritmo do Google é muito mais complexo, mas naquela época a ideia deles era classificar essas páginas com base no número de links e na qualidade dos links. Portanto, cada página recebe uma classificação com base em quantas outras páginas estão vinculadas a elas e também leva em consideração a classificação daquelas páginas.

Portanto, se você tem essas páginas de alta qualidade voltando para você, sua classificação aumenta.

Gabriela: É assim que temos o New York Times e o Chicago Tribune e o Washington Post e o LA Times flutuando no topo dos resultados de busca do Google. em oposição ao meu blogdenoticias.com. br. gov. eu não sei. A opinião de alguém, sabe, aleatória na internet.

Isso não será classificado tão alto porque é uma fonte menos confiável. Não faz parte deste ecossistema de recomendar coisas uns aos outros.

Bruce: Exatamente.

Como a Netflix construiu algoritmos de recomendação?

Gabriela: Então me conte sobre o segundo algoritmo fundamental.

Bruce: Então este eu acho que foi um grande divisor de águas em algoritmos de recomendação.

Em 2006, quando a Netflix nem mesmo era um serviço de streaming, era um serviço de aluguel de DVDs, eles lançaram um concurso chamado Prêmio Netflix, onde ofereceram 1 milhão para quem pudesse melhorar seu software de recomendação em 10%. Dez por cento.

Gabriela: Parece que não é tanto. É um milhão de dólares, vale a pena?

Bruce: Sim, mas levou as pessoas pelo menos dois anos para atingir esse marco.

Gabriela: Uau. Ok. Então claramente esse é um obstáculo mais alto do que meu instinto me diz. Certo. Então me conte, como eles chegaram lá ao longo de dois anos?

Bruce: O que a Netflix fez foi tornar público todos esses dados sobre como seus usuários estavam avaliando os filmes.

Então havia cem milhões de avaliações. 17.770 filmes de cerca de 480 clientes. Portanto, a tarefa era usar esses dados para criar um algoritmo que preveria se alguém gostaria de um filme com base em suas avaliações anteriores, não apenas em suas avaliações, mas nas avaliações de todos neste conjunto de dados. Então todas as pessoas que usam a Netflix.

E então 30.000 pessoas se inscreveram para fazer parte disso. E então havia tantos. Fóruns e postagens de discussão e pessoas compartilhando suas ideias e você sabe, as pessoas começaram a pensar se avaliações mais recentes eram mais precisas do que avaliações feitas meses atrás. Há uma hora do dia em que alguém fez uma avaliação que isso afetaria e eles começaram a adicionar essas coisas a seus cálculos nos algoritmos e todos se basearam no trabalho um do outro. Há um concorrente, Simon Funk, que foi muito influente.

Ele foi uma das primeiras pessoas a blogar e tornar público seu código para que as pessoas pudessem trabalhar em cima dele. E, tipo, a grande inovação que ele teve foi usar essa técnica matemática chamada decomposição de valores singulares.

Gabriela: Isso parece muito acima da minha cabeça, mas me conte mais.

Bruce: Basicamente, é uma maneira de automatizar a busca por semelhanças entre filmes e usuários que gostam desses filmes.

Então todas essas avaliações são apenas números para que o algoritmo possa encontrar que esses grupos de pessoas parecem gostar desses tipos de filmes. Então ele meio que cria grupos para você. E isso pode ser gêneros. Existe um tipo de pessoa que gosta de filmes de ação, ou existe um tipo de pessoa que gosta de filmes de Tom Hanks.

O algoritmo aprendeu que se você gosta de comédias românticas, ele pode descobrir que outras pessoas que gostam de comédias românticas não são realmente fãs de ficção científica. Portanto, ele sabe para não recomendar nenhum filme de ficção científica para você.

É tão interessante ouvir isso. Parece que compartilhando esse tesouro de dados do usuário.

Estamos obviamente em um estágio tão inicial que a privacidade do usuário nem está realmente. Como quente, mas em um tópico quente como é hoje, mas através desse efeito de crowdsource. Muitas pessoas estavam testando várias entradas. Acho fascinante que a hora do dia em que você está navegando na Netflix pode afetar a escolha que você faz sobre o que transmitir.

O que você quer colocar de manhã? Talvez você esteja tomando café da manhã versus o que você está colocando apenas antes de ir dormir à noite. Como você quer algo mais energizante de manhã e calmante à noite ou talvez, sabe, como vice-versa. É fascinante pensar sobre isso.

Netflix anonimizou os dados para o prêmio Netflix, mas as pessoas conseguiram descobrir quem eram esses usuários conectando os dados com páginas do IMDB. Então isso acabou fechando a competição da Netflix. E eles tinham planejado uma segunda, mas acabaram cancelando esses planos por preocupações com privacidade.

Oh, uau. O que é velho é novo de certa maneira. Preocupações com dados então, preocupações com dados agora, preocupações com privacidade então, preocupações com privacidade agora. Parece que, no caso do PageRank, isso foi projetado para trazer ordem e simplificar as coisas. Páginas, sites, são vinculados a mais, têm uma classificação mais alta. A classificação continua subindo se as páginas às quais você está vinculado tiverem uma classificação alta.

É um sistema de organização muito hierárquico. Este exemplo do prêmio Netflix parece ser realmente baseado em conteúdo, personalidade e perfil, por isso é uma complexidade extensa que estabelece conexões preferenciais diferentes. Totalmente interessante.

Estou curiosa, quais são as diferentes maneiras que os algoritmos estão sendo usados ​​aqui e agora? Como eles avançaram desde o PageRank ou como uma competição financiada pela multidão para vencer a Netflix em seu próprio algoritmo?

Como os algoritmos mudaram nas últimas décadas?

Bruce: Agora há muito mais dados. Há muitas maneiras de rastrear as pessoas. Você sabe, o Netflix, por exemplo, naquela exemplo, estava contando com os usuários avaliando filmes.

Era como se fosse cem milhões de avaliações de filmes. Mas agora que a Netflix é um serviço de streaming, ela poderia realmente rastrear o que você está assistindo de verdade. Você nem precisa avaliar algo para ser puxado para esse algoritmo.

O que você acha do impacto que os algoritmos de recomendação têm em nós culturalmente? Você poderia me falar um pouco, Bruce, sobre como eles moldam e influenciam a gente de maneiras que talvez não reconheçamos?

Como os algoritmos moldam e influenciam a gente de maneiras que talvez não reconheçamos?

Bruce: Voltando à nossa conversa anterior, o TikTok é um exemplo claro de como a cultura está sendo moldada por esses algoritmos. Também é, como, um dos algoritmos de recomendação mais poderosos. Se você olhar para o seu design, é meio que a plataforma de aprendizado de máquina perfeita e que, sabe, um algoritmo está aprendendo coletando mais dados e melhorando a si mesmo, porque nesta plataforma você tem cerca de um bilhão de usuários assistindo a todos esses vídeos de dois minutos.

Cada deslize ou cada minuto que você continua assistindo a um vídeo é outro ponto de dados para