Bilhões de posts em formato de texto, fotos e vídeos são encaminhados para a rede social todos os dias, uma quantidade imensurável de informação que é simplesmente impossível para os moderadores humanos filtrarem de forma completa e abrangente. E desse modo, companhias como o Facebook e o YouTube há muito tempo já despejam sua confiança na inteligência artificial para auxiliar a descobrir coisas como spam e pornografia.
Coisas como um meme da supremacia branca, entretanto, pode ser mais complicado para as máquinas sinalizarem, dado que que a missão demanda o processamento de inúmeros elementos visuais distintos ao mesmo tempo. Sistemas automatizados necessitam encontrar e “ler” as palavras que estão sobrepostas no topo da foto, assim como fazer uma análise da própria imagem.
Os memes também são peças culturais complicadas, que podem ser difíceis de entender fora de seu contexto. A despeito de alguns dos desafios que trazem, algumas redes sociais já estão se valendo de sistemas de inteligência artificial para a análise de memes, incluindo aí também o Facebook, que nesta semana divulgou minúcias a respeito de como ele utiliza uma ferramenta chamada Rosetta para analisar fotos e vídeos que possuam texto.
O Facebook declara que já usa o Rosetta para auxiliar no processo de detecção automática de conteúdo que viola a sua política como o de discurso de ódio, por exemplo.
Com o auxílio da ferramenta, o Facebook igualmente anunciou esta semana que está redobrando seus esforços de verificação de terceiros para englobar fotos e vídeos, não somente artigos calcados em texto.
O Rosetta ajudará nesse processo, averiguando automaticamente se as imagens e vídeos que possuem texto foram marcadas como falsas.
O Rosetta funciona misturando a tecnologia de reconhecimento óptico de caracteres (OCR) com um conjunto de outras técnicas de aprendizagem de máquina para poder então processar o texto encontrado em fotos e vídeos.
Em primeiro lugar, ele usa a tecnologia OCR para identificar qual a posição em que o texto está situado em um meme ou vídeo. Você possivelmente utilizou algo como OCR anteriormente.
É o que possibilita que você digitalize velozmente um formulário de papel e transforme-o em um documento editável no computador. O programa automatizado sabe onde os blocos de texto estão localizados e pode distingui-los do local no qual você deve assinar seu nome.
Uma vez que a ferramenta Rosetta sabe onde estão as palavras, o Facebook utiliza uma rede neural que pode transcrever o texto e compreender seu significado.
Em seguida, ele pode alimentar esse texto por intermédio de outros sistemas, como um que averigua se o meme é a respeito de uma fraude viral já esclarecida.
Os pesquisadores responsáveis pela Rosetta falam que agora a ferramenta extrai o texto de cada imagem carregada de forma pública no Facebook em tempo real, e pode “ler” o texto em diversos idiomas, incluindo inglês, espanhol, alemão e árabe.
O Facebook afirma que o Rosetta não é utilizado para digitalizar imagens que os usuários compartilham de modo privada em seus feeds ou mensagens diretas.
A Rosetta é capaz de analisar imagens que englobam texto em diversos formatos, como fotos de sinais de protesto, cardápios de restaurantes, vitrines e muito mais.
Viswanath Sivakumar, um engenheiro de software do Facebook que opera na Rosetta,contou em um email que a ferramenta funciona bem tanto para a identificação de texto em uma paisagem, como em uma placa de rua, como igualmente para memes – porém que a última opção é a mais desafiadora.
“No contexto da detecção proativa de discurso de ódio e outros conteúdos que violam as políticas, as imagens em estilo meme são o desafio mais complexo da IA”, falou ele.