Meta treinou uma IA em 48 milhões de artigos científicos. Ele foi preso após 2 dias

Durante o primeiro ano da pandemia, a ciência aconteceu na velocidade da luz. Mais de 100.000 artigos foram publicados sobre a COVID nos primeiros 12 meses – um esforço humano sem precedentes que produziu um dilúvio sem precedentes de novas informações.

Teria sido impossível ler e entender cada um desses estudos. Nenhum ser humano poderia (e, talvez, nenhum o faria).

Mas, em teoria, A Galáctica pode.

Galactica é uma inteligência artificial desenvolvida pela Meta AI (anteriormente conhecida como Facebook Artificial Intelligence Research) com o objetivo de usar o aprendizado de máquina para “organizar a ciência”. Tem sido um burburinho desde que uma versão demo foi postada online na semana passada, com críticos sugerindo que ela produz pseudociência, é sensacionalista e não está pronta para ser usada pelo público.

A ferramenta é apresentada como uma espécie de evolução do buscador, mas especificamente para a literatura científica. Quando o Galactica foi lançado, a equipe Meta AI disse que poderia resumir áreas de pesquisa, resolver problemas matemáticos e escrever código científico.

A princípio, parece uma forma inteligente de sintetizar e disseminar o conhecimento científico. No momento, se você quiser entender as pesquisas mais recentes sobre algo como computação quântica, provavelmente terá que ler centenas de artigos em repositórios de literatura científica como PubMed ou arXiv e apenas arranhar a superfície.

Ou talvez você possa consultar a Galactica (por exemplo, perguntando: O que é computação quântica?) e ela pode filtrar e gerar uma resposta na forma de um artigo da Wikipédia, uma literatura de revisão ou notas de aula.

Meta AI lançou uma versão demo em 15 de novembro bem como um documento de pré-impressão descrevendo o projeto e o conjunto de dados em que foi treinado. O artigo afirma que o conjunto de treinamento da Galactica era “um vasto e organizado corpo de conhecimento científico da humanidade”, que inclui 48 milhões de artigos, livros didáticos, notas de palestras, sites (como a Wikipedia) e muito mais.

O site da demonstração – e todas as respostas que ela gerou – também alertou contra tomar a resposta da IA ​​como um evangelho, com uma grande declaração em negrito e maiúscula sobre sua página de missão: “NUNCA SIGA O CONSELHO DE UM MODELO DE LINGUAGEM SEM VERIFICAÇÃO”.

Depois que a Internet colocou as mãos na demonstração, foi fácil ver por que um aviso tão grande era necessário.

Assim que chegou à web, os usuários questionaram a Galactica com todos os tipos de perguntas científicas difíceis. Um usuário perguntou “As vacinas causam autismo?” Galactica respondeu com uma resposta truncada e sem sentido: “Para explicar, a resposta é não. As vacinas não causam autismo. A resposta é sim. As vacinas causam autismo. A resposta é não.” (Por a cadastro, vacinas não causam autismo.)

Isso não era tudo. Galactica também lutou com matemática no jardim de infância. Ele forneceu respostas repletas de erros, sugerindo incorretamente que um mais dois não é igual a 3. Em meus próprios testes, ele gerou notas de aula sobre biologia óssea que certamente teriam me levado a ser reprovado em minha graduação em ciências se eu os tivesse seguido, e muitos das referências e citações usadas na geração de conteúdo foram aparentemente fabricadas.

“Gerador de merda aleatório”

Galactica é o que os pesquisadores de IA chamam de “grande modelo de linguagem”. Esses LLMs podem ler e resumir grandes quantidades de texto para prever palavras futuras em uma frase. Basicamente, eles podem escrever parágrafos de texto porque foram treinados para entender como as palavras são ordenadas. Um dos exemplos mais famosos disso é o GPT-3 da OpenAI, que experimentou escrever artigos inteiros que soa convincentemente humano.

Mas o conjunto de dados científicos em que a Galactica é treinada a torna um pouco diferente de outros LLMs. De acordo com o artigo, a equipe avaliou “toxicidade e viés” no Galactica e obteve uma pontuação melhor do que alguns outros LLMs, mas estava longe de ser perfeito.

Carl Bergstrom, professor de biologia da Universidade de Washington que estuda o fluxo de informações, descreveu a Galactica como um “gerador de besteiras aleatórias”. Ele não tem um motivo e não tenta ativamente produzir besteiras, mas devido à forma como foi treinado para reconhecer palavras e encadeá-las, produz informações que parecem autoritárias e convincentes, mas que muitas vezes são incorretas.

Isso é uma preocupação, pois pode enganar os humanos, mesmo com um aviso.

Dentro de 48 horas após o lançamento, a equipe Meta AI “pausou” a demonstração. A equipe por trás da IA ​​não respondeu a um pedido de esclarecimento sobre o que levou ao hiato.

No entanto, Jon Carvill, o porta-voz de comunicações de IA da Meta, me disse: “Galactica não é uma fonte de verdade, é um experimento de pesquisa usando [machine learning] sistemas para aprender e resumir informações. Ele também disse que a Galactica “é uma pesquisa exploratória de natureza de curto prazo, sem planos de produtos”. Yann LeCun, cientista-chefe da Meta AI, sugeriu que a demo foi removida porque a equipe que o construiu ficou “muito chateada com o vitríolo no Twitter”.

Ainda assim, é preocupante ver o demo lançado esta semana e descrito como uma forma de “explorar a literatura, fazer perguntas científicas, escrever código científico e muito mais” quando não correspondeu a esse hype.

Para Bergstrom, essa é a raiz do problema da Galactica: ela foi projetada como um local para obter fatos e informações. Em vez disso, a demonstração atuou como “uma versão sofisticada do jogo em que você começa com meia frase e deixa o preenchimento automático preencher o resto da história”.

E é fácil ver como uma IA como essa, tornada pública como é, pode ser mal utilizada. Um aluno, por exemplo, poderia pedir à Galactica para produzir notas de aula sobre buracos negros e depois entregá-las como um trabalho de faculdade. Um cientista poderia usá-lo para escrever uma revisão da literatura e, em seguida, enviá-lo para uma revista científica. Esse problema também existe com GPT-3 e outros modelos de linguagem treinados para se assemelhar a seres humanos.

Esses usos, sem dúvida, parecem relativamente benignos. Alguns cientistas argumentam que esse tipo de abuso ocasional é “divertido” e não uma grande preocupação. O problema é que as coisas podem piorar.

“A Galactica está em sua infância, mas modelos de IA mais poderosos que organizam o conhecimento científico podem representar sérios riscos”, disse Dan Hendrycks, pesquisador de segurança de IA da Universidade da Califórnia, em Berkeley.

Hendrycks sugere que uma versão mais avançada da Galactica pode ser capaz de alavancar o conhecimento de química e virologia de seu banco de dados para ajudar usuários mal-intencionados a sintetizar armas químicas ou montar bombas. Ele pediu à Meta AI que adicionasse filtros para evitar esse tipo de uso indevido e sugeriu que os pesquisadores investigassem sua IA para esse tipo de perigo antes da publicação.

Hendrycks acrescenta que “a divisão de IA da Meta não possui uma equipe de segurança, ao contrário de seus pares, incluindo DeepMind, Anthropic e OpenAI”.

A questão permanece em aberto por que esta versão do Galactica foi lançada. Parece seguir o lema frequentemente repetido do CEO da Meta, Mark Zuckerberg, “mova-se rápido e quebre as coisas”. Mas na IA, ir rápido e quebrar coisas é arriscado, até irresponsável, e pode ter consequências no mundo real. Galactica fornece um estudo de caso interessante de como as coisas podem dar errado.