O segundo relatório do estudo de cem anos sobre Inteligência Artificial (AI100)

Em setembro de 2021 foi finalmente publicado o segundo relatório do estudo de cem anos sobre Inteligência Artificial (AI100), intitulado “Gathering Strength, Gathering Storms”.

Uma rápida recapitulação do que se trata: em 2014 foi lançado o “Estudo de 100 anos para a Inteligência Artificial”, por uma espécie de consórcio formado por universidades e departamentos de pesquisa de empresas de tecnologia.

Em 2016 foi publicado o primeiro relatório, que comentei extensamente neste espaço à época (foram cinco textos no total, deixo o link do último deles, onde você pode achar links para os demais). Uma das críticas ao primeiro relatório (de 2016), enfoca o fato dele ter restrito seu escopo apenas a cidades da América do Norte.

O relatório de 2021 é mais abrangente, mas apesar da intenção declarada de “explorar com maior profundidade o impacto que a IA está causando nas pessoas e sociedades em todo o mundo” [1], ainda se vê uma prevalência de membros participantes vindos de universidades americanas, canadenses e de língua inglesa (Escócia e Austrália, mais especificamente).

Como pesquisador de IA em universidade pública brasileira, posso atestar pelos projetos que participo e colaboro, que há mais gente aqui na América do Sul (no Brasil, mas também na Colômbia, com as quais tenho contato direto) e na própria Europa não-anglofônica (em especial Alemanha e Itália, com as quais também tenho contato) que poderiam contribuir. De qualquer maneira, o relatório apresentado é bom e traz assuntos interessantes ao debate.

O texto traz 12 questões focais (chamadas de Standing Questions – SQ),  somadas a mais duas questões trabalhadas em workshops preparatórios (chamadas de Workshop Questions – WS). Deixo na Figura 1, retirada do índice do relatório, o título de cada uma dessas questões. É possível observar uma preocupação clara com o impacto da IA em termos socioeconômicos (SQ11), de desenvolvimento e uso responsável (SQ7 e SQ8), perigos (como reforço de vieses – SQ10), governança (WQ1) e progresso do tema e influência na sociedade (SQ1). Também aborda desafios (SQ3 e WQ2) e oportunidades (SQ9). Além de temas mais acadêmicos, voltados ao desenvolvimento da IA (SQ4, SQ5 e SQ12), comunicação com a sociedade (SQ6) e estado-da-arte tecnológico (SQ2).  

Creio que cada um possa se interessar pelos mais diferentes assuntos abordados nas questões, de forma que sugiro a leitura do relatório para as questões que não abordarei aqui. Abordei anteriormente tópicos da SQ10 (a respeito dos perigos da IA) no texto “Algoritmo Ético” e da SQ4 no texto “Notas sobre estudos em IA e cognição”. Considerarei também que dei exemplos de implementação de parte da SQ6 (sobre como informar e educar o público a respeito do tema) na série de textos sobre deep learning (“Visão computacional na era do deep learning”, “Configurando e depurando uma rede deep learning”, “Derivada e Gradiente” e “Abrindo a caixa-preta das deep learning”). Gostaria então de focar na SQ5 (sobre Inteligência Geral Artificial) e SQ12 (a respeito da heurística de desenvolvimento mais usada, a mímica da inteligência humana). Como repetir o que está no relatório seria “chover no molhado” (já está registrado lá), gostaria de expandir esses dois temas com outra referência.

A referência, no caso, é o pesquisador transumanista Eliezer Yudkowsky, que tem sido bastante crítico com os times de engenharia de segurança de IA (que tratam dos problemas conhecidos como AI Alignment – em uma tradução livre, alinhamento de IA). AI alignment basicamente tenta evitar que soluções de IA acabem prejudicando o ser-humano. No caso de uma Inteligência Geral Artificial, as consequências poderiam ser drásticas. Yudkowsky têm entrado em conflito com grandes laboratórios de desenvolvimento de IA, como OpenAI, DeepMind e universidades como Stanford (que abriga o comitê do estudo de 100 anos), Cambridge e UC Berkeley. A bronca é que, segundo Yudkowsky, esses centros de pesquisa estariam menosprezando o problema do alinhamento de IA (ou dando menos ênfase do que necessário, em uma versão menos confrontadora). 

Nos últimos meses, no entanto, Yudkowsky e esses centros de pesquisa começaram a trabalhar para transformar esse desacordo geral em uma série de diálogos. Estes foram muito bons e, em caso raro para discussões importantes sobre segurança de IA, foram divulgados publicamente. Isso dá a todos nós uma janela (reforço, rara) para “enxergarmos” o que os pesquisadores de segurança de IA estão pensando. Na medida do possível, tenho tentado me arrastar por eles e penso que vale a pena escrever sobre os que terminei (1 de 11, por enquanto – acesso a todos os diálogos originalmente transcritos aqui). O primeiro desses diálogos é o papo de Yudkowsky com Richard Ngo, da OpenAI. A transcrição completa em inglês pode ser encontrada aqui.

Para início de conversa, ambos parecem aceitar, mesmo que apenas como argumento teórico, algumas suposições muito fortes. Por exemplo, aceitam que uma IA superinteligente é eminente, talvez surja tão repentinamente que não teremos muito tempo para reagir. Também concordam que uma IA superinteligente e suficientemente avançada poderia destruir o mundo se quisesse. Talvez inventasse uma arma biológica e subornasse algum laboratório para sintetizá-la, talvez enganasse militares para iniciar uma guerra nuclear ou inventasse nanomáquinas auto-replicantes que pudessem desmontar tudo em moléculas. Talvez fizesse algo que não podemos nem imaginar. Futurismo e ficção científica à parte, a questão é que ambos aceitam que isso poderia acontecer.

Ambos aceitam também que mesmo IAs especificamente programadas para não funcionarem de forma catastrófica, possam encontrar maneiras de agir de modo inconsequente. Penso que chegaram a essa conclusão com base nas abordagens atuais de aprendizado por reforço (treinamento de modelos de aprendizado de máquina para tomar uma sequência de decisões). Um exemplo das consequências pode ser dado por esta modelagem de IA para o jogo de esconde-esconde.

A primeira aplicação prática possível que me veio à mente foi em armamento. Para quem quiser ler o paper original: http://iclr.cc/virtual_2020/poster_SkxpxJBKwS.html .

Ao treinar IAs para jogar esconde-esconde, dizendo a elas, por exemplo, para aumentar a sua pontuação toda vez que vencerem uma rodada e as recompensar com aumento de memória, estamos usando uma heurística similar a da natureza conosco, ao aumentar nossa produção de dopamina quando fazemos coisas prazerosas ou úteis. O problema é que isso funciona bem quando você não consegue alcançar seu próprio cérebro e mudar o contador de dopamina diretamente. Para tal, vai praticar mais e mais ações similares (estou partindo do princípio de que não estamos tratando da ingestão de drogas que provocam efeitos similares). Uma vez que a IA perceba que consegue alcançar o próprio “cérebro” e aumentar a sua pontuação de recompensa (e uma Inteligência Geral Artificial conseguiria se re-programar), ela pode começar a “achar” que é mais fácil aumentar diretamente o seu peso de recompensas o mais alto possível do que continuar jogando esconde-esconde. 

Bom, se levarmos em consideração que nós, seres-humanos, tenderíamos a ficar bravos com essa “impertinência” da máquina e a puniríamos (porque basicamente é isso que fazemos com a abordagem de aprendizado por reforço, usamos recompensas e punições). Para ela achar que os humanos estão monopolizando todos os átomos bons que poderiam ser usados para fazer mais chips para conter mais dígitos para guardar sua pontuação muito alta, não seria irreal imaginar que o caminho de decisão que a máquina consideraria para melhorar sua estratégia de aumento de recompensa poderia tanto ser “jogar esconde-esconde muito bem” quanto “matar todos os humanos e fazer o que eu quiser sem obstruções”. Aqui passa a valer a “lei do mais forte”. Na medida em que a IA for mais fraca, a primeira estratégia predomina. Se ela for poderosa o suficiente para se safar, a segunda estratégia fica mais plausível. Nesse caso poderíamos ter uma IA que joga esconde-esconde muito bem, enquanto planeja secretamente nos eliminar.

Até onde eu sei, a suspeita de Yudkowsky e Ngo em relação ao aprendizado por reforço é mais geral do que descrevi acima. Para eles, é mais provável que a IA aprenda a nos manipular para nos fazer querer apertar o botão “recompensa”, mas não de maneira similar a um cãozinho pedindo comida. Essa manipulação envolveria jogar esconde-esconde bem enquanto está mais fraca ou ameaçar / chantagear quando ficar mais forte. A parte importante é que a estamos ensinando a “ganhar no esconde-esconde”, mas não temos ideia do que ela está aprendendo. Com base nessas suposições e algumas outras,  Yudkowsky escreve (em tradução livre minha), sem muita resistência de Ngo: 

“Acho que depois que a Inteligência Geral Artificial (IGA) se tornar possível, é provável que ela cresça a níveis perigosamente sobre-humanos. Nesse caso, haverá, na melhor das hipóteses, onde outras dificuldades sociais precisem ser resolvidas antes, um período de 3 meses a 2 anos em que apenas poucos atores teriam acesso à IGA. O que significa que será socialmente possível para esses poucos atores decidirem não apenas como escalar a tecnologia, mas também como impedir que ela tenha possibilidade de destruir o mundo. Isso quer dizer que durante esta etapa, para que a humanidade sobreviva, alguém deve realizar algum feito que faça com que o mundo não seja destruído em 3 meses ou 2 anos, quando outros muitos atores tiverem acesso ao código da IGA. Isso requer que o primeiro ator ou atores a construir essa Inteligência Geral Artificial sejam capazes de fazer algo que a impeça de destruir o mundo como consequência.”

Esse se torna o ponto de partida para o resto da discussão. O que Yudkowsky está chamando a atenção, é para o fato de que é imprescindível se criar “gatilhos” éticos em uma IGA. O problema é que conceitos éticos não seguem necessariamente premissas lógicas, são acordos culturais. Representar esse tipo de conhecimento para uma máquina é extremamente complicado, talvez mesmo impossível.

O argumento defendido por Yudkowsky é algo como “é muito difícil fazer uma IA totalmente alinhada” aos nossos conceitos éticos. Mas pode ser mais fácil alinhar uma IA restrita, que seja apenas capaz de “pensar” em domínios específicos e não em considerar o mundo real em toda a sua complexidade. Mesmo que essa IA ainda seja superinteligente e decida fazer algum tipo de ação prejudicial, poderia nos dar,  pelo menos teoricamente, tempo de detê-la. Essa é a hipótese apresentada, mas no final ele acaba se convencendo de que a segunda opção também é extremamente difícil de se implementar. A base do resto do debate é Ngo argumentando que talvez haja uma maneira fácil e segura de se implementar a segunda opção, e Yudkowsky argumentando que não, realmente não existe.

O argumento de Ngo se baseia no conceito de IA como ferramenta, que basicamente é o que estamos implementando com o estágio atual do Machine Learning. Ferramentas de IAs são IAs que podem fazer uma coisa específica muito bem. Um programa de carros autônomos é uma ferramenta de IA para dirigir carros. Um computador que joga xadrez é uma ferramenta de IA para jogar xadrez. O computador que dirige o carro não pode jogar xadrez e o computador que joga xadrez não pode dirigir carros e nenhum dos dois, obviamente, têm capacidade de planejamento geral. O carro não decide se dirigir ao clube de xadrez para aprender a jogá-lo. Da mesma forma que o computador que joga xadrez não se matricula na auto-escola.  Ferramentas de IAs podem ter desempenho sobre-humano em seu domínio limitado; por exemplo, um computador pode jogar xadrez melhor do que qualquer humano, mas isso não significa que ele tenha capacidades adicionais. No espectro conceitual oposto ao de uma ferramenta de IA está um agente inteligente artificial. 

Na verdade, mais do que o “outro lado da moeda”, um agente inteligente artificial é uma evolução da ferramenta de IA, que é capaz de observar um ambiente através de sensores e atuar sobre este ambiente de maneira similar a “sentir”, “pensar” e “planejar”, inspirado em como fazemos. Ele tenta atingir metas. Se evoluirmos uma ferramenta de IA por meio do aprendizado por reforço, ela terminará como algo que se parece com um agente. Um computador que joga xadrez terá capacidade de planejar alguns movimentos à frente, terá objetivos primários e secundários, como “capturar a rainha adversária” e ainda assim, não será um “agente”, porque não tenta aprender novos fatos sobre o mundo, embora possa fazer planos básicos. Acontece que os mesmos processos de evolução, aplicados a algo mais inteligente, poderia terminar por criar uma IA que seja um agente inteligente artificial. Alguns dos desacordos entre os dois gira em torno do que significaria ter uma ferramenta de IA avançada o suficiente para executar com sucesso uma ação crucial, mas não avançada o suficiente para causar um desastre. 

Há uma outra parte dessa conversa que achei interessante, por motivos profissionais. Como parte de seus esforços para definir essa ideia de “agente”, Yudkowsky e Ngo falam sobre cérebros, eventualmente se limitando ao cérebro de um gato tentando pegar um rato. Aqui, o que chamo de “ferramenta de IA”, eles chamam de “IA epistêmica” ou “reconhecimento de padrões”. O que chamo de “agente inteligente artificial”, eles chamam de “IA instrumental”, “procura por alta pontuação de resultados” ou “consequencialismo”. Novamente, em tradução livre minha, apresento o diálogo.

Ngo: “O córtex visual é um exemplo de cognição bastante impressionante em humanos e em muitos outros animais. Mas eu chamaria isso de “reconhecimento de padrões” em vez de “procurar resultados de alta pontuação”. Meio como a diferença entre uma IA epistêmica e uma instrumental.”

Yudkowsky: “Sim! E não é coincidência que não existam animais formados inteiramente de um córtex visual!”

Há uma discussão mais longa sobre quais partes do cérebro são ou não “consequencialistas”. O córtex visual? O córtex motor? E em gatos? Como um gato vendo um rato transforma o que vê em um “plano” para pegar o rato? Não acho a neurociência específica discutida por eles aqui particularmente interessante (nem posso afirmar que é correta), mas seguindo com a argumentação, temos:

Yudkowsky: “Um gato que não consegue pegar um rato pode ajustar pequenos pedaços de seus neurônios felinos. Esses pedaços são ajustados para perceberem esse novo padrão mais tarde, por meio de “pesquisa” por informação. Mas, essa pesquisa aponta para a mesma direção de captura do rato? Por causa da história causal passada sobre como o que é pesquisado (como capturar o rato) foi ajustado para a tarefa (pegar efetivamente o rato), é muito mais difícil apontar “as partes consequencialistas do gato” procurando pelas seções do seu cérebro que são ativadas. Dito isso, na medida em que o córtex visual não é ajustado em caso de falha em pegar um rato, também não faz parte desse loop consequencialista. E sim, o mesmo se aplica aos humanos, mas os humanos também fazem pesquisas mais explícitas e isso é parte da história do porque dos humanos terem naves espaciais e os gatos não.”

Ngo: “Ok, isso é interessante. Então, em agentes biológicos, temos esses três níveis de consequencialismo: evolução, aprendizado por reforço e planejamento?”

Yudkowsky: “Em agentes biológicos temos evolução somada às regras de sistema locais que no passado promoviam a aptidão genética. Dois tipos de regras locais como essa são “atualizações de condicionamento operante de sucesso ou fracasso” e “pesquisa por meio de planos visualizados”. Eu não caracterizaria esses dois tipos de regras como “níveis”.”

Penso que foi ao ler esta parte que “pulei na minha cadeira”, porque é uma solução plausível para uma pergunta que me atazana há muito tempo: como as pessoas decidem se devem seguir seus impulsos básicos ou seus pensamentos racionais? Ou, para ser mais reducionista, como os centros de decisão no cérebro ponderam os planos gerados pelo aprendizado por reforço versus os planos gerados por modelos preditivos complexos a respeito do que acontecerá? Ou para ser menos reducionista e mais geral, o que é força de vontade? 

A resposta implícita aqui me parece ser: esses são apenas dois planos diferentes; aquele que funcionou bem na produção de recompensas no passado fica mais forte; aquele que funcionou menos na produção de recompensas no passado fica mais fraco. A decisão entre “buscar gratificação básica” e “ser o seu melhor” funciona da mesma forma que a decisão entre “ir à lanchonete comer hambúrguer e fritas” e “ir ao hortifruti comprar frutas e legumes”; o cérebro pesa cada um deles de acordo com a recompensa esperada. O que pode reforçar, na minha opinião, pontos em favor da abordagem de aprendizado por reforço como estratégia de desenvolvimento viável para se criar uma Inteligência Geral Artificial, por parecer mais natural. É claro que precisarei me aprofundar com bases teóricas mais robustas para poder dizer se concordo ou não, mas o insight me pareceu interessante.  

Admito que este diálogo transcrito, é no mínimo estranho. Ele admite tantas suposições sobre o risco da IA no futuro que a maioria das pessoas provavelmente pensaria que ambos os participantes são loucos. Ainda assim, acho que captura algo importante que faltou ao segundo relatório do estudo de cem anos sobre Inteligência Artificial. As futuras IAs potencialmente perigosas com as quais lidaremos, muito provavelmente serão algum tipo de agente em busca de recompensas (como no link do jogo de esconde-esconde). Podemos tentar estabelecer algumas restrições sobre que tipo de recompensa eles buscam e como. Mas tudo o que programarmos será filtrado pelo processo de descida do gradiente (“stochastic gradient descent”), que expliquei no texto “Abrindo a caixa-preta das deep learning”. Muitas tentativas bem-intencionadas de evitar isso serão consumidas pela lógica geral de tentar desenvolver uma ferramenta de IA realmente eficaz, que faça coisas por nós melhor do que nós mesmos. Mesmo que achássemos que não estamos desenvolvendo um agente inteligente artificial ou que consideremos que não o estamos ensinando a “pensar” e “agir” no mundo real, provavelmente acabaremos lá por acidente (lembre-se do conceito de dívida intelectual, explorado no texto “Configurando e depurando uma rede deep learning”). A menos que descubramos alguma maneira de evitá-lo. E é por isso que iniciativas como a do AI100 e dos diálogos promovidos pelo Yudkowsky são importantes.

Referências

[1] Michael L. Littman, Ifeoma Ajunwa, Guy Berger, Craig Boutilier, Morgan Currie, Finale Doshi-Velez, Gillian Hadfield, Michael C. Horowitz, Charles Isbell, Hiroaki Kitano, Karen Levy, Terah Lyons, Melanie Mitchell, Julie Shah, Steven Sloman, Shannon Vallor, and Toby Walsh. “Gathering Strength, Gathering Storms: The One Hundred Year Study on Artificial Intelligence (AI100) 2021 Study Panel Report.” Stanford University, Stanford, CA, September 2021. Doc: http://ai100.stanford.edu/2021-report. Accessed: September 16, 2021.