O pesquisador de interpretabilidade mecanicista Nick Cammarata, do laboratório Goodfire e ex-integrante da OpenAI, publicou nos Estados Unidos, na quinta-feira (15), um ensaio científico propondo que os neurônios artificiais de modelos de inteligência artificial são diretamente compreensíveis. A hipótese contraria a leitura predominante de que essas redes misturam conceitos sem relação de forma quase indecifrável e aponta que até 90% das estruturas avaliadas em testes preliminares cumprem apenas uma função principal.
Intitulado Neural Networks Are Already Clean (Redes Neurais Já São Limpas, em tradução livre), o trabalho analisa os mecanismos computacionais internos que levam um sistema a gerar determinada resposta. “Quase toda a rede é interpretável se olharmos de perto o suficiente”, afirmou Cammarata no documento divulgado pela Goodfire, ponderando que a proposta é uma hipótese de trabalho e ainda não significa controle total sobre os modelos.
Leia também: Autonomia de inteligências artificiais: episódio de interação inesperada acende alerta
O que a hipótese de Nick Cammarata muda na leitura dos neurônios de IA?
A publicação questiona diretamente o alcance da teoria da superposição, uma explicação formulada na área para descrever como as redes neurais conseguem representar mais características do que o número total de neurônios disponíveis permitiria em uma correspondência simples. Segundo essa visão anterior, que o próprio pesquisador ajudou a elaborar no passado, observar um neurônio de forma isolada revelaria uma mistura confusa de conceitos distintos, fenômeno conhecido tecnicamente como polissemia, tornando a leitura direta dos circuitos internos extremamente difícil para os cientistas.
Na revisão apresentada em 15 de outubro de 2026, o autor sustenta que os problemas de leitura observados em modelos mais antigos resultavam das limitações nas ferramentas de análise da época e de falhas nas arquiteturas estudadas. “A causa da polissemia nos primeiros modelos estudados não era a superposição, mas vários problemas comuns e em grande parte corrigíveis”, declarou o pesquisador, em tradução livre.
Para ilustrar a tese, o cientista reavaliou um caso clássico do modelo de visão computacional InceptionV1, no qual um mesmo neurônio artificial era ativado tanto por fotografias de rostos de gatos quanto pela parte frontal de automóveis. Em vez de considerar o caso como uma fusão de conceitos sem relação, Cammarata propôs que a estrutura identifica uma característica geométrica compartilhada pelas duas imagens: formas pontiagudas, parecidas com a letra V, em oposição a contornos arredondados.
Leia também: Google homenageia Dia Mundial Quântico com Doodle que ilustra superposição
O ensaio também introduz o conceito de generalização recursiva, termo usado para explicar como a função de um neurônio se ramifica para casos relacionados durante a fase de treinamento. Em modelos de linguagem, por exemplo, uma unidade que inicialmente responde à sequência de letras “iy” passa a ser ativada pela sigla “diy” e, em seguida, estende seu funcionamento para reconhecer a expressão completa em inglês “do it yourself” (faça você mesmo).
Entenda: Após encerrar navegador próprio, OpenAI amplia ChatGPT na web
Taxas de leitura nos modelos Qwen3-32B e InceptionV1
Com o auxílio de ferramentas de agentes automatizados, o pesquisador conduziu auditorias preliminares para medir a proporção de estruturas compreensíveis em sistemas de visão e de linguagem, além de comparar os dados com levantamentos anteriores do setor:
- 90%: proporção estimada preliminarmente de polos de neurônios no modelo de linguagem Qwen3-32B que desempenham uma única função principal.
- 7%: fatia aproximada de polos de neurônios no Qwen3-32B que apresentam duas funções relacionadas entre si.
- 2% a 4%: percentual estimado de polos de neurônios no mesmo modelo de linguagem que continuam sem explicação após a auditoria inicial.
- 99% a 100%: taxa de neurônios interpretáveis na última camada de modelos de imagem baseados no InceptionV1 depois da aplicação de correções arquiteturais, sem mudança no tamanho da rede ou nos dados de treinamento.
- 1,7% a 2%: índice de neurônios considerados legíveis sobre um total de 307 mil unidades analisadas no primeiro projeto de interpretabilidade automatizada em larga escala da OpenAI, em 2023.
Repercussão entre pesquisadores da OpenAI e do Google DeepMind
A divulgação do ensaio provocou avaliações divergentes entre cientistas que investigam a segurança e o alinhamento de sistemas de inteligência artificial. Enquanto entusiastas da nova abordagem e pesquisadores como Roon, da OpenAI, classificaram o estudo como um possível marco histórico capaz de remover o principal obstáculo técnico da área, outros especialistas contestaram o alcance prático das conclusões apresentadas pela Goodfire e alertaram para os limites da análise individual de componentes.
O pesquisador de interpretabilidade mecanicista Neel Nanda, do Google DeepMind, destacou que ativações fracas dentro da rede ainda podem esconder informações distribuídas e que compreender neurônios isolados não comprova que o funcionamento global dos sistemas esteja decifrado. “Este é um trabalho interessante, mas não acho que seja uma atualização significativa para o quadro geral da interpretabilidade”, avaliou Nanda, em tradução livre. O debate também foi acompanhado por analistas do setor, como Dean W. Ball, pesquisador de políticas de inteligência artificial e autor da publicação Hyperdimensional.
Histórico de pesquisas em interpretabilidade de 2020 a 2024
O campo da interpretabilidade mecanicista busca mapear os cálculos internos das redes para prever e evitar comportamentos indesejados antes que os sistemas sejam acionados. Nos anos anteriores à publicação da Goodfire, três experimentos marcaram a evolução das tentativas de ler o interior dessas arquiteturas:
- 2020: Nick Cammarata atua como coautor do artigo Zoom In, publicado na revista científica Distill, trabalho que ajudou a fundar a área de interpretabilidade mecanicista e documentou originalmente o neurônio de gatos e carros no InceptionV1.
- 2023: a OpenAI emprega o modelo GPT-4 para tentar gerar explicações automáticas sobre o funcionamento dos neurônios do modelo anterior GPT-2, obtendo clareza em uma fração reduzida da rede com a tecnologia disponível no período.
- 2024: a empresa de inteligência artificial Anthropic utiliza dispositivos chamados autoencoders esparsos (SAEs, ferramentas que separam sinais misturados na rede) para identificar milhões de características em uma camada intermediária do modelo Claude 3 Sonnet e demonstra que amplificar artificialmente a ativação ligada à ponte Golden Gate fazia o sistema citar o monumento em respostas sem qualquer relação com o assunto.
No experimento de 2024, a própria Anthropic já registrava que localizar representações internas e testar relações de causa e efeito não bastava para explicar todos os cálculos de um modelo nem garantia, de forma isolada, a eliminação de riscos de segurança.
A validação das estimativas preliminares de Cammarata, incluindo o índice de 90% registrado no modelo Qwen3-32B, ainda depende de reprodução independente por outros laboratórios científicos. O pesquisador informou que publicará posteriormente um artigo técnico complementar com o detalhamento metodológico dos experimentos em modelos de linguagem até a escala de trilhões de parâmetros, mas a data de divulgação do documento ainda não foi definida.