Pesquisa· atualizado em · 4 min de leitura· Redação Invision

Como a IA apaga as digitais da autoria: MIT propõe responsabilidade e 'answerability' em conversas cívicas

Deb Roy, do MIT, alerta que LLMs tornam comentários públicos indetectáveis e defende princípios de autoria atribuível e answerability para preservar a…

Resumo: O professor do MIT Deb Roy publicou um ensaio argumentando que a IA generativa apaga as 'impressões digitais' que permitiam identificar comentários falsos em consultas públicas, ameaçando a legitimidade da participação cívica. A notícia importa agora porque ferramentas como o ChatGPT já permitem gerar textos realistas em massa, e Roy propõe princípios de design para garantir que sempre haja uma pessoa responsável por trás das palavras.

Pontos-chave

  • Deb Roy, do MIT, alerta que LLMs apagam as pistas que permitiam detectar comentários falsos em consultas públicas.
  • O ensaio defende os conceitos de 'standing' e 'answerability': quem fala precisa ter legitimidade e responder pelo que diz.
  • A IA pode ajudar a redigir, mas deve haver sempre uma pessoa no fim da cadeia de responsabilidade.
  • Roy propõe quatro princípios de design: autoria atribuível, processo inspecionável, proveniência e ampliação do 'standing'.
  • A 'velocidade da confiança' sugere que a tecnologia cívica deve avançar no ritmo da confiança, não apenas da inovação.
Nesta matéria

O que o MIT identificou sobre IA e comentários públicos?#

Deb Roy, professor de artes e ciências midiáticas do MIT e diretor do Center for Constructive Communication (CCC), observou que comentários gerados por IA em processos de consulta pública são difíceis de distinguir de contribuições humanas. O problema se intensificou com o lançamento do ChatGPT.

Roy relata que ouviu preocupações de funcionários do governo que revisam comentários públicos sobre regras propostas: havia suspeita de que nem todos os textos eram escritos por humanos. Ele alerta que isso pode deslegitimar esse canal de participação.

Por que os comentários falsos gerados por IA são diferentes dos anteriores?#

Em 2017, a FCC recebeu mais de 22 milhões de comentários públicos sobre a proposta de revogar a neutralidade da rede. O procurador-geral de Nova York descobriu posteriormente que quase 18 milhões eram falsos. Segundo Roy, essa fraude foi detectada porque deixou 'impressões digitais': texto padronizado e frases duplicadas.

Com modelos de linguagem grandes, essas pistas desaparecem. Cada comentário pode ser fluente e único, tornando impossível para os revisores identificar quais expressam visões formadas por pessoas reais. Roy compara o comentário público a um pilar da democracia que 'rachou' e, em sua visão, 'caiu'.

Quais são os conceitos de 'standing' e 'answerability' defendidos por Roy?#

Roy recorre à ideia informal de 'standing' (legitimidade para falar) emprestada do sistema legal. Em uma assembleia municipal da Nova Inglaterra, espera-se que quem se levanta para falar seja um morador com interesse na decisão. Com LLMs e o ambiente digital, essas fronteiras se dissolvem, e pessoas sem legitimidade podem se passar por membros da comunidade.

O outro conceito é 'answerability' (responsabilidade de responder pelo que diz). Roy argumenta que o direito de ser ouvido vem com a obrigação de responder pelo que se diz. Isso não exige expor a identidade publicamente: instituições podem verificar uma pessoa e defender suas palavras sem revelá-la. O sigilo deve aumentar com a vulnerabilidade, e a transparência, com o poder.

Como a IA pode ser usada sem eliminar a responsabilidade humana?#

Roy não descarta o uso de IA. Segundo ele, a IA pode ajudar em tarefas dentro da cadeia de responsabilidade, como rascunhar, resumir e encontrar padrões. Se alguém com interesse em uma regra usa IA para redigir um comentário, assume-o como seu e está disposto a responder por ele, isso é legítimo.

O que a IA não pode fazer é ancorar a cadeia. É preciso haver uma pessoa no fim que se responsabilize pelas palavras. O ensaio propõe quatro princípios de design: autoria atribuível, processo decomposto e inspecionável, uso de proveniência como infraestrutura e ampliação do 'standing' em vez de concentrá-lo. A regra central é: 'autonomia é permitida, falta de responsabilidade não'.

  • Autoria atribuível: cada texto deve ter um responsável identificável.
  • Processo decomposto e inspecionável: as etapas de geração podem ser auditadas.
  • Proveniência como infraestrutura: rastrear a origem das contribuições.
  • Ampliar o 'standing': mais pessoas com legitimidade para falar, não menos.

O que significa 'velocidade da confiança' e como isso se aplica à IA?#

Roy aprendeu a expressão com organizadores comunitários em Appleton, Wisconsin. Ao perguntar como escalaram um programa de diálogos, ouviu 'na velocidade da confiança'. Ele entendeu que a tecnologia só avança rápido quando há confiança estabelecida.

Hoje, a velocidade da IA e a da democracia correm em relógios diferentes. Profissionais de práticas democráticas dizem que a IA deve desacelerar; especialistas em IA dizem que a democracia precisa acelerar. Roy alerta que, sem sincronizar esses ritmos, decisões serão tomadas sem o público.

O que isso muda para quem usa IA?#

Para desenvolvedores e empresas que usam IA, a mensagem é que a eficiência sem responsabilidade não é suficiente. Roy propõe medir o sucesso pelo número de pessoas colocadas em posições onde podem responder pelo que fazem, não apenas pela automação que remove humanos.

Na prática, isso significa projetar sistemas que permitam rastrear a origem dos textos, verificar a identidade de quem fala (com proteção de privacidade) e manter um humano no fim da cadeia de responsabilidade. A Invision, API multimodelo da Dream Vision, oferece acesso a vários modelos por uma chave só, o que pode facilitar a experimentação com diferentes abordagens de proveniência e auditoria — sem prometer preços ou vantagens específicas.

Perguntas frequentes

Por que comentários gerados por IA são difíceis de detectar?

Modelos de linguagem grandes produzem textos fluidos e únicos, sem os padrões repetitivos que denunciavam fraudes anteriores. Isso torna quase impossível para revisores distinguir comentários humanos de falsos.

O que é 'answerability' no contexto de IA?

É a obrigação de responder pelo que se diz. Roy defende que o direito de ser ouvido venha acompanhado da responsabilidade de uma pessoa real por trás do texto, mesmo que gerado por IA.

A IA pode ser usada em consultas públicas?

Sim, desde que haja uma pessoa que adote o texto como seu e esteja disposta a responder por ele. A IA pode ajudar a redigir, mas não pode ser a responsável final.

Quais são os quatro princípios de design propostos por Roy?

Autoria atribuível, processo decomposto e inspecionável, proveniência como infraestrutura e ampliação do 'standing' (legitimidade para falar).

O que significa 'velocidade da confiança'?

É a ideia de que a adoção de tecnologia em contextos cívicos deve avançar conforme a confiança é construída, não apenas na velocidade da inovação técnica.

iademocraciacomentários públicosresponsabilidademit

Fonte original: Q&A: Building accountability behind our words — and AI’s — in civic conversations (MIT News). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.