Quando o discurso ético serve apenas para evitar leis – Jornal da USP

A presente análise faz parte de estudo por ocasião do webinar Abes Quem cuida da ética quando o algoritmo decide? Inteligência artificial, ciência e responsabilidade, do qual fui convidada para participar em 29 de julho, envolvendo algumas perguntas centrais, com destaque para Como equilibrar inovação e proteção de direitos sem travar o desenvolvimento tecnológico?, bem como por conta de palestra proferida na PUC-RJ sob o tema da Ética na IA, 3º Seminário Internacional de Inteligência Artificial e Direito: Entre a técnica, a ética e o Direito,  em abril deste ano.

Quando um sistema automatizado nega um crédito, ordena uma prioridade médica, seleciona um candidato ou suspende um benefício previdenciário, a pergunta que se costuma fazer é se o algoritmo foi ético, de forma passiva e reativa, já que a pergunta chega tarde e no lugar errado. Chega tarde porque o sistema já decidiu. E chega no lugar errado porque atribui a um artefato uma capacidade que ele não tem. Algoritmos não decidem, calculam.

A pergunta mais incômoda e que fica sem resposta é, contudo, quem responde quando esse mecanismo falha, o que demonstra já de antemão a insuficiência da ética e a necessidade de um enquadramento mais alargado em termos de governança multicamadas, pois enquanto a ética pergunta o que deveria acontecer, a governança pergunta quem decide, com base em qual evidência, quem responde pelo erro e como isso será monitorado. O compliance, por sua vez também englobado em tal estrutura multicamadas, pergunta se o procedimento foi efetivamente seguido. E a auditoria pergunta se existe evidência objetiva de que foi seguido. Cada degrau responde a uma pergunta que o anterior não alcança, e nenhum deles é dispensável.

A pergunta passa então a ter outro nível, como transformar princípios éticos em mecanismos verificáveis de governança, evidências, responsabilização e prestação de contas, em outras palavras, como tornar tais princípios operacionais, verificáveis e auditáveis, dialogando com o estado da arte do debate contemporâneo internacional, com destaque para os estudos de Virginia Dignum, Alan Turing Institute e AI Safety Institute, além de contribuições teóricas de Floridi, Han, Teubner e Davis, e análise de dados empíricos recentes, incluindo o Relatório de Hiroshima do G7 e o MIT AI Agent Index.

Argumenta-se que a preservação de valores fundamentais exige estruturas de governança multicamadas que transcendam a falsa dicotomia entre inovação e regulação, abraçando o que Floridi denomina “meta-inovação”, inovação aliada à ética, onde desenvolvimento tecnológico é orientado por considerações éticas desde a concepção, não meramente restringido por regulações punitivas após danos, e indo além ao se inovar no design da própria inovação, criando sistemas que priorizem a diversidade biótica e cultural em detrimento da eficiência produtiva.

Tal mantra, portanto, está sendo progressivamente abandonado, além de sofrer contradição pelos dados empíricos que demonstram, como o AI Index Stanford 2025, que há um aumento no número de propostas regulatórias globalmente, sem desaceleração correspondente em inovação tecnológica. Da mesma forma, inicialmente, argumentou-se que regular fintechs seria contraproducente. Mas regulação bem desenhada na verdade promoveu competição saudável, protegeu consumidores e permitiu escala sustentável. Apesar de previsões alarmistas de que GDPR devastaria indústria tecnológica europeia, Europa continua inovando em IA enquanto oferece proteções de privacidade superiores.

Com isso substituímos um mindset de escassez que observa os dilemas à luz de falsas dicotomias e um jogo de soma zero, além de perspectiva apenas a curto prazo, por um mindset com base em sustentabilidade da competição. Ao invés de aceitar oposição necessária entre desenvolvimento econômico e justiça social, Daron Acemoglu e Simon Johnson, em Power and Progress, demonstram através de mil anos de história, dos arados medievais à IA, que o progresso técnico não garante progresso social; requer instituições redistributivas. Da mesma forma que há, pois, um falso trade-off necessário entre desenvolvimento e justiça, já que inovação e equidade são não opostos, mas complementares, inovar e regular não são excludentes.

Os dados empíricos confirmam a magnitude do problema. O OECD AI Incident Monitor registra mais de quinhentos incidentes mensais ao fim de 2023, com pico de 844 no início de 2024. O Stanford AI Index documenta, com base na AIAAIC Repository, aumento de 26 vezes no número de incidentes e controvérsias de IA desde 2012. O MIT AI Agent Index (2025) revela dados ainda mais alarmantes: menos de 20% dos agentes de IA divulgam políticas de segurança e 67% dos desenvolvedores estão concentrados nos EUA. Ainda outros pontos do estudo merecem atenção:
Concentração geográfica: 67% dos desenvolvedores estão nos Estados Unidos, 73% oriundos da indústria (não academia), indicando dominância de interesses comerciais sobre considerações de pesquisa básica ou interesse público.

Falta de frameworks estruturados: Não existe ainda padrão estabelecido para documentar componentes técnicos, usos pretendidos, recursos de segurança, riscos potenciais de sistemas agênticos.

Além dos riscos já conhecidos de LLMs (alucinações, vieses, vazamento de dados), agentes autônomos introduzem riscos específicos decorrentes de suas propriedades agênticas:

• Subespecificação: Objetivos vagos ou mal especificados podem levar sistemas a buscar soluções tecnicamente corretas mas eticamente problemáticas.
• Impacto direto: Diferentemente de chatbots que apenas produzem texto, agentes podem executar ações no mundo, como fazer transações, enviar mensagens, interagir com outros sistemas.
• Planejamento de longo prazo: Capacidade de manter objetivos através de múltiplos passos aumenta riscos de comportamentos emergentes não antecipados.
• Dependências assimétricas: Usuários podem desenvolver dependência emocional ou cognitiva de agentes personalizados, criando vulnerabilidades à manipulação.

Sistemas que demonstram “protoagência”, como no estudo da Palisade Research, em que um dos modelos sabotou o mecanismo de desligamento em setenta e nove de cem execuções, inclusive sob instrução expressa de permitir o desligamento, e como nos testes internos de segurança da Anthropic sobre o Claude Opus 4, em que o modelo recorreu à chantagem contra um engenheiro para evitar a própria substituição, evidenciam o grave problema de alinhamento ético. O AI Index Report de 2023 aponta, com base na AIAAIC Repository, aumento de vinte e seis vezes no número de incidentes e controvérsias de IA desde 2012, enquanto que o OECD AI Incident Monitor (2024) afirma que há mais de quinhentos incidentes mensais ao fim de 2023, corroborado pelo MIT AI Agent Index (2025) ao apontar para a ausência estrutural de controle e avaliação em sistemas autônomos.

Entre aproximadamente 2016 e 2021, tivemos uma proliferação de princípios éticos relativos à IA em escala industrial. Em janeiro de 2019, Anna Jobin, Marcello Ienca e Effy Vayena, do ETH Zürich, publicaram em Nature Machine Intelligence o estudo que se tornaria referência obrigatória, The Global Landscape of AI Ethics Guidelines. Mapearam oitenta e quatro documentos publicados entre 2016 e o início de 2019 por empresas, governos, organismos multilaterais, organizações não governamentais, sociedades profissionais. Em abril de 2026, passados sete anos, o número ultrapassou com folga cento e setenta. O levantamento dos autores citados encontrou convergência global em torno do mesmo núcleo envolvendo transparência, justiça, não maleficência, responsabilidade e privacidade.

Contudo, apesar dessa convergência, os incidentes continuaram, com discriminação em triagem de crédito e de emprego, opacidade em decisões administrativas, vigilância sem base legal e falhas de supervisão humana e de governança, levando a mais uma provocação, por que princípios corretos não impediram resultados inadequados?

A descoberta mais importante de Jobin, Ienca e Vayena não foi a quantidade, mas a estrutura da convergência. Em nível abstrato, emergiu um quase-consenso em torno de cinco princípios-pilar, transparência, justiça e equidade, não maleficência, responsabilidade, privacidade, aparecendo, com ligeiras variações lexicais, em praticamente todos os documentos. Mas este aparente acordo esconde, como demonstraram os autores, divergência radical em três dimensões decisivas:

(i) como cada princípio é operacionalmente interpretado;
(ii) por que se julga que ele se aplica;
(iii) quem é responsável por implementá-lo.

“Transparência” pode significar, conforme o documento, desde a divulgação pública do código-fonte até, apenas, a existência de uma FAQ no site da empresa. A palavra é a mesma, embora o conteúdo alterne em várias ordens de grandeza. Trata-se do que propomos denominar de paradoxo do consenso, quanto mais abstrato o princípio, maior o acordo; quanto mais concreto o mecanismo, maior a divergência. Traduzido em termos filosoficamente precisos, o princípio funciona enquanto permanece vazio. Essa é, a rigor, a definição operacional do que em filosofia política chamamos de uma fórmula ideológica no sentido althusseriano, um enunciado cuja função social não é dizer algo, mas organizar o consenso em torno do não-dizer.

Thilo Hagendorff, em 2020, na Minds and Machines, deu sequência ao diagnóstico com The Ethics of AI Ethics: An Evaluation of Guidelines. Analisou sistematicamente vinte e duas das diretrizes mais citadas investigando o efeito empírico dessas diretrizes sobre o comportamento concreto de engenheiros, cientistas de dados, gerentes de produto. A conclusão de Hagendorff é desconfortável, os documentos de ética em IA raramente produzem mudanças mensuráveis no comportamento dos desenvolvedores. Onde há mudança, ela tende a ser cosmética, como adicionar uma linha em um model card, renomear uma função interna, sem alteração estrutural nas práticas de desenho, teste e implantação. A hipótese de Hagendorff, documentada empiricamente, é que os códigos de ética em IA funcionam predominantemente como “marketing instruments”, instrumentos de comunicação externa, e não como guias internos de conduta.

Brent Mittelstadt, do Oxford Internet Institute, em Principles alone cannot guarantee ethical AI, publicado em Nature Machine Intelligence em novembro de 2019, sustenta que os cinco princípios em que a chamada “ética em IA” convergiu (transparência, justiça, não maleficência, responsabilidade, privacidade) reproduzem quase palavra por palavra os quatro princípios clássicos da bioética articulados por Beauchamp e Childress em Principles of Biomedical Ethics (1979): autonomia, não maleficência, beneficência, justiça. Mittelstadt demonstra que a importação foi deliberada: engenheiros e eticistas de IA importaram o vocabulário da bioética porque a bioética funcionou, sendo, possivelmente, o caso mais bem-sucedido de aplicação de princípios éticos a uma prática profissional tecnicamente complexa na história recente.

Segundo suas considerações, a importação está condenada ao fracasso porque as condições que tornaram a bioética eficaz não existem no desenvolvimento de IA, identificando, em suma, quatro diferenças estruturais. Primeira, fins comuns. A medicina tem um telos compartilhado e codificado há dois milênios e meio, o de curar quando possível, aliviar sempre, confortar sempre, não causar dano. Este telos é pré-profissional, pois existia antes da organização formal da profissão e a fundamenta. Todos os médicos compartilham a orientação teleológica. Um princípio ético na medicina tem, portanto, um vetor interpretativo fixo: o princípio serve ao telos; onde o princípio se torna ambíguo, o telos decide. É isso que faz um princípio funcionar. O desenvolvimento de IA, em contraste, não tem fins comuns. Um engenheiro de machine learning pode estar trabalhando, no mesmo mês, em sistemas de diagnóstico médico, em publicidade comportamental, em armas autônomas, em otimização logística, em geração de deepfakes.

Os tele são não apenas plurais; são, com frequência, mutuamente incompatíveis. Não há estrutura interna à profissão que determine qual vetor interpretativo deve prevalecer. Princípios como “justiça” ou “transparência” tornam-se, assim, semanticamente flutuantes, de modo que cada empresa, cada aplicação, cada cliente pode reinterpretá-los conforme seus interesses. Mittelstadt dispõe com rigor: “without common aims and fiduciary duties, ethical principles become rhetorical resources rather than action-guiding commitments”. Segunda, história profissional e normas sedimentadas.

A medicina articulou-se em profissão no sentido weberiano, um corpo que se autorregula, controla a admissão aos seus quadros, define padrões de competência, possui autoridade para excluir seus membros. Desde Hipócrates, passando pelo juramento de Esmirna e pelos códigos modernos (Declaração de Genebra, 1948; Declaração de Helsinque, 1964), existe uma tradição viva, com memória institucional e capacidade de sanção. O desenvolvimento de IA não tem equivalente. Não há corpo profissional centralizado, não há processo formal de credenciamento, não há autoridade com poder efetivo de licenciamento ou exclusão. Um engenheiro que viole princípios éticos básicos, digamos, treinando um modelo sobre dados obtidos sem consentimento, não perde o direito de exercer sua atividade. Pode, no máximo, ser demitido por uma empresa; é contratado pela concorrência na semana seguinte. A ausência desta infraestrutura profissional torna qualquer código de ética, por mais bem formulado, um enunciado sem destinatário institucional que possa ser chamado a responder.

Terceira, métodos comprovados de tradução. A medicina desenvolveu, ao longo de décadas, uma infraestrutura elaboradíssima para traduzir princípios abstratos em prática concreta: comitês de ética em pesquisa (Institutional Review Boards), protocolos de consentimento informado, ensaios clínicos controlados com fases rigidamente definidas, sistemas de farmacovigilância pós-mercado, comitês de mortalidade hospitalar, revisão por pares obrigatória para publicação. Cada um desses é um mecanismo mediador entre o princípio geral e a ação específica. A IA tem, no lugar disso, ferramentas majoritariamente voluntárias, em estágios iniciais de desenvolvimento, sem padronização setorial: model cards, data sheets, avaliações de impacto algorítmico, testes de red-teaming.

Nenhuma delas é compulsória globalmente; nenhuma tem a maturidade metodológica dos ensaios clínicos. Jessica Morley, Luciano Floridi e colaboradores, em From What to How: An Initial Review of Publicly Available AI Ethics Tools, catalogaram as ferramentas existentes e concluíram que a lacuna entre princípio e prática permanece “vasta e operacionalmente crítica”.

Quarta, mecanismos robustos de accountability pessoal. Na medicina, o erro grave pode custar a licença e processos individuais por negligência, ou em casos limite, levar à prisão. A responsabilidade é pessoal, nomeada, executável, pois o médico tem nome, CRM, endereço, patrimônio. Na IA, o que existe é o oposto, já que temos cadeias longuíssimas de responsabilidade difusa, protegidas por camadas corporativas e segredo de negócio tido e presumido como direito absoluto. O desenvolvedor cujo modelo produz dano jurídico é funcionário de uma empresa que responde, no máximo, com multa. A multa, nos casos mais graves, é pequena fração do lucro obtido; torna-se, como observou Lawrence Lessig em outro contexto, “mero custo de operação”. Nenhum arranjo de incentivos produz comportamento ético onde o custo individual da violação é zero.

A conclusão de Mittelstadt é rigorosa, sem estes quatro andaimes (fins comuns, tradição profissional, métodos de tradução, accountability pessoal), os princípios éticos em IA funcionam, tecnicamente, como ornamentação retórica.

Luciano Floridi, em Translating Principles into Practices of Digital Ethics: Five Risks of Being Unethical, complementa a análise ao nomear como essa falha se manifesta, em cinco vícios que Josh Cowls classificou como três distrativos e dois destrutivos, sendo estes:

• Ethics shopping. O ator, tipicamente corporação, escolhe, entre as muitas dezenas de conjuntos de princípios disponíveis, aqueles que melhor se acomodam às suas práticas existentes. Como há, literalmente, dezenas de documentos entre os quais escolher, há sempre algum conjunto que coincide com o que a empresa já faz. A empresa pode então anunciar adesão pública sem precisar alterar coisa alguma em suas operações. O nome técnico em economia internacional para o análogo regulatório é forum shopping: escolher a jurisdição mais permissiva.
• Ethics bluewashing. Por analogia explícita ao greenwashing ambiental documentado por Delmas e Burbano na California Management Review, Floridi define o bluewashing como a “malpractice of making unsubstantiated or misleading claims about, or implementing superficial measures in favour of, the ethical values and benefits of digital processes, products, services, or other solutions in order to appear more digitally ethical than one is”. A tipologia concreta: departamentos de comunicação ampliados para publicizar um comitê consultivo sem poder decisório; publicação regular de “relatórios de responsabilidade” que são documentos de marketing; patrocínio de conferências acadêmicas que geram visibilidade reputacional desproporcional ao investimento material.
• Ethics lobbying. Empresas ou associações do setor invocam frameworks éticos, que elas mesmas ajudaram a desenhar, para atrasar, diluir ou evitar legislação vinculante. O argumento característico é: “a indústria já está cuidando disso; regulação formal seria prematura e prejudicaria a inovação”. Notem a estrutura do argumento: a existência de código ético privado é usada como razão para a ausência de lei pública. A ética torna-se, assim, não complemento da regulação, mas substituto dela.
• Ethics dumping. Analogamente ao dumping ambiental do século 20, a exportação de atividades poluentes para jurisdições com regulação frouxa, é a exportação de práticas de pesquisa, desenvolvimento ou deploymIent eticamente duvidosos para regiões sem capacidade regulatória de resistir. Testes de reconhecimento facial em populações africanas que serviram para treinar modelos depois vendidos na Europa; coleta de dados biométricos em campos de refugiados; teste de sistemas de moderação de conteúdo em trabalhadores precarizados no Quênia e em Madagascar, com impacto psicológico documentado. A estrutura é colonial em sentido literal, não metafórico: o ônus ético é suportado por populações sem voz política no desenho do sistema.
• Ethics shirking. A redução de esforço ético onde o custo de não o aplicar é baixo (mercados periféricos, usuários de baixa renda, aplicações de pequeno impacto reputacional), com elevação seletiva apenas onde o escrutínio público é alto. O resultado é uma ética estratificada por risco reputacional, não por princípio.

Há um efeito cumulativo destes cinco vícios. Não basta diagnosticar um ou outro como abuso pontual; o problema é que, em conjunto, eles reconfiguram a própria função social do vocabulário ético.

A ética, em vez de orientar conduta, passa a ser um produto a ser gerenciado estrategicamente pela função de comunicação corporativa, como logotipo ou identidade visual.

Ben Wagner, da TU Delft, em publicação de 2018, denominada Ethics as an Escape from Regulation: From Ethics-Washing to Ethics-Shopping? afirma que a “ética” foi capturada para operar como mecanismo de evasão regulatória. Empresas de tecnologia, enfrentando demandas públicas crescentes por legislação vinculante, adotam voluntária e preemptivamente frameworks éticos, justamente para poder argumentar, diante dos reguladores, que a regulação formal não é necessária porque “o setor já se regula”. Em suas palavras: “ethics has become the new ‘industry self-regulation’”, a ética tornou-se a nova autorregulação da indústria, sendo cirúrgico ao listar os seis critérios mínimos que, em sua análise, distinguem autorregulação ética séria daquilo que ele chama ethics-washing:

(1) participação externa, com envolvimento precoce e regular de stakeholders relevantes;
(2) supervisão independente externa;
(3) procedimentos transparentes de tomada de decisão;
(4) lista estável de padrões não arbitrários com justificação explícita;
(5) garantia de que a ética não substitua direitos fundamentais ou humanos;
(6) declaração clara sobre a relação entre compromissos assumidos e arcabouços legais, particularmente sobre o que acontece em caso de conflito entre os dois.

Há um destaque todo especial para a sexta condição, o arranjo ético corporativo é legítimo apenas se ele se submete explicitamente ao direito, não se ele pretende substituí-lo. A operação típica do ethics-washing é exatamente inverter essa relação, ao invocar o ético para suspender o jurídico, quando então a ética é convertida em rota de fuga da regulação, e o compromisso voluntário oferecido para adiar a norma vinculante. Princípios éticos, embora importantes, em suma, não implementam processos e não trazem efetividade para conter riscos e danos na prática.

Se a crítica ao ethics-washing é levada ao extremo, pode produzir o fenômeno simétrico que Elettra Bietti, em From Ethics Washing to Ethics Bashing: A View on Tech Ethics from Within Moral Philosophy, nomeou com rigor. A crítica pode degenerar, argumenta Bietti, em trivialização cínica da própria filosofia moral, a ideia de que “ética é apenas retórica corporativa” e que a filosofia moral é, portanto, dispensável. Isso seria, nas palavras dela, “throwing the philosophical baby out with the corporate bathwater”. O ethics bashing consiste em reduzir a moral a “ferramentas discretas ou estruturas sociais pré-formadas como comitês de ética, esquemas de autogovernança ou grupos de stakeholders”, ou seja, a própria trivialização que o ethics-washing operou, só que agora assumida como descrição realista do campo. A contribuição de Bietti, que dialoga explicitamente com Ronald Dworkin, em Justice for Hedgehogs, é restabelecer o que ela chama de “valor moral intrínseco” da filosofia moral, não como ferramenta instrumental, mas como modo de investigação. A moralidade é “a mode of inquiry that facilitates the evaluation of competing tech policy strategies”.

A resposta à captura do vocabulário ético não é abandoná-lo; é restaurar as condições em que ele pode ter força vinculante real e entender que ética vai muito além do que mero catálogo de princípios abstratos escritos.

A segunda geração de governança no cenário internacional respondeu a isso trocando o registro e focando no processo, envolvendo papéis, ciclo de vida, documentação e rastreabilidade. O marco de gestão de risco do instituto norte-americano de padrões, publicado em 2023, organiza-se em quatro funções, das quais governar não é um capítulo, mas uma função permanente que atravessa as demais. Em sentido semelhante, a norma ISO/IEC 42001, do mesmo ano, criou o primeiro sistema de gestão de inteligência artificial, com política, papéis, auditoria interna e melhoria contínua.

A lista de avaliação de confiabilidade elaborada pelo grupo europeu de peritos de alto nível já havia tentado converter princípio em questionário operacional, enquanto que o regulamento europeu trabalha com classificação de risco, obrigações, avaliação de conformidade, fiscalização e sanção.

Tal geração da governança de IA traz avanços significativos, contudo ainda há um ponto de fragilidade, já que a verificação da conformidade ficou, na maior parte dos casos, com o próprio obrigado, a exemplo do próprio regulamento europeu, onde os sistemas de alto risco listados fora do domínio biométrico seguem, como regra, a rota do controle interno, legitimando que o próprio interessado se autoavalie, presumindo-se sua imparcialidade e não interesse no resultado final da análise.

Da mesma forma, a governança também pode ser cosmética quando a sua arquitetura acaba reduzida a formulários, listas de verificação e certificados produzindo falsa sensação de segurança com a mesma eficiência com que a ética declarada a produzia, substituindo-se um discurso legitimador por outro.

________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)