É possível termos transparência de algoritmos para sistemas de IA

Geralmente, quando surgem novas tecnologias, estamos acostumados a reagir com o senso de urgência e de modo alarmante, com exercícios de futurologia que consistem na tentativa de adivinharmos para onde elas estão nos levando. Estamos muito preocupados em antecipar o futuro das tecnologias, quando, na verdade, deveríamos estar preocupados, primeiramente, em compreender de onde elas vieram.

Para compreender para onde estamos indo, precisamos entender como chegamos até aqui. Não é diferente com a inteligência artificial (IA) e com a compreensão de como ela se tornou eixo de preocupação central em todos os campos da vida humana – chegando mesmo a ser colocada como fator decisivo no futuro da espécie. Neste artigo, apresentamos a novidade técnica e social que os algoritmos de IA trouxeram para nossas vidas e caminhos possíveis para alcançarmos transparência em relação a esses algoritmos.

Comecemos, então, apresentando como a IA é um novo tipo de objeto técnico que reconfigura as relações sociais e técnicas envolvidas entre seres humanos e máquinas. A filosofia de Gilbert Simondon é aqui uma importante aliada. Em seu livro Do modo de existência dos objetos técnicos, ele analisa a evolução histórica da tecnicidade, dividindo os objetos técnicos em três tipos: elementos, indivíduos e conjuntos.

Basicamente, trata-se da seguinte divisão: elementos técnicos são objetos que são utilizados na interação com o meio, por exemplo, ferramentas como o martelo ou instrumentos como o microscópio. Já indivíduos técnicos são aqueles que portam as ferramentas. Finalmente, os conjuntos técnicos são a composição de diferentes elementos e indivíduos técnicos em um sistema organizado, por exemplo, uma oficina ou uma fábrica.

Até o século 18, prevaleceram relações sociotécnicas nas quais os seres humanos eram os indivíduos técnicos que portavam os elementos técnicos, isto é, as ferramentas (que ampliavam sua ação no meio) e instrumentos (que ampliavam suas capacidades de percepção do meio) para o trabalho artesanal e produtivo que era realizado nas oficinas ou em outros locais em que se realizava a atividade técnica.

No século 19, no contexto da produção industrial, as máquinas termodinâmicas em parte substituem os corpos humanos. São elas os indivíduos técnicos que operaram ferramentas e instrumentos nas fábricas. Como mostrou Charles Chaplin no clássico Tempos Modernos, os seres humanos entram como ajudantes do trabalho das máquinas ou operadores que as auxiliam ali onde elas ainda não conseguem se autorregular. As máquinas passam a integrar e utilizar diferentes elementos técnicos na sua própria atividade – entre eles os próprios corpos humanos -, em prol do funcionamento de grandes conjuntos técnicos como os sistemas fabris e as redes de infraestrutura que conformam o sistema mundial de produção de mercadorias.

Na passagem para o século 20, com as tecnologias informacionais, o que muda é que as máquinas – agora digitais – passam a produzir não apenas mercadorias industriais, mas a própria vida cotidiana, a vida social. Há uma automatização das relações sociais e do trabalho, através das instâncias de serviços e da informática, de modo que as máquinas passem a ser indivíduos técnicos que não mais utilizam apenas ferramentas e instrumentos; todo o trabalho e a vida humana passam a ser os elementos técnicos que são trabalhados pelas máquinas. Não são apenas as fábricas ou indústrias, mas é o conjunto da sociedade que passa a ser o meio das relações sociotécnicas.

No século 21, os algoritmos são, por assim dizer, as novas máquinas; são eles que mediam as relações entre elementos técnicos (smartphones, dispositivos conectados, dados, interações em redes e outras atividades humanas) e conjuntos técnicos (redes, plataformas e meios associados de conectividade humana e não-humana). A máquina não está mais fixada em um indivíduo técnico específico (um motor, uma turbina, máquinas industriais etc.), mas se encontra no conjunto das relações que ocorrem entre os indivíduos técnicos – as máquinas já não são mais exteriores a nós.

Os algoritmos nos conectam e nos relacionam; constituem os códigos e programas que mediam e estabelecem os vínculos técnicos-culturais e sociais que podem acontecer e como eles podem acontecer. Por meio dos algoritmos, as máquinas se fazem presentes no conjunto de toda a sociedade.

A partir dessa contextualização inicial, podemos agora abordar a questão da transparência nas interações entre humanos e algoritmos. A demanda por transparência tem acompanhado o crescimento exponencial dos sistemas algorítmicos e a maior parte dos projetos legislativos que visam a regulamentação da IA e de plataformas. Outrossim, o crescente interesse em sistemas de IA generativa e de propósito geral é um sinal do desejo da nossa sociedade por assistência ubíqua para nossas atividades diárias.

Contudo, torna-se cada vez mais difícil perceber e compreender como essa assistência constante captura e processa as relações sociais. Sugerimos nomear esse fenômeno como ambivalência da transparência. Por um lado, para aprimorar as capacidades de sistemas sociotécnicos, como os sistemas de IA, a sociedade se torna cada vez mais transparente para os processos algorítmicos. Por outro, à medida em que esses sistemas se tornam cada vez mais enraizados em nosso modo de vida, paradoxalmente, eles se tornam mais invisíveis e opacos para nós.

Atualmente, quase todas as interações humanas e vários aspectos da vida social são mediados por processos algorítmicos. Essas mediações incluem determinar a relevância nas mídias sociais, conduzir vendas de produtos em plataformas, alcançar visibilidade em mecanismos de busca, influenciar a divulgação eleitoral, acessar tutoriais de resolução de problemas, nutrir relacionamentos afetivos e românticos, além de, no geral, facilitar as comunicações diárias e oferecer assistência para diferentes tipos de trabalho. Todas essas mediações dependem de uma extensa produção de dados humanos. Contudo, na maioria dos casos permanece inexplicável ou inextricável a parte humana e a parte maquínica que estão envolvidas nessas mediações.

O problema é que a transparência é provavelmente a condição mais importante para que as instituições, mas também as empresas de plataformas possam ser responsáveis [accountable] nos sistemas democráticos. A democracia é um regime político inerentemente incompleto e imperfeito, pois suas instituições estão em constante evolução. Assim, sua legitimidade requer atualização constante por meio de participação ativa, pluralismo, busca pela igualdade, garantia da liberdade, observância dos deveres e promoção dos direitos humanos e da diversidade.

Cada um desses aspectos precisa ser avaliado tanto do ponto de vista institucional quanto social. Portanto, como afirmam Mendonça, Filgueiras e Almeida, em seu livro Institucionalismo Algorítmico, “se democracia significa que o poder não deve estar concentrado em uma única instituição ou grupo de atores, a responsabilidade [accountability] é um elemento crucial das democracias.

As democracias exigem responsabilidade no sentido de que uma instituição seja responsável perante as outras, tendo que justificar suas ações e estando sujeita a formas eventuais de punição. Este é o cerne da ideia de checagens e balanços, que permite a supervisão de uma instituição por outras e gera algum tipo de equilíbrio, evitando a concentração de poder”. Sem transparência de algoritmos, o equilíbrio de poderes fica comprometido, não sendo possível supervisionar ou atribuir responsabilidades aos atores que desenvolvem ou utilizam sistemas algorítmicos.

Consequentemente, a regulação desse ecossistema complexo e das relações entre as instituições, empresas e indivíduos exige que tenhamos acesso às informações e às ações praticadas pelos atores, que os processos que mediam as relações sociais sejam explicáveis e que o compromisso com a justiça e com o dever de não causar dano seja um parâmetro chave do funcionamento institucional e dos sistemas sociotécnicos. Contudo, só é possível avaliar se isso está acontecendo se houver transparência.

Sem termos transparência e explicabilidade sobre como decisões automatizadas, sistemas de recomendações, vieses, diagnósticos, geração de textos e imagens, ranqueamentos, entre outros processos, estão sendo produzidos por algoritmos de IA e das plataformas, não é possível incluí-los em um fluxo de responsabilidade e governança que é imprescindível para a vida democrática.

O debate internacional e nacional mobilizado nos processos legislativos de regulamentação, envolvendo a transparência de algoritmos, enuncia claramente que estes devem estar abertos ao escrutínio e controle das pessoas, também servindo ao bem comum e não apenas aos interesses privados. Porém, não possuímos ainda modelos adequados do ponto de vista técnico, político e social para fomentar a transparência e os mecanismos de auditagem para avaliação e accountability dos sistemas de IA. Entretanto, há alguns caminhos abertos para o desenvolvimento desses modelos.

Esalmi e Heuer compilaram em artigo alguns dos esforços e métodos que podem parametrizar a discussão. Eles propõem como dimensões fundamentais para a transparência: conscientização, correção, interpretabilidade e responsabilidade [accountability]. “Conscientização se refere ao conhecimento que os usuários possuem de que existem sistemas algorítmicos e ao reconhecimento da agência de tais sistemas.

Correção descreve o quão bem os outputs do sistema algorítmico se alinham com as expectativas dos usuários. Interpretabilidade se preocupa com o quão sensível é o desempenho do sistema. Responsabilidade diz respeito à percepção de justiça e controle em relação a esses sistemas”. Podemos nos valer dessas quatro dimensões para delinear alguns caminhos possíveis para a transparência de algoritmos no contexto brasileiro.

Em relação à conscientização, os esforços de alfabetização algorítmica e educação midiática podem fomentar o conhecimento mínimo que todo cidadão deve ter sobre o papel que os algoritmos possuem na organização e controle da vida social. Precisamos avançar em discussões curriculares e educacionais que não foquem apenas no ensino técnico ou no uso da tecnologia em sala de aula, mas que fomentem um pensamento complexo pautado em compreensões fundamentais de tecnologia que preparem os cidadãos para se relacionarem com as técnicas e tecnologias digitais como uma dimensão incontornável do mundo atual. A publicação da chamada BNCC da Computação em 2022, a abertura dos editais do Programa Nacional do Livro e Material Didático 2026-2029 e o intenso debate sobre a reforma do Ensino Médio, são oportunidades para avançarmos neste aspecto.

Em segundo lugar, em relação à correção e à interpretabilidade, todas áreas do conhecimento têm debatido aspectos fundamentais para a integração dos algoritmos e das IAs nos seus processos de pesquisa e inovação. Desde o uso de algoritmos na medicina diagnóstica e a discussão incontornável sobre a precisão e confiabilidade dos seus resultados, passando por diferentes usos nos desenvolvimentos de pesquisa básica e aplicada em variados campos, modelos de correção e interpretabilidade são condições indispensáveis para que a transparência de algoritmos seja alcançada provendo explicabilidade, segurança, confiança e aplicabilidade para os desenvolvimentos futuros.

As boas práticas da Anvisa, por exemplo, podem servir como uma fonte de inspiração para criação (ou designação) de uma agência regulatória específica encarregada do monitoramento e fiscalização, assim como do estabelecimento (ou cumprimento) de normas e diretrizes rigorosas que visem garantir o bom uso de algoritmos na pesquisa e na inovação.

Ainda nessa linha, no campo da política e da proteção dos direitos, Filgueiras e Almeida, em seu livro Governance for the Digital World, propõem um framework mínimo para parametrizar a obtenção de transparência de algoritmos a partir de informações que permitem auditabilidade e responsabilidade de empresas e atores envolvidos. Os elementos que eles apresentam nos permitem afastar a resposta fácil de que algoritmos e sistemas de IA são “caixas pretas” incognoscíveis para as quais falar de transparência é inviável.

Com dados confiáveis e sistematizados de inputs e outputs, arquitetura, modelo, desempenho, entre outras informações, é possível auditar e obter um conhecimento, mesmo que parcial, acerca do que os sistemas algorítmicos estão produzindo e como estão agindo – e, isto, sem adentrar seu código. A apresentação do Plano Brasileiro de Inteligência Artificial, com o anúncio da criação de um Centro Nacional de Transparência Algorítmica e IA Confiável, bem como o debate sobre a regulamentação da IA, são janelas de oportunidade para pensarmos amplamente modelos de governança e retomarmos as discussões sobre transparência a partir de diferentes propostas de pesquisadores do campo.

Finalmente, em relação à interpretabilidade e responsabilidade, as discussões recentes sobre o desenvolvimento de AI Agents e Compound AI Systems colocam na ordem do dia novas oportunidades e riscos. Como pontuou Andrew Ng: “Acredito que os fluxos de trabalho dos agentes de IA impulsionarão um enorme progresso na IA este ano [2024] – talvez até mais do que a próxima geração de modelos básicos. Esta é uma tendência importante e peço a todos que trabalham com IA que prestem atenção a ela. Hoje, usamos principalmente LLMs no modo zero-shot, solicitando que um modelo gere token por token de saída final sem revisar seu trabalho. Isso é o mesmo que pedir a alguém para redigir um ensaio do início ao fim, digitando direto, sem retrocesso, e esperando um resultado de alta qualidade.

Apesar da dificuldade, os LLMs se saem surpreendentemente bem nessa tarefa! Com um fluxo de trabalho de agente, no entanto, podemos pedir ao LLM para iterar um documento muitas vezes”. É possível aperfeiçoar os sistemas e modelos de linguagem integrando agentes de IA programados especificamente para ofereceram transparência de algoritmos. Há todo um campo de desenvolvimento possível para ferramentas integradas e agentes específicos nos sistemas compostos de IA que provenham ou ajudem na explicabilidade para compreensão do funcionamento e dos resultados desses sistemas – como discutiu Seth Lazar sobre os Generative Agents.

Como podemos ver, o debate está em plena ebulição e a única resposta inaceitável sobre transparência de algoritmos é a de que ela não é possível. Ainda precisamos desenvolver bases conceituais, sociais e técnicas consistentes e contextuais para avançarmos na discussão e em processos e desenvolvimentos concretos. Mas não podemos nos furtar a essa investigação, dado que ela é fundamental para garantirmos que a IA se desenvolva sobre bases responsáveis, éticas e democráticas.

(*) Lucas Vilalta é pesquisador da Cátedra Oscar Sala do Instituto de Estudos Avançados da USP.