Seria o robô uma espécie de capataz moderno?

Em debate promovido pela Cátedra Oscar Sala, do Instituto de Estudos Avançados da USP, com o início da gestão do professor Virgílio de Almeida, houve um encontro de duas gerações diferentes de mulheres da diáspora africana, no Brasil e nos Estados Unidos, para falar da inserção das tecnologias emergentes na vida: Conceição Evaristo, titular da Cátedra Olavo Setúbal de Arte, Cultura e Ciência e autora da frase que dá título a este artigo, e Ruha Benjamin, professora do Departamento de Estudos Afro-Americanos da Universidade de Princeton (EUA).

Ruha Benjamin iniciou sua apresentação com a discussão sobre o problema das fronteiras e imigração. Ela ilustrou como se dá a criminalização da imigração com fotos de robôs fazendo a patrulha da fronteira dos Estados Unidos com o México, o que nos traduz o desconforto com as tecnologias emergentes quando seu uso é para reforçar visões de mundo e poder que são excludentes e ferem princípios básicos do direito à vida. Em adição, ela também notou as disparidades nos recursos que tais tecnologias demandam, em oposição à escassez de investimentos em diversas áreas de desenvolvimento humano que são essenciais para uma convivência pacífica e equilibrada em sociedade. Em última instância, há também uma contradição entre a alta expectativa de que a pesquisa e desenvolvimento em robôs e inteligência artificial são para o bem da humanidade, ou seja, para o bem de todos, o que se contradiz quando tais dispositivos entram em cena para vigiar e punir.

A desumanização de imigrantes e de todas as pessoas em situação de extrema vulnerabilidade é apontada por Ruha Benjamin como um paradigma onde os humanos valem menos do que as máquinas, as estruturas e sistemas. Ela cita Reece Jones, que diz ser o ato de imigrar ameaçador às estruturas de poder e controle desde que possui o significado simbólico de “escape” e “dissidência”.

Ruha demonstrou como as propagandas dos anos de 1960 sobre os robôs, ilustradas com os dizeres “todos nós teremos escravos pessoais de novo”, são um exemplo sobre como o uso de robôs vai além da praticidade anunciada. Os aspectos invisíveis de tais propagandas representam também um desejo associado ao fetiche da mercadoria, algo que torna as pessoas “especiais” a partir de privilégios exclusivos.

A ideia de que a tecnologia é neutra também é combatida nos seus argumentos. Embora exista um entendimento por boa parte de estudiosos, de Ruha a Heidegger, de que a tecnologia não é neutra, a consciência coletiva ainda percebe a tecnologia como um elemento neutro, produzida pela ciência e mediada por equações matemáticas.

Assim, ela enfatiza que a coleta de dados não é neutra e tampouco apolítica, e, desse modo, haverá uma necessidade de se criar um movimento por uma anistia tecnológica. Genial.

Conceição Evaristo iniciou sua fala sobre a grande frustração que precisamos lidar dentro do território brasileiro que é o questionamento sobre como debater o impacto das tecnologias quando ainda há uma grande lacuna na educação. Antes de pensar no iletramento digital há o problema histórico do acesso ao ensino que perdura até os dias de hoje. Ela questiona se somos protagonistas ou vítimas das transformações provocadas pela computação ubíqua e como poderemos interferir no mau uso das tecnologias se sequer conseguimos alfabetizar toda a população.

Evaristo nos deu uma aula de história apresentando as estatísticas, problemas e fatos relacionados ao acesso à educação da população negra no Brasil do século 19 aos dias atuais. Enfatizando também que no mercado o protagonismo é masculino (73%) e branco (56%), e ainda assim, quando se fala em política de cotas e bolsa de estudos como uma tentativa de equalizar os desvios e prejuízos do racismo estrutural, as resistências são muitas em diversos setores da sociedade. E este é também um problema nos Estados Unidos, onde diversos estados, como a Califórnia, proíbem por lei a aprovação baseada em aspectos étnicos e de gênero. Como forma de mitigar o problema, as universidades oferecem cursos e certificados para gerar maior consciência e entendimento sobre a diversidade e inclusão.

Conceição Evaristo afirma que uma sociedade racista nos adoece, e tal afirmação se alinha com as perspectivas bioéticas que expandem o entendimento do bem-estar e cuidado à saúde para uma maior atenção sobre as implicações das práticas humanas em todas as esferas da sociedade.

Ao final, Ruha Benjamin comenta a fala de Conceição Evaristo como um excelente exemplo sobre o que é levado em consideração quando se fala de tecnologia, já que Evaristo ressalta as “tecnologias sociais” e “tecnologias de resistência”, como os Quilombos. E elas são necessárias como modos de expressar a potência criativa de grupos que vivem a exclusão contínua que têm ainda como consequência o fato de que ler, escrever e navegar em diversos ambientes do conhecimento continua sendo um “privilégio” negado à população negra.

Ruha ressalta que incluir, apenas, sem tocar no que gera o racismo, tende a manter tudo tal qual está. Dentro da questão do trabalho frente à Revolução Industrial 4.0 ela menciona o caso dos empregados da Amazon, anunciando “não somos robôs”. Tal fato é similar à poética do início do século 20, de Charles Chaplin à peça teatral que cunhou o nome robô para o mundo, Rossum Universal Robots, de Karel Capek, onde estava embutida a ideia de que os humanos tratados como máquinas eram servos de uma estrutura a qual apenas lhes tirava a capacidade de desfrutar a vida, sem que o chamado “desenvolvimento” lhes desse oportunidade de desenvolver-se junto com os “benefícios” tecnológicos.

Ruha cita Mr. Baraka, que afirma serem as máquinas uma representação da moralidade dos seus inventores. Assim, se as tecnologias não expressam as lutas e, mais especificamente, as resistências contra a violência e opressão, elas mostrarão apenas um lado da narrativa.

Ela afirma ser necessário pensar as “poéticas do futuro” em que o otimismo pode encontrar espaço junto às tecnologias. Assim, nos convida a conhecer melhor os projetos nos quais está envolvida, Tech Freedom Schools e Civics of Technology. Tais projetos buscam respostas para questões como, por exemplo, como vamos nos reabilitar da toxicidade provocada pelas tecnologias de vigilância.

Ela sugere que no Brasil podemos fazer “Quilombos Digitais” e que também precisamos pensar em como promover uma maior inclusão das mulheres e de todas as pessoas de grupos subrepresentados dentro dos processos de desenvolvimento tecnológico, já que tal presença cria tensões na estrutura que dita os modos de pensar, agir e fazer a ciência que está por detrás das tecnologias. Concordo, e também acrescento que se o problema, do ponto de vista epistemológico, é estrutural, as soluções necessárias para reparar erros vêm a requerer entender como padrões e classificações forçam e reforçam disputas dentro de uma microfísica do poder.

Conceição Evaristo pergunta se seria o robô uma espécie de capataz moderno, controlando a produtividade do sujeito e que devemos estar atentos de que a tecnologia pode produzir novas formas de libertação ou novas formas de escravização e exclusão, já que ela é altamente comprometida com o capitalismo, isto é, ela precisa trazer resultados. A matemática Cathy O’Neal também chama atenção para a “política de resultados” mediada por algoritmos em The Era of Blind Faith in Big Data Must End, enfatizando que a eficiência do sistema é julgada pela capacidade de apontar algum resultado, não importando a representação do seu conteúdo, se justo ou injusto, se correto ou falho. Novamente, temos aí um problema onde uma suposta neutralidade do algoritmo e seus resultados faz com que a ciência se equipare a um dogma religioso. E, dentro da estrutura do conhecimento, há uma tendência a referendar as decisões algorítmicas com preconceitos implícitos, sendo os mais prejudicados os que já são mais vulneráveis em termos de posição socioeconômica, origem cultural e étnica; suas queixas tornam-se recorrentes como um “ruído” que não interfere no “status quo”.

Evaristo lembra que não ter o domínio na sociedade letrada é uma forma de exclusão e as consequências são imensas lacunas de separação.

Ruha Benjamin comentou sobre a dificuldade de tornar a academia mais inclusiva nos Estados Unidos e afirmou que as mudanças vêm acontecendo a partir da pressão dos estudantes. Evaristo diz que o Brasil só muda a partir da presença de indígenas e negros no corpo discente e docente para cobrar. Ela diz que até então as demandas por mudanças vêm sendo representadas pela insistência do movimento social negro.

Em oposição às evocações apocalípticas frente aos desastres que estamos vivenciando nas esferas social, econômica, ambiental e de saúde pública, Ailton Krenak nos lembra que não devemos temer as quedas, porque sempre estivemos caindo. Precisamos então ser criativos, que é um bem humano, e inventar os nossos paraquedas coloridos. Ailton Krenak lembra também que tais tecnologias criam uma espécie de “sociedade zumbi” sem tolerância à diversidade. Se todo conhecimento que não é parte das estruturas formais é considerado erro, o lugar que querem nos fazer ocupar está predeterminado.

Se a tecnologia é criatividade, invenção, ela representa a beleza de nossa imaginação, a possibilidade de superar desafios. Porém a tecnologia mediada por algoritmos tem saberes e intenções embutidas, as quais a maior parte da sociedade não tem entendimento para sequer criar uma consciência crítica.

Há ainda muito a ser debatido e entendido dentro dos modelos educacionais e das maneiras de fazer ciência para que consigamos diminuir o lastro de contradições entre os que advogam pela inclusão e diversidade, mas que mantêm a defesa de práticas que reforçam estruturas autoritárias e excludentes. Estas se expressam, por exemplo, quando são evocados o “canônico” na filosofia e a metodologia na ciência, como se houvesse apenas uma forma de conhecimento e uma maneira de proceder dentro do “fazer científico”. Como exemplo cito que um colega “de cor” brasileiro ouviu de um nórdico, em um laboratório de pesquisa no exterior, que se ele não sabia proceder certo experimento, ele “não sabia nada”. A arrogância desta atitude dentro de um ambiente educacional é não compreender que, se aquela pessoa chegou até ali, ela tem muitos e outros saberes. Que ela está ali para aprender e que ela também pode ensinar. Este e outros tipos de assédio moral ocorrem todos os dias dentro do ambiente acadêmico-científico e se constantemente tolerados dentro das microfísicas do poder, perdemos a oportunidade de transformar a educação para torná-la de fato diversa e inclusiva, com respeito a outras culturas e os saberes que trazem.

Ao final, o diálogo intersubjetivo representa o respeito à escuta, enquanto o algoritmo é um monólogo que prevê o resultado que deve ser o “correto”.

Creio que daqui em diante nosso desafio é como fazer o algoritmo ouvir, dar-se o tempo de refletir e questionar, antes de classificar e gerar um resultado parcial como se fora resultado completo, final e acurado. Como exemplo cito o caso dos testes de DNA para verificar ancestralidade. O resultado é fechado em 100% quando não há conhecimento de todas as possibilidades de ancestralidade. Assim, se a minha origem vem de tribos indígenas extintas e outros povos ao redor do mundo não classificados, terei um resultado ilusório com as referências que estão super-representadas no banco de dados.

O encontro com Ruha Benjamin e Conceição Evaristo provocou muitas reflexões dentro de ações que venham a compor uma “pedagogia do oprimido” no contexto dos desenvolvimentos tecnológicos. Entendo como desafio a questão da empatia, que é como relacionar-se com a alteridade. Quando os algoritmos entram em cena devemos nos perguntar se eles reforçam o bloqueio à escuta, já que sua estrutura formal é de um monólogo com expectativas de resultados predeterminados. No Design de Interação, por exemplo, é muito comum que o “usuário” apresente um comportamento que não foi previsto e que fará com que o sistema gere algum tipo de erro ou simplesmente não funcione. Para alguns “produtos”, a solução é fazer o máximo de testes possíveis antes de disponibilizar ao público. Do ponto de vista ético há que se entender que tipo de impactos os possíveis erros do sistema podem vir a causar. E um diagnóstico errôneo produzido por uma IA (inteligência artificial), seja na saúde ou justiça, difere de uma avaliação de crédito utilizada no setor financeiro, ou da eficiência de um aplicativo na relação de interação com o usuário.

Sherry Turkle ressalta que as expectativas sobre a tecnologia são mais altas do que se pode esperar em termos de ações humanas em favor do projeto de humanidade. Mas como podemos esperar que a tecnologia irá nos salvar apresentando melhores resultados do que não somos capazes de fazer bem como humanos? Em verdade, do martelo à bicicleta, a tecnologia tem potencializado capacidades humanas. Mas na interação com o algoritmo há a disputa sobre que modelo será seguido para determinar o destino de muitos, em situações de trabalho, saúde, educação ou justiça.

Um dos dispositivos de combate às injustiças é o direito à explicação sobre a decisão de um algoritmo, assim como o acesso ao conhecimento de sua estrutura. Este me parece o desafio maior, provocado pelas leis de proteção de dados que vêm entrando em vigor nos últimos anos.

Desde que um algoritmo precisa seguir um roteiro predeterminado, entendo que a vida mediada por algoritmos vem causando impactos na cultura, pois, enquanto modelos muito abertos são difíceis de operacionalizar, os modelos fechados tendem a provocar a monocultura, assim como a invisibilidade, e mesmo hostilidade ao que “destoa” ou contradiz o padrão. O racismo, assim como diversos tipos de pré-conceitos, são violências intersubjetivas sustentadas por motivações pragmáticas, onde eliminar a potência da “vida nua” significa o seu uso para fins específicos que, via de regra, não resultam em uma vida boa para a maioria dos seres. O nosso desafio atual é pensar e propor qual a melhor maneira de termos tais tecnologias inseridas nas nossas vidas.

(*) Elen Nas é Ph.D. em Bioética.