Limites ao uso de IA na ciência e no ensino de ciência

O uso de inteligência artificial (IA) apresenta vantagens inquestionáveis em vários campos, mas também traz grande preocupação quanto aos seus efeitos para a vida humana, tanto em nível individual como na sociedade. Existe uma tendência a supervalorizar os resultados obtidos com IA, sobretudo em função dos novos chatbots capazes de simular a linguagem humana, mas sem compreensão dos significados, e sujeitos a erros e “alucinações”.

Estão em discussão propostas de regulação e controle da IA, mas ainda sem consenso. Um conflito já bem definido envolve aspectos financeiros e o altíssimo custo energético da IA, e a necessidade de priorizarmos a relação custo/benefício, tanto em relação aos empregos de trabalhadores humanos como aos custos institucionais do uso de IA.

É conveniente distinguir dois tipos de IA:

IA preditiva, baseada em análise de dados passados, que permitem previsão de resultados futuros. Remonta a cálculos de companhias de seguros no século 17, muito usada no século 20 em cálculos de predição de vendas, manutenção de equipamentos, análise de riscos financeiros etc. A IA preditiva tem uma lógica que pode ser totalmente voltada ao mercado (empresas que visam otimizar o equilíbrio financeiro e suas relações com consumidores).

IA generativa, capaz de gerar novos conteúdos com base em padrões aprendidos a partir de conjuntos de dados anteriores. Usada na geração de imagens e sons desde a década de 1950, explodiu na mídia atualmente com o início dos chatbots que simulam linguagem humana. A indústria do entretenimento já incorporou a IA generativa, tanto no uso de imagens e sons como no uso de simulação do movimento corporal humano, a ponto de tornar-se quase indistinguível uma representação virtual de uma realidade concreta. Estamos chegando ao ponto de não se saber mais o que é real ou imaginário.

Por outro lado, a ciência atual está num impasse devido ao declínio de ideias realmente novas, capazes de abrir novos horizontes, que exigem criatividade e inspiração, que a IA não tem condições de produzir. Essa questão se torna particularmente crítica quando consideramos a necessidade de integrar conceitos fundamentais de biologia e vida com os princípios já bem estabelecidos nas ciências exatas, como física e química.

Conforme o artigo História da ciência e interdisciplinaridade: alguns exemplos, essa integração não é apenas desejável, mas essencial para avançar em áreas emergentes e complexas, que exigem uma abordagem interdisciplinar para uma compreensão profunda dos fenômenos naturais, onde as fronteiras entre as disciplinas se dissolvem em prol de um conhecimento mais holístico e inovador.

Também o ensino de ciência está num impasse, diante da necessidade de transmissão de conteúdos conceituais, que exigem interiorização e conscientização, à grande massa da população. Propomos colocar em pauta, como tema, a questão dos limites ao uso de IA em ciência e ensino de ciência, numa discussão objetiva, feita a seguir.

A IA tem se mostrado uma ferramenta poderosa para potencializar o processo de ensino e aprendizagem quando há um controle sobre o conteúdo a ser lecionado. A sua aplicação em disciplinas de cursos de engenharia e arquitetura, por exemplo, possibilitou, de um lado, um aumento de produtividade docente, e, por parte dos discentes, não apenas um engajamento maior nas atividades acadêmicas, como também uma ferramenta de suporte e complementar aos estudos.

Engenharia não é uma ciência exata, usa conhecimento exato, mas define normas de ação concreta com critérios estatísticos ajustados à sociedade. O fato de não ser uma ciência exata e sim uma aplicação desta, significa que em muitas situações o conteúdo a ser desenvolvido é baseado em conceitos bem fundamentados da matemática ou física, desde que compatíveis com o conteúdo que alimenta os grandes modelos de linguagem como o chatGPT, abrindo possibilidades que vão além do aumento da produtividade docente.

Dentre as possibilidades está o uso de ferramentas de IA para a personalização do ensino, contemplando as necessidades ou dificuldades individuais dos alunos. Outra possibilidade é o desenvolvimento de chatbots específicos para cada disciplina de um curso, sempre com a curadoria dos docentes. Imaginando um cenário como este, o professor em sala de aula estaria mais preocupado em aplicar os conceitos em situações-problemas do que dedicar grande parte do tempo de interação com os alunos na explicação dos conceitos mais elementares.

Nos propusemos verificar a performance Humano + Máquina, num teste objetivo para avaliar o desempenho da IA e a qualidade do conteúdo obtido, visando definir os limites da IA tanto na geração de conhecimento (ciência) como na sua transmissão (ensino de ciência).

A IA é atualmente “opaca”, devido à competição acirrada quanto ao seu desenvolvimento comercial, não são divulgados seus princípios básicos; sabemos apenas que se baseiam em algoritmos de análise estatística de dados. No entanto, com acesso a artigos publicados e algum uso de IA em testes específicos, podemos fazer algumas análises, chegando a conclusões. Importante ressaltar um artigo que discute a questão das funções de perda, fundamentais para o treinamento de modelos de IA, pois medem o erro de um algoritmo em relação à verdade real dos dados. Ou seja, usando o princípio básico aceito em ciências exatas, de que existe uma verdade real, e não estamos lidando apenas com “opiniões” e médias estatísticas num grande conjunto de dados.

Focalizamos inicialmente ciências ditas exatas, que devem ter conexão com a realidade concreta, e nas quais a questão básica é elaborar a pergunta certa e pertinente, capaz de levar a respostas com significado.

ChatGPT e os modelos LLM (Large Language Models)

Estamos fazendo testes usando chatbots diferentes, tendo como parâmetro o nível de interação com o humano, após definição de questões propostas por nós. Está sendo analisada a quantidade de informação passada pelo Humano, até ser possível chegar à resposta correta/desejada ou a IA demonstrar “preguiça & erros & alucinações”.

Importante ressaltar um artigo de 2023 que discute o comportamento de chatGPTs ao longo do tempo, mostrando que duas versões avançadas (GPT-3.5 e GPT-4) variam muito ao longo de um curto espaço de tempo (três meses), em várias tarefas analisadas (de problemas matemáticos a testes médicos), com grande variação na precisão dos resultados.

Fizemos testes comparando respostas de chatGPT gratuito (chatGPT 3.5) e versões pagas, que permitem respostas detalhadas (GPT-4 Omni, da OpenAI). Comparamos resultados obtidos em “conceitos básicos em Física” e em “ensino de Engenharia” (disciplinas Robótica Industrial e Processos Avançados de Manufatura).

Uma análise, ainda qualitativa, permite conclusões interessantes. Parece possível afirmar que, quando usados por pessoas capazes de discriminar o conteúdo da informação em certo/errado, os chats chegam a resultados corretos, dentro do limite do que é aceito em ciência bem estabelecida, tanto em física como em ensino de engenharia, mas sem entrar no universo da “pesquisa de fronteira”.

Desvios na direção de erros óbvios parecem ocorrer quando se tenta ir além do bem estabelecido, forçando a IA a entrar em questões para as quais não está preparada, uma vez que não é treinada para dar a resposta “não sei, ignoro”. A capacidade de reconhecer os próprios limites parece depender da consciência humana, e somente o reconhecimento do limite pode levar a ultrapassá-lo. A mensagem que fica é: “Usemos a IA de forma responsável, mas não como fonte primária de informação”.

IA se insere nas mudanças tecnológicas ligadas à automação e ao aumento de velocidade. Processos que podem ser executados com uso de algoritmos se beneficiam com uso de IA, mas deve ser evitado uso de IA em questões controversas envolvendo relações humanas.

(*) Lia Queiroz do Amaral e Régis Pasini são pesquisadores da Cátedra Oscar Sala do Instituto de Estudos Avançados da USP.

Os artigos publicados com assinatura não traduzem a opinião do portal. A publicação tem como propósito estimular o debate e provocar a reflexão sobre os problemas brasileiros.