Como o mundo vai avaliar a excelência na pesquisa?

Quais são os atributos de excelência na pesquisa? Há vários deles, amplamente consensuais: pesquisa feita segundo boas práticas científicas, seguindo padrões éticos amplamente aceitos e verificáveis, validada por significativa parcela dos pares, trazendo avanços importantes para seu campo do conhecimento e para a sociedade.

Cumpridos os atributos, estaria tudo certo, certo? Estaria, se os atributos existissem independentes do contexto, incluído aí o tempo/espaço no qual são reivindicados. Ora, diriam muitos, como negar conceitos universais como ética, impacto, boas práticas, validação por quem é reconhecido? Não se trata de negar, claro, mas apenas reconhecer que as métricas precisam ser ajustadas.

Aceitamos com certa normalidade indicadores bibliométricos para medir a qualidade e definir, em grande medida, a excelência da pesquisa. Os indicadores bibliométricos dizem coisas importantes. A cientometria e a bibliometria evoluíram muito no presente século. São um eixo fundamental das avaliações da ciência baseada em evidências.

Referências que variam no tempo e espaço

Os números das bases de publicações científicas são superlativos. As três grandes bases de dados do mundo, a Web of Science (WoS), da empresa Clarivate Analytics, a Scopus, da Elsevier, e a Dimensions, da Digital Science, coletam, armazenam e disponibilizam informações de milhares de revistas, milhões de publicações e pesquisadores e bilhões de citações.

Singh et al. (2021) compararam os números e características dessas três bases. Em meados de 2020 a WoS computava 13,6 mil revistas indexadas com mais de 13,2 milhões de artigos; a Scopus, mais de 40,3 mil revistas com mais de 18 milhões de publicações; e a Dimensions, 77,4 mil revistas e mais de 28 milhões de publicações. As sobreposições e especificidades indicavam variações importantes (Singh et al., 2021):

• as revistas presentes na WoS representavam 1/3 das revistas indexadas pela base Scopus, e menos de 1% da WoS não estava coberto pela base Scopus;
• já as revistas na base Scopus representavam metade das indexadas da base Dimensions, e menos de 3% das publicações na Scopus não se encontravam na Dimensions.

A Dimensions é a base mais recente, lançada em 2018, e contém mais de duas vezes o número de revistas indexadas na Scopus (lançada em 2004 e a segunda maior base) e mais de cinco vezes as indexadas na WoS (criada, como tal, em 1997). São 35,5 mil “novas” revistas. Então, aceitando-se que todas as bases indexam revistas com política editorial séria, o horizonte de possibilidades de publicação expandiu-se consideravelmente nos últimos anos.

A Dimensions cobre um percentual maior de revistas das áreas de sociais, artes e humanidades: 8%, 11,4% e 17,9% respectivamente para a WoS, a Scopus e a Dimensions.

O que ocorreu? Estávamos nos referenciando em bases incompletas ou o quê?

As diferentes dinâmicas de publicação (artigos, reviews, livros e capítulos, anais etc.) nas diferentes áreas do conhecimento são notórias. Para artigos e reviews, nas três grandes bases, ciências da vida respondem, em média, por 44% das publicações; ciências exatas e tecnológicas juntas somam outro tanto. Só esses números já indicam dinâmicas diferentes de publicação.

Como se sabe, nas ciências sociais e nas artes e humanidades, as publicações mais frequentes são em livros, capítulos de livros, anais de congressos e documentos de políticas e produção artística.

Em estudo recente, Bin et al. (2022), analisando publicações e citações de um universo de mais de 21 mil doutores que cursaram doutorado com e sem bolsas em São Paulo, revelou diferenças substantivas nos padrões de publicação: enquanto doutores que tiveram bolsa no doutorado, quando comparados com doutores que não tiveram bolsas, publicaram em média 2,1 vezes mais artigos em revistas nas áreas de ciências da vida e exatas, nenhuma diferença foi encontrada  nas áreas de sociais, humanidades, linguística, literatura e artes entre aqueles mesmos grupos.

Por outro lado, nessas áreas, ex-bolsistas Fapesp (Fundação de Amparo à Pesquisa do Estado de São Paulo), Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) e CNPq (Conselho Nacional de Desevolvimento Científico e Tecnológico) nas áreas de sociais e humanidades publicaram entre quatro e sete vezes mais livros e capítulos de livros que seus equivalentes que cursaram doutorado sem bolsa.

É um padrão de produção científica totalmente diferente. Esse padrão tem óbvios reflexos nos indicadores de número de citações, fator de impacto e índice H.

Então, há um problema a enfrentar?

Indicadores de publicação em revistas, fator de impacto, citações (incluindo aqui aquelas ponderadas por área do conhecimento e por temporalidade, como o field weighted citation impact do Scival/Scopus), hoje considerados referências para avaliar pesquisa, são obviamente importantes.

Não se trata de demonizá-los. Trata-se antes de melhorar a representação do que é excelência em pesquisa, hoje limitada pela forma com que o sistema de avaliação progrediu.

Os problemas decorrentes são vários e estão bem relatados na literatura. O Manifesto de Leiden, de 2015, é uma referência que resume as principais lacunas de uma régua que serve para algumas medidas, mas não serve para muitas outras.

Não obstante iniciativas como a DORA, que completará 10 anos em maio de 2023, o Manifesto de Leiden e dezenas de outras pedindo mais e melhores indicadores, seguimos medindo a qualidade da pesquisa em qualquer área e em qualquer espaço pela quantidade de publicações, pela revista em que é publicado o artigo, pelo número de citações e pelo índice H.

Enquanto esse assunto não entrar efetivamente na pauta de agências de fomento e nas revistas científicas, nada ou pouco mudará.

A boa notícia é que já há sinais. Esses sinais atendem pelo nome de Avaliação Responsável da Pesquisa, cuja principal iniciativa hoje é o Acordo para a Reforma da Avaliação da Pesquisa.

A reforma da avaliação da pesquisa:  

Em dezembro de 2022 foi constituída a Coalização para o Avanço da Avaliação da Pesquisa para implementar o Acordo sobre a Reforma da Avaliação da Pesquisa, documento publicado em fins de julho do mesmo ano por cerca de 350 organizações representantes de mais de 40 países. O Acordo foi aberto a adesões em setembro daquele ano. Seu primeiro parágrafo já indica a missão (em tradução livre):

“Como signatários deste Acordo, concordamos com a necessidade de reformar as práticas de avaliação de pesquisa. Nossa visão é que a avaliação de pesquisa, pesquisadores e organizações de pesquisa reconheçam os diversos resultados, práticas e atividades que maximizam a qualidade e o impacto da pesquisa. Isso requer basear a avaliação principalmente no julgamento qualitativo, para o qual a revisão por pares é fundamental, apoiada pelo uso responsável de indicadores quantitativos. Entre outras finalidades, é fundamental para: decidir quem recrutar, promover ou premiar; selecionar propostas de pesquisa, assim como as organizações que devem ser apoiadas.”

Os dez compromissos do Acordo são:

Compromissos centrais:

1. Reconhecer a diversidade de contribuições e carreiras na pesquisa de acordo com as necessidades e a natureza da pesquisa.

2. Basear a avaliação da pesquisa principalmente na avaliação qualitativa, que deve ser central na avaliação por pares, apoiada pelo uso responsável de indicadores quantitativos.

3. Abandonar o uso inapropriado[vi] de avaliações baseadas em métricas do tipo Journal Impact Factor e índice H.

4. Evitar o uso de rankings de organizações de pesquisa nos processos de avaliação.

Compromissos de suporte:

5. Comprometer recursos para reformar a avaliação de pesquisa.

6. Revisar e desenvolver critérios, ferramentas e processos de avaliação de pesquisa nas organizações.

7. Aumentar a conscientização sobre a reforma da avaliação da pesquisa, comunicando, orientando e treinando.

8. Trocar práticas e experiências para permitir a aprendizagem mútua dentro e fora da coalizão.

9. Comunicar o progresso feito na adesão aos Princípios e implementação dos Compromissos

10. Avaliar práticas, critérios e ferramentas com base em evidências sólidas e no estado da arte com práticas de pesquisa da pesquisa e disponibilizar dados abertamente.

Como se vê, o Acordo não propõe pouca coisa. A pergunta é: em que medida mudará a cultura do fomento e do reconhecimento de pesquisadores e de organizações de pesquisa e, por extensão, do significado de excelência da pesquisa?

Há um longo e sinuoso caminho à frente. No cronograma proposto pelo Acordo, os signatários devem adotar os compromissos centrais após um ano da adesão e demonstrar que implementaram pelo menos um ciclo do novo processo de avaliação em até cinco anos.

Se o Acordo, dentre outras iniciativas na mesma direção, levará ou não a uma mudança nos critérios de qualidade e excelência no mundo da pesquisa, dependerá de vários fatores, todos eles ligados ao próprio mundo da pesquisa.

Nesse contexto, é preciso fazer mais pesquisa da pesquisa, ou mais ciência da ciência, no mundo e no Brasil. Sem isso não saberemos o que está acontecendo, muito menos influenciaremos nossos rumos.

(*) Sérgio Salles-Filho é professor titular do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Unicamp.