Livro, manifesto e boletim sobre inteligência artificial, avaliação de pesquisas e pesquisadores e panorama de pesquisas no Brasil

Lesandro Ponciano

05 de julho de 2023

Atualmente, a prática científica envolve diversas organizações, incluindo universidades, centros de pesquisa, editoras e agências de avaliação. Recentemente, estudei três documentos importantes sobre o cenário atual de pesquisa científica tendo em conta essas organizações. Tratam-se do livro publicado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) intitulado “Artificial Intelligence in Science: Challenges, Opportunities and the Future of Research”, do manifesto de organizações europeias intitulado “Agreement on Reforming Research Assessment” e do boletim sobre pesquisa no Brasil publicado pelo Centro de Gestão e Estudos Estratégicos (CGEE) no contexto do Observatório de Ciência e Tecnologia e Inovação (OCTI), intitulado “Boletim Anual OCTI 2022”. Analisar esses documentos é um exercício de metaciência, pensar como a ciência tem sido feita.

O livro “Artificial Intelligence in Science” traz algumas análises de como os avanços na inteligência artificial podem impactar nas atividades de produção de conhecimento científico. Há várias evidências de que ela pode ser ferramenta auxiliar em várias atividades. Pessoalmente, acho que, no horizonte observável de 5-10 anos, os impactos na atividade de produção científica serão pequenos. O exercício do método científico é baseado na compreensão e descrição de como os fenômenos ocorrem. Curiosamente, essa é a principal deficiência de inteligência artificial atualmente. Ela é cheia de “caixas-pretas”, aprende nos dados padrões que ela desconhece e, portanto, no formato atual, é uma ferramenta com pouco poder de elucidar fenômenos. Por outro lado, acho que impactos importantes podem ocorrer na comunicação científica (divulgação de resultados entre cientistas) e na divulgação científica (divulgação de resultados para leigos). A inteligência artificial baseada em large language models é capaz de sintetizar informações e descrevê-las de diferentes formas, cada uma adequada a um público. Isso pode ajudar muito na comunicação científica e na divulgação científica.

O manifesto Agreement on Reforming Research Assessment explicita um dos grandes problemas da avaliação de pesquisadores e pesquisadores atualmente. Cientistas são avaliados pela produção e visibilidade de suas pesquisas. No modelo atual, são avaliações fortemente quantitativa e que se atêm fortemente a artigos. Elas são cheias de ranques e métricas, como H-index, qualis, impact factor, etc.. O problema é que, ao longo do tempo, esse processo deturpa o que é realmente o objetivo do pesquisador. O objetivo é ter um h-index X ou gerar uma inovação científica? Muitas vezes esses objetivos podem ser até conflitantes. Não foram poucas vezes que vi uma ótima conversa sobre pesquisa perder o rumo e se perder no objetivo. Por exemplo, em um dado momento, o objetivo do pesquisador deixou de ser realizar uma pesquisa científica que leve a uma descoberta importante e passou a ser ter um artigo publicado em um periódico qualis X ou fator de impacto Y. O grande problema é que, para se atingir esse objetivo de publicação, o que o pesquisador necessita é dominar uma série de subterfúgios de forma, estratégias de escrita e estar em centros renomados e isso não é exatamente aquilo que deveria ser o necessário, que é apresentar uma descoberta científica importante e robusta. Assim, ele se vê incentivado a direcionar o foco para os subterfúgios, estratégias e empregos em vez da pesquisa em si. O manifesto enfatiza bastante a reforma para um modelo de avaliação qualitativa e de valorização de vários tipos de artefatos, para além do “artigo” publicado. São bons sinais e gosto muito das sugestões que ele traz.

O boletim Anual OCTI 2022 apresenta um perfil interessante da pesquisa no Brasil. Além dos dados apresentados (majoritariamente de pesquisas indexadas no Web of Science e de bolsistas de produtividade do CNPq, com dados coletados da plataforma Lattes), ele traz uma “Nota de especialista” que interpreta os dados. Os resultados estão dentro do esperado quando demonstram a predominância de pesquisas em biodiversidade, educação, pecuária e outras produções animais. Essas são áreas em que o país concilia muito bem a pesquisa científica e sua aplicação na indústria. Os dados de bolsita de produtividades revelam perfis dos pesquisadores também destacando esses domínios. No entanto, considero as análises muito limitadas para realizar uma interpretação mais ampla da pesquisa no Brasil. Web of Science e bolsistas de produtividade do CNPq são uma parcela muito pequena e enviesada. Há muitos veículos de comunicação científica que não são indexados pelo Web of Science. As dezenas de veículos da Sociedade Brasileira da Computação, por exemplo, atualmente não são indexados. Bolsistas de produtividade são uma minoria dos pesquisadores atuando no país e são altamente favorecidos pelo governo federal, em comparação à maioria. Então, é importante ter em mente o alcance real dessa amostra.

É muito relevante o debate sobre a evolução da ciência com a inteligência artificial, sobre avaliação de pesquisas e pesquisadores e sobre os rumos da pesquisa nacional. Mas é importante não perder de vista que o motor da ciência, aquilo que é essencial, é o pesquisador realizando descobertas por meio do método científico. O restante é adicional ou auxiliar. A inteligência artificial, os mecanismos de avaliação e as políticas de fomento devem adicionar e ser colocadas ao auxílio dele e não o contrário, sob o risco de produzir uma “máquina” que gera indicadores mas não faz descoberta científica alguma.

.

Você pode encontrar informações sobre mim no meu site. Quando escrevo algo, ele aparece neste XML RSS feed, que pode ser cadastrado em leitores de XML RSS feed como a extensão para Chrome RSS Feed Reader ou Feedly.