quinta-feira, 28 de agosto de 2008

Para avaliar a qualidade da pesquisa, basta usar indexação, índices de impacto, índices de citação?, artigo de Charbel Niño El-Hani, João Carlos Salles e Olival Freire Jr.

Fonte :http://www.jornaldaciencia.org.br/Detalhe.jsp?id=58083

JC e-mail 3580, de 20 de Agosto de 2008.

2. Para avaliar a qualidade da pesquisa, basta usar indexação, índices
de impacto, índices de citação?, artigo de Charbel Niño El-Hani, João
Carlos Salles e Olival Freire Jr.

"Somos estimulados a dialogar com nossos pares em todo o mundo, o que
certamente é correto, mas, em relação ao nosso próprio país, o sistema
de avaliação dos pesquisadores nos estimula a ficar isolados em torres
de marfim"

Charbel Niño El-Hani (Instituto de Biologia, UFBA. Bolsista de
produtividade em pesquisa do CNPq 1-D), João Carlos Salles (Depto. de
Filosofia, Faculdade de Filosofia e Ciências Humanas, UFBA. Bolsista
de produtividade em pesquisa do CNPq 1-B) e Olival Freire Jr.
(Instituto de Física, UFBA. Bolsista de produtividade em pesquisa do
CNPq 1-C). Artigo enviado pelos autores ao "JC e-mail":

É muito salutar que a comunidade acadêmica brasileira se volte para
uma discussão sobre como avaliar a produtividade de nossos
pesquisadores de modo a considerar não somente a quantidade, mas
também a qualidade das publicações.

Parece-nos necessário, contudo, considerar com muito cuidado quais
seriam os indicadores de qualidade nas diversas áreas, sem perder de
vista as muitas diferenças nos modos como a pesquisa é realizada e
comunicada em variados campos do conhecimento.

Afinal, os critérios de avaliação de pesquisadores devem ser
ponderados de modo informado em relação às tradições de pesquisa e
divulgação do conhecimento nas diferentes áreas.

Entre pesquisadores das ciências naturais, é defendida com freqüência
a visão de que devem ser usados critérios como a indexação e os
índices de impacto e de citação. A tendência de defender tais
critérios também freqüenta órgãos de fomento à pesquisa científica de
nosso país.

Muito recentemente, o CNPq incluiu na Plataforma Lattes referência ao
número de citações dos artigos cadastrados nesta base de dados pelos
pesquisadores, conforme registrado na base Scopus.

O fato de que não se fez qualquer consulta aos pesquisadores a este
respeito, nem mesmo aos bolsistas de produtividade em pesquisa do
próprio órgão, indica uma convicção de que índices de citação são um
bom reflexo da qualidade da pesquisa e, além disso, que bases de dados
como a Scopus oferecem uma boa cobertura da pesquisa em todas as
áreas.

Esta mesma convicção é indicada pelo fato – que consideramos
lamentável – de não se dar ao pesquisador a opção de incluir ou não
esta informação em seu currículo.

Mas índices de citação, ou mesmo índices de impacto de periódicos, ou
o cada vez mais usado fator h, são realmente bons indicadores da
qualidade da pesquisa em todas as áreas do conhecimento? De nossa
parte, estamos convictos de que este não é o caso, sendo esta uma das
principais motivações para escrevermos este texto.

Concordamos que tais critérios podem mostrar-se adequados para
determinadas áreas, sobretudo das ciências naturais. Nosso principal
intuito é, então, argumentar em favor de cautela no apoio ao uso de
tais índices de modo generalizado, devido à diversidade das ciências e
tendo em vista a necessidade de que nossa comunidade acadêmica aprecie
de modo mais crítico seu papel social frente às muitas dificuldades
vivenciadas em nosso país, bem como no que tange à sua inserção no
atual mundo globalizado.

Certamente, apresentamos este ponto de vista desde o lugar de onde
falamos e pesquisadores situados em outras posições na comunidade
científica brasileira poderiam destacar outros aspectos.

Parece-nos fundamental, de fato, que mais de nossos pares se
pronunciem a este assunto, de modo que possamos estabelecer um
democrático e saudável debate em torno deste aspecto tão central em
nossas vidas de pesquisadores, concernente aos critérios empregados na
avaliação de nosso desempenho como cientistas.

Este debate é muito necessário, na medida em que não é aceitável que
critérios e procedimentos de avaliação sejam estabelecidos sem que se
tenha na devida consideração as posições assumidas por pesquisadores
das diversas áreas do conhecimento.

Não se trata de falar contra a avaliação dos pesquisadores, que é, sem
dúvida, essencial. Tampouco se trata de negligenciar a importância da
produção acadêmica na forma de artigos, livros, capítulos etc.
Trata-se, antes, de discutir se e como devemos incorporar outros
critérios de avaliação, bem como a necessidade de trabalhar com tais
critérios de forma variada, de acordo com a área do conhecimento.

Devemos buscar uma avaliação que se paute também pela qualidade, e não
apenas pela quantidade. Mas será a única ou mesmo a melhor opção, em
todas as áreas, utilizar os critérios de indexação, índice de impacto
e índice de citação?

Comecemos com o ponto que nos parece de maior relevância, que diz
respeito à responsabilidade social da comunidade científica com o
avanço do país em relação a nossos problemas mais críticos. Como tal
responsabilidade poderia estar vinculada à avaliação dos
pesquisadores?

Consideremos um exemplo. A qualidade de nosso sistema educacional é
certamente uma das fragilidades brasileiras. No Programa Internacional
de Avaliação de Alunos (Pisa), os resultados de nossos estudantes
foram pífios em todas as áreas avaliadas e em todas as edições da
avaliação.

Este programa consiste numa avaliação internacional padronizada,
realizada pelos países participantes da Organização para a Cooperação
e o Desenvolvimento Econômico (OCDE), e aplicada, em cada país, a
4.500-10.000 alunos da 7ª série em diante, de várias regiões e de
diferentes tipos de estabelecimentos escolares.

Em 2006, o Pisa ocorreu em 56 países (incluindo todos os membros da
OCDE e países convidados). No que tange ao desempenho em ciências, o
Brasil esteve abaixo da média em 2000 (42º lugar, à frente apenas do
Peru), 2003 (40º lugar, à frente apenas da Tunísia) e 2006 (52º lugar,
acima de 5 outros países apenas).

Na avaliação da capacidade de leitura dos alunos, não fomos muito
melhores, ocupando a 39ª colocação entre 43 países em 2000, a 38ª
entre 41 países em 2003, e a 49ª entre 56 países em 2006. Por fim, em
matemática, nossos estudantes foram penúltimos (42ª posição) em 2000,
últimos entre estudantes de 41 países, em 2003, e 54º entre 57 países
em 2006.

Diante deste quadro, parece-nos essencial um profundo envolvimento da
comunidade acadêmica brasileira com a tentativa de melhorar a
qualidade de nossa educação, nas mais variadas disciplinas.

Seria muito interessante ver mais livros didáticos e paradidáticos,
textos de divulgação científica, propostas curriculares, seqüências
didáticas produzidas por pesquisadores brasileiros. Contudo, quantos
cientistas estarão prontos a correr o risco de investir seus esforços
e seu tempo na produção de tais itens de potencial impacto social?

Afinal, sua avaliação e, assim, sua possibilidade de obter bolsas para
seus orientandos e para si próprios, financiamento para sua pesquisa
etc depende, principalmente, até mesmo pura e unicamente, do número de
artigos publicados em periódicos indexados.

Ou seja, somos estimulados a dialogar com nossos pares em todo o
mundo, o que certamente é correto, mas, em relação ao nosso próprio
país, o sistema de avaliação dos pesquisadores nos estimula a ficar
isolados em torres de marfim.

Citamos a educação apenas como um exemplo, mas argumento similar pode
ser certamente construído numa diversidade de áreas, desde a ambiental
até a de pesquisa e desenvolvimento em conexão com a indústria
nacional.

Por uma questão de responsabilidade social, é fundamental que nós, da
comunidade acadêmica, nos dediquemos mais a investigações que resultem
em produtos que contribuam para transformações necessárias em nosso
país, como os produtos educacionais indicados acima, ou, para citar
outro exemplo, produtos tecnológicos que aumentem nossa capacidade de
gerar riqueza.

Mas, para isso, será preciso recompensar, e não prejudicar, os
pesquisadores por outros esforços além da produção de artigos em
periódicos.

Causa-nos espanto, assim, que, num momento em que se discute como
avaliar a qualidade do trabalho dos pesquisadores, não vejamos em
muitos círculos a defesa da inclusão de variáveis como sua
contribuição para a melhoria da educação brasileira, mediante a
produção de itens como os listados acima, ou a quantidade de
orientações concluídas e em andamento, que mostram sua dedicação à
formação de novas gerações de pesquisadores, mas apenas indexação,
índices de citação, índices de impacto.

Não podemos nos manter em tal torre de marfim, sendo avaliados apenas
por tais critérios assimilados de fora, sem considerarmos a
necessidade de contribuirmos para a melhoria de fragilidades
brasileiras bem conhecidas.

Um outro ponto de cautela diz respeito ao fato de que indexação,
índices de citação, índices de impacto etc não são igualmente
adequados em todas as áreas.

Podemos citar dois exemplos para ilustrar este ponto. Consideremos,
primeiro, a área de pesquisa em educação científica, atualmente
consolidada no Brasil, contando com bom número de periódicos, muitos
bem avaliados pela Capes, e com uma associação científica nacional, a
Associação Brasileira de Pesquisa em Educação em Ciências (Abrapec,
ver http://www.fae.ufmg.br/abrapec/), que realiza encontros bienais,
os Encontros Nacionais de Pesquisa em Educação em Ciências (Enpec).

Estes encontros constituem hoje o principal fórum da pesquisa em
educação científica no Brasil, tendo o último encontro, realizado em
2007, reunido quase 1.000 pesquisadores participantes e trabalhos
submetidos, dos quais 679 foram aceitos para apresentação e publicação
na forma de trabalhos completos, nas atas do encontro.

Nesta área, uma avaliação baseada em ferramentas como o Qualis pode
mostrar-se mais adequada do que o uso de indexação e, por conseguinte,
de índices de impacto e citação, calculados a partir de bases de
referências bibliográficas indexadas. Por que isso ocorre?

Simplesmente porque vários dos melhores periódicos voltados para a
pesquisa em educação científica, classificados como Internacional 'A'
no Qualis, não são indexados em bases como a Web of Science, do ISI, a
exemplo de Science & Education, Journal of Science Education and
Technology, Physics Education, International Journal of Science and
Mathematical Education ou Enseñanza de las Ciências.

Isso sem falar em vários periódicos nacionais bem qualificados, nos
quais a comunidade de pesquisadores em educação científica deve
publicar, pela própria natureza de seu trabalho e compromisso com a
melhoria do ensino de ciências em nosso país.

A despeito de não serem indexados em tal base, são amplamente
consultados por pesquisadores da área, sendo um consenso dentro desta
comunidade acadêmica que são periódicos da mais alta qualidade.

Em tais casos, um procedimento aprimorado de construção de uma lista
como o Qualis, de modo a refletir uma visão mais global da comunidade
acadêmica e se manter mais estável de um ano para outro, pode ser a
melhor opção. Devem ser considerados, também, esforços atuais para a
ampliação da base de dados do Qualis, de modo que se torne possível,
por exemplo, uma avaliação mais criteriosa da produção veiculada em
livros, que desempenha papel tão importante na maioria das áreas de
humanidades.

Pensamos que a questão aqui discutida está longe de ser problema
exclusivo de áreas como a educação ou a filosofia, de que trataremos
mais abaixo. Antes pelo contrário, em muitas áreas, temos bom número
de periódicos importantes ausentes de uma ou outra base de indexação.

Esta ausência de boa parcela dos periódicos certamente impacta de modo
muito significativo o cálculo e, logo, o emprego de índices de
citação.

Isso expõe ainda mais a fragilidade de apoiarmos nossos juízos sobre a
qualidade da pesquisa apenas em procedimentos dependentes da
indexação. Não se trata de que não possam ser usados, mas, sim, de que
devem ser usados em conjunção com um maior número de elementos de
avaliação e tendo sempre em vista as diferenças entre as áreas do
conhecimento.

Outra área do conhecimento na qual uma avaliação baseada em indexação
e índices de impacto e citação pode ter importantes fragilidades é a
de filosofia, na qual a produção na forma de livros é altamente
valorizada, não sendo esta alguma situação transitória, a ser
superada, na medida em que está relacionada à própria natureza do
trabalho filosófico.

Certamente, uma adoção generalizada de critérios como os citados acima
traria prejuízos notáveis para a área de filosofia, e não vemos
qualquer razão legítima para se exportar critérios válidos numa área
para outra, sem reconhecer as especificidades de cada área.

É isso que efetivamente ocorre, contudo, quando se toma decisões como
a recentemente tomada pelo CNPq, de incluir as citações de artigos na
base Scopus na Plataforma Lattes.

Em suma, não podemos perder jamais de vista que diferentes comunidades
acadêmicas têm em mais alta consideração distintos modos de produção e
divulgação de conhecimento, em prol de alguma proposta generalizada de
avaliação da pesquisa.

Este argumento sobre os limites das bases de indexação leva
naturalmente a um terceiro ponto. Como toda a comunidade científica
deve saber, a Web of Science é um dos produtos do Institute for
Scientific Information (ISI), fundado por Eugene Garfield em 1960.

O que temos verificado em conversas com nossos pares é que muitos
pesquisadores não têm muita consciência da natureza de tal instituto,
parecendo até mesmo pensar que se trata de algum tipo de instituição
filantrópica.

Além disso, temos visto colegas que mencionam com freqüência critérios
como os índices de impacto de periódicos, mas, quando perguntados
sobre como se calculam tais índices, não têm qualquer noção clara a
respeito.

Parecem ter uma espécie de fé cega em tais índices. Retornando à
natureza do ISI, é preciso que nenhum pesquisador perca de vista que
se trata de uma empresa, comprada em 1992 pela Thomson Scientific &
Healthcare, hoje Thomson Scientific, que é parte da corporação
multibilionária Thomson Reuters, uma companhia privada com ações na
New York Stock Exchange; Toronto Stock Exchange; London Stock
Exchange; e Nasdaq (ver http://www.thomsonreuters.com/about/;
http://en.wikipedia.org/wiki/Institute_for_Scientific_Information).

Similarmente, a base Scopus também é pertencente a uma empresa, a
Elsevier, que compete com o ISI pela oferta dos mesmos serviços.

Causa-nos espanto que muitos cientistas não pareçam refletir o
suficiente sobre como a fidelidade da comunidade científica a tais
serviços oferecidos por companhias comerciais poderia ser uma
engrenagem na manutenção de poder e recursos econômicos em mãos de uma
corporação deste porte, pertencente a empresários de um outro país.

Não que não devamos, por isso, utilizar tal recurso, mas devemos ter
plena consciência de como a comunidade científica brasileira se insere
nas engrenagens do mercado globalizado atual, para termos preservada
nossa capacidade crítica diante da decisão de criarmos uma grande
dependência de nosso sistema de produção científica e tecnológica em
relação a tais corporações.

Se devemos entrar neste jogo, em tal mundo globalizado, seria muito
salutar se todos os cientistas tivessem mais consciência do tipo de
jogo que estamos jogando.

Por que trazer este ponto à tona? Porque pensamos que nós,
pesquisadores, devemos ser mais críticos em relação às redes sociais –
estruturadas, inclusive, em termos de relações centro-periferia – na
qual a pesquisa científica se insere, perguntando-nos sempre sobre a
pertinência de diferentes modos de produção e divulgação do
conhecimento científico e, em particular, de avaliação da pesquisa.

É importante reiterar que não estamos propondo que critérios como
indexação ou índices de impacto e citação não sejam levados em
consideração, mas apenas que não sejam critérios únicos,
universalmente aplicados a todo o sistema de C&T, sem que se tenha na
devida conta as diferenças entre áreas do conhecimento.

Sustentamos, além disso, que tal sistema deve ser construído como
parece mais apropriado quando lidamos com uma questão empírica.
Devemos investigar a adequação de diferentes combinações de critérios
para a avaliação de distintas áreas do conhecimento. E, por fim, mas
não de menor importância, é preciso que não nos restrinjamos à
produção científica apenas.

É preciso incluir na avaliação dos pesquisadores, dando-lhe o devido
destaque, seu envolvimento em atividades necessárias para a melhoria
dos pontos mais frágeis de nosso país, a exemplo da baixa qualidade de
nossa educação e do pequeno número de patentes resultantes da pesquisa
acadêmica em nosso país, que tem se mostrado mais fértil na produção
de artigos do que na inovação científico-tecnológica.

Gostaríamos, ainda, de dar maior ênfase à idéia de que a proposição de
modos de avaliar a qualidade da produção acadêmica está relacionada a
um problema de caráter empírico e, como tal, deve ser abordado usando
as ferramentas das ciências empíricas.

Dito de modo simples e direto, em vez de importar padrões de avaliação
de outros sistemas de C&T, seria muito importante que nossos órgãos de
fomento financiassem investigações visando desenvolver e validar
critérios de avaliação da produção acadêmica de nossa comunidade
científica.

Assim, romperíamos ao menos neste campo a longa tradição de nosso país
de copiar as realizações de outros, usando nossa competência instalada
para produzir nossas próprias soluções para o problema de avaliar a
qualidade da pesquisa.

Por meio de tais esforços de investigação, poderíamos desenvolver os
conjuntos multifatoriais de critérios de avaliação da produção
acadêmica mencionados acima, bem como compreender melhor uma série de
nuances que é possível perceber em critérios largamente usados, como,
por exemplo, os índices de citação.

Podemos nos perguntar, por exemplo, se não há diferentes 'culturas' de
citação em áreas do conhecimento distintas, com pesquisadores de
certas áreas tendendo mais a usar conjuntos amplos de citações em seus
artigos, enquanto pesquisadores de outras áreas seriam, por assim
dizer, mais econômicos em seu uso de citações.

Se houver tais diferenças, quais seriam suas conseqüências para a
avaliação do desempenho de pesquisadores em diversas áreas do
conhecimento?

Eis aí uma interessante questão de pesquisa, cuja investigação poderia
ser financiada por nossos órgãos de fomento, como um meio de fornecer
uma base empírica mais consolidada para a tentativa de aprimorar nosso
sistema de avaliação da pesquisa.

Outra questão que vale a pena investigar diz respeito ao valor diverso
de diferentes tipos de citações de artigos. Por exemplo, numa
dissertação de mestrado defendida em 2003 no Programa de Pós-Graduação
em Ecologia e Biomonitoramento, do Instituto de Biologia da UFBA,
intitulada "A Prática Científica na Ecologia de Comunidades: Um Estudo
da Literatura de Ecologia de Comunidades de Lagartos", Leila Costa
Cruz distinguiu três modos diferentes de citar trabalhos:
referenciamento teórico, quando um artigo é citado para a formulação
de hipóteses testáveis ou para a discussão de teorias; referenciamento
metodológico, como apoio aos métodos empregados na pesquisa; e
referenciamento empírico, quando a citação tem o papel de
contextualizar, caracterizar e apoiar fatos empíricos mencionados pelo
autor.

Mesmo que não se aceite este modo de classificar os distintos papéis
que diferentes citações podem cumprir, é fato inegável que nós citamos
trabalhos com diferentes propósitos. Isso levanta questões que merecem
investigação: por exemplo, devemos atribuir o mesmo valor, ao calcular
um índice de citação, a todo e qualquer modo de referenciamento?

Parece-nos, em princípio, que não, na medida em que a importância de
um trabalho científico deve ser avaliada também pela natureza de seu
impacto num campo de pesquisa.

Se um trabalho é citado 10 vezes, mas nos dez casos, ele cumpre um
papel fundamental na construção de toda uma nova teoria num campo do
conhecimento, poderia ser razoável pensar que estas 10 citações valem
mais do que 100 citações de outro trabalho que é referenciado apenas
por razões metodológicas, digamos, porque relata um método usado para
dosar certa substância.

Seja como for, para além das opiniões pessoais que possamos ter,
parece-nos claro que temos aí outro campo de investigações a explorar.

Em suma, temos a esperança de que nossa comunidade científica seja
capaz de propor soluções próprias, inovadoras e que levem em conta a
responsabilidade social dos cientistas brasileiros e a diversidade das
áreas do conhecimento, diante do problema de avaliação da qualidade da
pesquisa.

Engajar-se em tal debate e, mais do que isso, em tal caminho de
investigação parece mais fértil do que apenas importar índices
desenvolvidos em outros sistemas de C&T, sem observar as
especificidades da pesquisa na realidade de nosso país e nas
diferentes áreas do conhecimento.


Nenhum comentário:

Postar um comentário

Deixe seu comentário! Não uso verificação de palavras.