A avaliação por pares é ruim, mas é melhor do que a alternativa. Portanto, vamos torná-la melhor

Pensamentos de uma editora-chefe otimista que pretende tornar o processo de publicação algo que seus autores possam ansiar, caro cientista que está tentando publicar suas descobertas.

Sim, a revisão por pares é uma droga. Estou de acordo com você. Eu também já tive minha cota de descontentamento, decepção, comentários depreciativos e até insultos. Fui acusada gratuitamente de não saber nada sobre minha própria área; de não saber que devo usar o método que meus colegas preferem, mesmo que eu exponha os motivos pelos quais ele é inadequado para minhas perguntas; de escolher dados a dedo para defender um ponto de vista. Já me disseram que "ela deveria saber mais" (será que alguém já escreveu "ele deveria saber mais"?). Tenho todos os motivos para suspeitar que um revisor tenha paralisado meu trabalho e depois tenha apresentado seu próprio trabalho, e tenho certeza de que não estou sozinho em minha suspeita.

Assim como a democracia, que Winston Churchill famosa e cinicamente chamou de "a pior forma de governo - exceto por todas as outras", a revisão por pares é uma porcaria - mas é melhor do que a alternativa de não ter nossa pesquisa submetida à revisão por pares como parte do processo de publicação. Portanto, façamos nossa parte para melhorá-la, e proponho que comecemos com a pergunta mais simples: Por que se preocupar com a revisão por pares?

O objetivo do processo de revisão por pares depende da sua função nele: se você é o autor, o editor ou o ator mais odiado, mas necessário, o revisor.

O objetivo da revisão por pares para o autor

Os autores têm muito a ganhar se considerarem que o objetivo da revisão por pares é servir como uma espécie de abertura suave para um show que eles se esforçaram muito para preparar e que realmente querem ver bem-sucedido. Os autores devem pensar no processo de revisão por pares como um teste com um público seleto, cuidadosamente escolhido a dedo, que tem o privilégio de sentar-se e ler a primeira versão ou assistir à primeira exibição de seu trabalho. E se os revisores são o primeiro público privilegiado, então a melhor coisa que pode acontecer ao autor é receber feedback, um feedback amigável, porém crítico, dos revisores - porque você quer que seu público de teste lhe diga a portas fechadas se você errou em alguma coisa antes de errar em público!

Veja o meu caso: no ano passado, publiquei um artigo sobre cérebros de dinossauros nesta mesma revista (e não, é claro, não fui a editora do meu próprio artigo). Sou uma paleontóloga? Certamente que não. Eu errei em alguma coisa? Sim! Quando você sai da sua zona de conforto científico, ou você tem um coautor - o que não era o meu caso - ou conta com revisores realmente prestativos, e eu tive a sorte de tê-los. Também me beneficiei de outro tipo de abertura suave que cada vez mais autores das ciências biomédicas adotam e que nós da JCN incentivamos: depositar meu trabalho em forma de rascunho no bioRxiv e falar sobre ele nas mídias sociais para convidar os especialistas a participar. As revisões formais e informais dos colegas me deram a oportunidade de corrigir erros bobos e sérios e melhorar, de modo que meu trabalho final, publicado, fosse algo que eu pudesse defender totalmente e de que realmente me orgulhasse. Não vamos nos enganar: os revisores são apenas os céticos que ouvimos. Depois que seu artigo é publicado, ele fica à disposição de todos para zombar, apontar o dedo e pensar que eles teriam feito um trabalho melhor - você simplesmente não ouve esses comentários. Portanto, é melhor adotar o processo de revisão por pares já como um ambiente um tanto controlado e no qual você tem alguém para arbitrar quando os revisores ultrapassam os limites: o Editor.

O objetivo da revisão por pares para o editor

O editor é a pessoa encarregada de tomar as decisões de publicação, o que ele faz com base nas informações que recebe dos editores associados e revisores. Os editores associados são um punhado de especialistas que atuam em seu campo como responsáveis diretos por autores, artigos e revisores: eles combinam os artigos enviados com especialistas que são convidados a servir como público de teste para a abertura do trabalho e fornecem feedback e, depois que esses relatórios são recebidos, os editores associados são responsáveis por aconselhar o editor-chefe, comunicando suas recomendações sobre os manuscritos e os comentários feitos pelos revisores.

E aí começam os problemas, pois cabe aos editores lidar com os revisores que extrapolam seu papel de público-teste e agem como se fossem críticos de arte: Os guardiões do que é digno de estar no palco que é a revista que publica o trabalho. A opinião que um público de teste dá ao diretor da peça é completamente diferente da opinião que um crítico de artes dá ao público. Um público de teste quer ser útil e fazer do seu trabalho a melhor versão possível de si mesmo, para o seu próprio bem e o de seus concidadãos que estarão na plateia quando for o horário nobre. O crítico de artes, no entanto, quer mostrar o quanto sabe sobre o assunto, o quanto conhece o campo e os trabalhos anteriores, e quer se gabar se eles acham que seu trabalho é bom, ruim ou digno, ou como ele se compara ao que eles acham que vale a pena.

Mas ser o crítico de artes não cabe nem mesmo aos editores; o público será o mais severo dos críticos. A função dos editores é decidir o que deve estar em seu palco, sim; e os críticos, como público de teste para a abertura, fornecem informações valiosas para que os editores façam seu trabalho. Se e quando um revisor ultrapassar sua função de público de teste, cabe aos editores intervir.

Infelizmente, há editores associados que simplesmente aprovam o que os revisores dizem, e editores que aprovam a recomendação que recebem do editor associado. Seja porque a plataforma da editora é tão automatizada que convida a carimbar, seja porque os editores estão sobrecarregados e mal pagos ou simplesmente não se importam, carimbar é lamentável e não é profissional, mas é uma realidade do processo de revisão por pares e você, como autor, deve estar preparado para expressar seu descontentamento diretamente ao editor sempre que isso acontecer. E se tudo o que o editor fizer for enviar o seu recurso de volta ao revisor que você está contestando... bem, então você quer outro palco para o seu trabalho, não é? Um em que os editores realmente façam seu trabalho, o que inclui a criação de uma cultura saudável com seus autores e revisores.

O objetivo da revisão por pares para o revisor

Os editores precisam de bases e informações sólidas para tomar uma decisão informada sobre se um trabalho enviado é apropriado para o palco da revista. Uma submissão só segue para a revisão por pares quando o editor-chefe consulta os editores associados e, juntos, eles consideram que o trabalho resistirá ao processo de verificação de qualidade que é a abertura suave, para que o precioso (e não remunerado!) tempo dos revisores não seja desperdiçado. Independentemente do grau de conhecimento do editor e da especialização da revista, qualquer campo da ciência moderna se tornou grande demais para que uma única pessoa possa julgar o que é novo e sólido. O editor associado é a primeira pessoa que pode fornecer esse feedback especializado e passar o trabalho para revisores que serão escolhidos a dedo, quando apropriado. E então... os editores associados esperam o melhor: que o revisor faça um bom trabalho como público de teste.

E por que o revisor deveria fazer isso? Qual é o objetivo da revisão por pares para o revisor? Na realidade atual, os revisores não são pagos nem compensados de nenhuma outra forma além da boa sensação de estar fazendo a sua parte, especialmente quando chega o momento em que precisarão de um público de teste para seu próprio trabalho e querem que alguém concorde em se voluntariar para o trabalho. Se isso não for suficiente, os revisores convidados também podem ser lembrados de que estão tendo a oportunidade de dar uma espiada por trás das cortinas e descobrir em primeira mão o que em breve será notícia em seu campo. Atuar como revisor também é uma ótima oportunidade para ler um artigo na íntegra (honestamente, quando foi a última vez que você fez isso?) e se atualizar sobre trabalhos recentes na área que você pode ter perdido, mas que provavelmente serão citados na Introdução ou na Discussão.

Para os jovens, ser convidado para revisar um artigo também é um sinal de que você fez sucesso em sua área: alguém pensa que você é um especialista! O melhor que você pode esperar, ao fazer seu Ph.D., não é exatamente que haja aquela pequena parte do mundo da ciência que ninguém conhece melhor do que você - ou, pelo menos, que ninguém pensou tanto quanto você? Ser solicitado a fazer uma revisão por pares é o reconhecimento de que você se tornou essa pessoa, portanto, use a experiência que adquiriu e faça o trabalho.

Além disso, os revisores podem ser bons cidadãos e cuidar do bem de seu próprio campo. Você sabe, sentir-se orgulhoso por ter ajudado a publicar outro belo artigo, avançando o conhecimento - as razões pelas quais fazemos ciência, para começar. Se quisermos uma cultura de revisão por pares boa, construtiva, útil e com significado positivo, precisamos construir essa cultura - e a maneira de fazer isso é ser esse tipo de revisor quando for a nossa vez: um público de teste solidário, não o crítico de artes.

E ser um bom público de teste para seus colegas abre portas. Talvez você não queira construir uma carreira como editor, mas isso não importa: a reputação que você constrói como um bom avaliador contribui para sua posição em sua área. Você se torna aquela pessoa que é recebida por seus colegas editores em conferências não com "Ugh, lá vem ela, aquela pessoa que escreve aquelas resenhas de um único parágrafo que são apenas depreciativas e inúteis", mas com "Ah, legal, lá está aquela pessoa que tem tanto conhecimento e escreve aquelas belas resenhas e se esforça tanto para realmente entender o artigo e pesquisar os antecedentes e ser útil - quero trabalhar com essa pessoa, quero conversar com ela, perguntar o que ela pensa sobre isso, aquilo e aquilo outro". Portanto, faça isso porque acha que a regra de ouro é a melhor coisa do mundo, ou porque acha que será bom para você - mas, caso decida aceitar o desafio de ser um revisor, o importante é se oferecer para ser um público de teste para a abertura de seus colegas.

O que podemos fazer para melhorar?

Como tudo o mais, ser um bom revisor é algo que se aprende fazendo, mas algumas dicas importantes definitivamente ajudam - e esse será um tópico para outra ocasião. Por enquanto, aqui está o compromisso de uma editora-chefe otimista que pretende tornar o processo de publicação algo que seus autores possam ansiar, em vez de temer como um mal necessário: Trabalharei para fornecer feedback tanto aos revisores quanto aos autores e, junto com os editores associados, ofereceremos mediação para criar uma cultura de revisão por pares que garanta que todas as partes se sintam valorizadas. Não há decisões automatizadas de publicação em nossa revista. Nós nos preocupamos com o que publicamos e com como isso é publicado. Porque nós, os editores e autores do The Journal of Comparative Neurology, também somos o público do que colocamos em nosso palco e, portanto, também precisamos ser nossos próprios revisores. O objetivo não é manter a ciência fora do palco, mas garantir que o show seja o melhor possível. Que tal juntar-se à nós?