Δήλωση: Πρακτικές δημοσίευσης και δείκτες και ο ρόλος της αξιολόγησης από ομοτίμους στην αξιολόγηση της έρευνας

Η Επιτροπή του ICSU για την Ελευθερία και την Ευθύνη στη Διεξαγωγή της Επιστήμης (CFRS) εκφράζει την ανησυχία της για το γεγονός ότι ορισμένες από τις πολιτικές και τις πρακτικές που υιοθετούνται επί του παρόντος από επιστημονικά ιδρύματα και εκδότες περιοδικών ενδέχεται να υπονομεύουν ακούσια την ακεραιότητα της επιστημονικής βιβλιογραφίας. Αυτό επιδεινώνεται από την άκριτη χρήση μετρικών δημοσίευσης, ως αντικατάστασης της ανεξάρτητης αξιολόγησης από ομοτίμους, στην αξιολόγηση της επιστημονικής απόδοσης. Επισημαίνοντας αυτές τις ανησυχίες στις οργανώσεις-μέλη του ICSU, ελπίζεται ότι θα λάβουν μέτρα για να διασφαλίσουν την ποιότητα του επιστημονικού αρχείου και να προωθήσουν μια προσεκτική και κριτική προσέγγιση στη χρήση μετρικών δημοσίευσης στην αξιολόγηση της έρευνας.

Ζητήματα που προκαλούν ανησυχία:

• Κατά τον διορισμό επαγγελματιών και την απονομή επιχορηγήσεων, το ιστορικό δημοσιεύσεων των υποψηφίων, και ιδίως ο αριθμός και η υποτιθέμενη απήχηση των δημοσιεύσεων, αποτελεί συχνά κύριο κριτήριο. Αυτό δημιουργεί ακούσια κίνητρα για διπλές δημοσιεύσεις, τμηματικές δημοσιεύσεις, δημοσιεύσεις μικρής αξίας και τιμητική συγγραφή.
• Οι παράγοντες απήχησης περιοδικών δίνουν μια ένδειξη του μέσου αριθμού αναφορών που αναμένεται για μια εργασία σε ένα συγκεκριμένο περιοδικό, αλλά αυτοί οι αριθμοί ερμηνεύονται εύκολα παρερμηνευτικά. Για παράδειγμα, μπορούν να επηρεαστούν από την αναλογία των κριτικών προς τις πρωτογενείς εργασίες. Οι αναφορές για οποιαδήποτε μεμονωμένη εργασία μπορεί να είναι πολύ υψηλότερες ή χαμηλότερες από αυτές που αναμένεται από τον παράγοντα απήχησης.
• Ενώ ο αριθμός των αναφορών μπορεί να δώσει μια ένδειξη για την ποιότητα μιας δημοσίευσης, αυτό δεν ισχύει απαραίτητα. Οι πραγματικά νέες και πολύ σημαντικές εργασίες μπορεί κάλλιστα να προσελκύσουν μικρή προσοχή για αρκετά χρόνια μετά τη δημοσίευσή τους. Μια εργασία που είναι λανθασμένη μπορεί να δημιουργήσει πολλαπλές αναφορές από εργασίες που την αντικρούουν, και οι αριθμοί αναφορών μπορούν να διογκωθούν από αυτοαναφορές. Οι αριθμοί αναφορών τείνουν επίσης να είναι μεγαλύτεροι για τις κριτικές από ό,τι για τις πρωτογενείς εργασίες.
• Η αξία που αποδίδεται στα αρχεία δημοσιεύσεων και παραπομπών μπορεί να πιέσει τους επιστήμονες να δημοσιεύουν πολύ νωρίς ή να υπερβάλλουν και να ερμηνεύουν υπερβολικά τα αποτελέσματα. Μπορεί επίσης, σε ακραίες περιπτώσεις, να προωθήσει την επιστημονική κακή διαγωγή, κατά την οποία τα αποτελέσματα κατασκευάζονται, παραποιούνται ή λογοκλοπούνται.
• Ως αποτέλεσμα της πίεσης για δημοσίευση, ένας αυξανόμενος αριθμός χειρογράφων υποβάλλεται σε πολλά περιοδικά πριν τελικά γίνουν δεκτά. Αυτό αυξάνει το βάρος για τους κριτές, γεγονός που τελικά μειώνει την πληρότητα της διαδικασίας αξιολόγησης. Οι πολλαπλές υποβολές και κριτικές του ίδιου έργου μπορούν να καθυστερήσουν την ανακοίνωση σημαντικών αποτελεσμάτων και μπορεί να υποστηριχθεί ότι ο πολλαπλασιασμός του αριθμού των κριτικών σπάνια αποτρέπει την τελική δημοσίευση εργασίας κακής ποιότητας.
• Εναλλακτικά μέσα δημοσίευσης σε μη αξιολογημένα ή μη αξιολογημένα από ειδικούς ηλεκτρονικά αρχεία, σε ατομικές ή θεσμικές αρχικές σελίδες ή ιστολόγια, γίνονται ολοένα και πιο δημοφιλή. Ενώ αυτά τα μέσα ανοίγουν νέες δυνατότητες και ενισχύουν τη γενική προσβασιμότητα στις δημοσιεύσεις, αυξάνουν επίσης τη διαθεσιμότητα λιγότερο σημαντικών ή ενδεχομένως παραπλανητικών πληροφοριών.

Το CFRS ανησυχεί ότι οι τρέχουσες πολιτικές και πρακτικές ενδέχεται να έχουν σοβαρές επιπτώσεις στην ποιότητα του επιστημονικού έργου γενικότερα και να αυξάνουν το βάρος που βαρύνει τους κριτές περιοδικών. Οποιαδήποτε περιττή αύξηση του όγκου των επιστημονικών δημοσιεύσεων απειλεί την ορθή διαδικασία αξιολόγησης, η οποία είναι απαραίτητη για τη διατήρηση των προτύπων ακρίβειας και ακεραιότητας.

Εκτός από τον ρόλο της στις επιστημονικές δημοσιεύσεις, η Επιτροπή θεωρεί την αυστηρή και αμερόληπτη αξιολόγηση από ομοτίμους ως τον σημαντικότερο μηχανισμό για την αξιολόγηση της ποιότητας του επιστημονικού έργου και των επιστημονικών έργων. Η καθιέρωση και η διατήρηση καλών διαδικασιών αξιολόγησης από ομοτίμους αποτελεί από μόνη της μια πρόκληση και αναγνωρίζεται ότι μπορεί να υπάρξουν οφέλη από τη χρήση ποσοτικών μέτρων και μετρήσεων ως συμπληρωματικά προς αυτή τη διαδικασία. Ωστόσο, η φαινομενική απλότητα και η ελκυστικότητα τέτοιων αριθμητικών δεικτών δεν θα πρέπει να κρύβουν τις δυνατότητές τους για χειραγώγηση και παρερμηνεία και, ως εκ τούτου, θα πρέπει να χρησιμοποιούνται μόνο με σημαντική προσοχή.

Επειδή οι κανόνες για τον αριθμό δημοσιεύσεων, τις συμβάσεις συγγραφής και τις παραπομπές διαφέρουν από πεδίο σε πεδίο, οι κρίσεις και οι πολιτικές συχνά γίνονται καλύτερα από συναδέλφους με εμπειρία στον ίδιο τομέα. Το CFRS προτρέπει τους οργανισμούς-μέλη του ICSU να ενθαρρύνουν τη συζήτηση σχετικά με τα κριτήρια επιστημονικής αξιολόγησης, τους δείκτες σταδιοδρομίας και τα αρχεία δημοσιεύσεων, με στόχο την προώθηση ενός συστήματος που μπορεί να υπηρετήσει καλύτερα την επιστήμη γενικότερα. Αντί να μαθαίνουν να επιβιώνουν σε μια κουλτούρα «δημοσίευσε ή χάθηκες», οι νέοι επιστήμονες θα πρέπει να ενθαρρύνονται και να υποστηρίζονται ώστε να παράγουν υψηλής ποιότητας επιστημονικές ανακοινώσεις που συμβάλλουν πραγματικά στην επιστημονική πρόοδο.

Ερωτήματα προς εξέταση, σχετικά με τη χρήση μετρήσεων στην αξιολόγηση της ερευνητικής απόδοσης, περιλαμβάνουν:

• Κατά την αξιολόγηση αιτήσεων για επιχορηγήσεις και θέσεις, ποια είναι η βέλτιστη ισορροπία μεταξύ της άμεσης αξιολόγησης από ομοτίμους, συμπεριλαμβανομένης της ανάγνωσης σχετικών άρθρων, και της χρήσης ποσοτικών μέτρων που βασίζονται σε αρχεία δημοσιεύσεων;
• Κατά την αξιολόγηση των αρχείων δημοσιεύσεων και της απόδοσης, ποια βαρύτητα θα πρέπει να εφαρμόζεται στον αριθμό δημοσίευσης, τους παράγοντες h, τον παράγοντα απήχησης περιοδικών, τον αριθμό παραπομπών, την κύρια δημοσίευση έναντι της κριτικής;
• Λαμβάνοντας υπόψη ότι οι συμβάσεις διαφέρουν σημαντικά από τομέα σε τομέα, πόση αναγνώριση θα πρέπει να δοθεί στην πρώτη συγγραφή, την τελευταία συγγραφή, τη μεσαία συγγραφή ή την αντίστοιχη συγγραφή; Σε ορισμένους τομείς, η επικράτηση της «φανταστικής συγγραφής» αποτελεί επίσης ένα ζήτημα που προκαλεί ιδιαίτερη ανησυχία*.
• Ποια πίστωση θα πρέπει να δοθεί στις προεκτυπώσεις και σε άλλες ηλεκτρονικές δημοσιεύσεις, είτε έχουν αξιολογηθεί από ομοτίμους είτε όχι; Θα πρέπει να λαμβάνονται υπόψη δείκτες αντίκτυπου, όπως κλικ, λήψεις ή σύνδεσμοι;
• Θα πρέπει να τεθεί όριο στον αριθμό των δημοσιεύσεων που υπολογίζονται για επιχορηγήσεις ή διορισμούς; Για παράδειγμα, θα πρέπει να λαμβάνονται υπόψη μόνο οι τρεις καλύτερες δημοσιεύσεις ανά έτος; Θα πρέπει οι επιστήμονες να τιμωρούνται καν για τη συγγραφή περισσότερων από, ας πούμε, 20 δημοσιεύσεων ανά έτος; [Τέτοιοι περιορισμοί μπορεί να φαίνονται αντιφατικοί, αλλά θα βοηθούσαν στην προώθηση μιας κουλτούρας στην οποία όλοι οι συγγραφείς έχουν πραγματικά συμβάλει στις δημοσιεύσεις στις οποίες εμφανίζονται τα ονόματά τους.]
• Ποια βαρύτητα θα πρέπει να δοθεί σε άλλα ποσοτικά μέτρα της ερευνητικής παραγωγής, όπως οι αιτήσεις για διπλώματα ευρεσιτεχνίας, τα χορηγούμενα διπλώματα ευρεσιτεχνίας ή τα διπλώματα ευρεσιτεχνίας που έχουν παραχωρηθεί με άδεια;
  Η Επιτροπή γνωρίζει ότι η συζήτηση για πολλά από αυτά τα ζητήματα βρίσκεται ήδη σε εξέλιξη σε ορισμένες χώρες και σε ορισμένους τομείς της επιστήμης, αλλά προτείνει να διευρυνθεί η συζήτηση σε ολόκληρη τη διεθνή επιστημονική κοινότητα. Με την ανταλλαγή επιλογών και στρατηγικών, ελπίζεται ότι η παγκόσμια επιστημονική κοινότητα θα μπορέσει να επωφεληθεί από τις εμπειρίες μεμονωμένων οργανισμών.

*Βλέπε, για παράδειγμα, Ross et al, JAMA 299, 1800-1812 (2008).

προσθήκη

Ενώ αυτή η δήλωση βρισκόταν στο στάδιο της ανάπτυξης, η Διεθνής Μαθηματική Ένωση δημοσίευσε την έκθεση Στατιστικής Αναφορών, η οποία αποτελεί μια λεπτομερή κριτική ανάλυση της χρήσης δεδομένων αναφορών για την επιστημονική αξιολόγηση. Ένα κύριο συμπέρασμα αυτής της έκθεσης είναι: Ενώ η ύπαρξη ενός μόνο αριθμού για την αξιολόγηση της ποιότητας είναι πράγματι απλή, μπορεί να οδηγήσει σε μια επιφανειακή κατανόηση κάτι τόσο περίπλοκου όσο η έρευνα. Οι αριθμοί δεν είναι εγγενώς ανώτεροι από τις ορθές κρίσεις.

Αναφορά Στατιστικών Αναφορών

Σχετικά με αυτή τη δήλωση

Αυτή η δήλωση είναι ευθύνη της Επιτροπής Ελευθερίας και Υπευθυνότητας στη Διεξαγωγή της Επιστήμης (CFRS), η οποία είναι μια επιτροπή πολιτικής του Διεθνούς Συμβουλίου για την Επιστήμη (ICSU). Δεν αντικατοπτρίζει απαραίτητα τις απόψεις μεμονωμένων οργανώσεων μελών της ICSU.

Κατεβάστε τη Δήλωση