[Αυτό το άρθρο συνυπέγραψε ο Michael R. Jenkins, Επίκουρος Καθηγητής Μάρκετινγκ στο Πανεπιστήμιο του Μισισιπή.]
Εντός του ακαδημαϊκού χώρου, φαίνεται να υπάρχει μια αυξανόμενη συναίνεση ότι το σύστημα αξιολόγησης από ομοτίμους -κάποτε η ραχοκοκαλιά της ακαδημαϊκής έρευνας- έχει σπάσει. Αλλά είναι ανεπανόρθωτα έτσι; Ίσως. Τουλάχιστον, η κατάρρευση της τρέχουσας μορφής του αξίζει να διερευνηθεί. Ωστόσο, αντί να εγκαταλείψουμε ολόκληρη την προσπάθεια, πιστεύουμε ότι έχουμε μια νέα λύση. Πρώτα, όμως, ας εξετάσουμε πού πήγε στραβά το σύστημα.
Κατά τον Μεσαίωνα, οι περισσότερες επιστημονικές έρευνες αυτοδημοσιεύονταν, καθώς οι μελετητές μοιράζονταν τα ευρήματά τους μεταξύ τους. Αλλά, καθώς το επάγγελμα αναπτυσσόταν, αυτό κατέστη μη πρακτικό και το επιστημονικό περιοδικό γεννήθηκε ως ένας τρόπος διάδοσης πληροφοριών. Ένας μελετητής θα είχε μια ιδέα, θα την ερευνούσε, θα συνόψιζε τα συμπεράσματά του και θα υπέβαλε το χειρόγραφο που προέκυψε σε ένα περιοδικό. Εκεί, ο εκδότης ή οι συντάκτες θα το εξέταζαν και θα αποφάσιζαν αν θα δημοσιεύσουν το έργο ως έχει, αν θα ζητούσαν αναθεωρήσεις ή αν θα το απέρριπταν εντελώς. Με την πάροδο του χρόνου, καθώς ο αριθμός των μελετητών συνέχιζε να πολλαπλασιάζεται, όλοι τους υπό αυξανόμενη πίεση να δημοσιεύσουν, να δημοσιεύσουν, να δημοσιεύσουν - προκειμένου να προσληφθούν, να εξασφαλίσουν μονιμότητα και να πληρούν τις προϋποθέσεις για επιχορηγήσεις - το έργο των συντακτών περιοδικών έγινε συντριπτικό. Υπήρχαν πάρα πολλές υποβολές για να ληφθούν όλες υπόψη δίκαια.
Έτσι, σκέφτηκαν την ιδέα να αναθέσουν την αξιολόγηση των υποβολών σε ομάδες αμειβόμενων κριτών, σε άλλους ακαδημαϊκούς του ίδιου ή συναφούς πεδίου που ήταν (θεωρητικά, τουλάχιστον) κατάλληλοι να κρίνουν την ποιότητα της υπό εξέταση έρευνας. Αυτό θα απάλλασσε μέρος του βάρους των συντακτών, ενώ παράλληλα θα έδινε μια πρόσθετη σφραγίδα νομιμότητας στο τελικό προϊόν. Το αν ένα δεδομένο ερευνητικό έργο ήταν άξιο δημοσίευσης δεν θα καθοριζόταν μόνο από ένα ή δύο άτομα, αλλά από μια ομάδα «τυφλών» ειδικών. Έτσι, η ετικέτα «αξιολογημένο από ομοτίμους» έγινε το χρυσό πρότυπο για την επιστημονική έρευνα. Μια δημοσίευση σε ένα «επιστημονικό περιοδικό με αξιολόγηση από ομοτίμους» θεωρείται εδώ και καιρό ουσιαστικά αδιαμφισβήτητη, σε σημείο που οι πολιτικοί και οι τύποι των μέσων ενημέρωσης φαίνονται πεπεισμένοι ότι μπορούν να κερδίσουν οποιοδήποτε επιχείρημα απλώς αναφέροντας ένα κομμάτι «αξιολογημένης έρευνας».
Αρχικά ήταν ένα αρκετά καλό σύστημα και λειτούργησε αρκετά καλά για μεγάλο χρονικό διάστημα. Αλλά φαίνεται ότι τώρα έχει ολοκληρώσει τον κύκλο του. Οι απαιτήσεις μόνιμης θητείας έχουν γίνει πιο ποσοτικές. Το διαδίκτυο έχει μειώσει τα εμπόδια στην υποβολή, ενθαρρύνοντας περισσότερους ακαδημαϊκούς να υποβάλλουν περισσότερα άρθρα σε περισσότερα περιοδικά. Ο αριθμός των υποβολών από ασιατικά, αφρικανικά και μεσανατολικά πανεπιστήμια έχει εκτοξευθεί. Ακόμα και με περισσότερα περιοδικά και περισσότερους κριτές, το σύστημα έχει καταρρεύσει, όπως τελικά συμβαίνει με όλα τα μεγάλα, πολύπλοκα συστήματα. Γνωρίζουμε ότι αυτό συμβαίνει λόγω ενός προβλήματος που εντοπίστηκε για πρώτη φορά πριν από 20 χρόνια από τον επιστήμονα του Στάνφορντ, Τζον Ιωαννίδη, το οποίο έκτοτε έγινε γνωστό ως «κρίση αντιγραφής».
Ένα από τα χαρακτηριστικά της καλής επιστήμης είναι ότι ένα πείραμα μπορεί να αναπαραχθεί — δηλαδή, ένας άλλος ερευνητής που χρησιμοποιεί την ίδια μεθοδολογία θα επιτύχει το ίδιο αποτέλεσμα, πράγμα που σημαίνει ότι τα ευρήματα είναι έγκυρα και συνεπή. Αλλά αυτό που υποστήριξε ο Ιωαννίδης στο πρωτοποριακό άρθρο του του 2005 «Γιατί τα περισσότερα δημοσιευμένα ευρήματα έρευνας είναι ψευδή«(ενημερώθηκε το 2022) ήταν ότι, λοιπόν, τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ελαττωματικά. Τα πειράματα δεν μπορούν να αναπαραχθούν, γεγονός που θέτει υπό αμφισβήτηση την εγκυρότητά τους.
Άλλοι μελετητές έχουν έκτοτε εκφράσει αμφιβολίες για τη θέση του Ιωαννίδη, ειδικά για τη χρήση της λέξης «οι περισσότεροι». Οι κοινωνικοί επιστήμονες, ειδικότερα, υποστηρίζουν ότι τα πειράματα που αφορούν ανθρώπους συχνά δεν μπορούν να αναπαραχθούν ακριβώς επειδή οι ίδιοι οι άνθρωποι είναι ασυνεπείς. Παρ' όλα αυτά, οι μελετητές συμφωνούν γενικά ότι η κρίση αναπαραγωγής είναι πραγματική, αν και όχι τόσο διαδεδομένη όσο υποστηρίζει ο Ιωαννίδης.
Τι σχέση έχει αυτό με την αξιολόγηση από ομοτίμους; Προφανώς, αν το σύστημα λειτουργούσε όπως προβλέπεται, με ομάδες γνήσιων εμπειρογνωμόνων να ελέγχουν και να διπλοελέγχουν ο ένας το έργο του άλλου, θα μπορούσαμε να αναμένουμε ότι πολύ λίγες ελαττωματικές μελέτες θα περνούσαν απαρατήρητες. Με άλλα λόγια, δεν θα υπήρχε κρίση αναπαραγωγής αν η αξιολόγηση από ομοτίμους λειτουργούσε πραγματικά.
Δυστυχώς, η ακρίβεια του συστήματος δεν είναι καν το μεγαλύτερο πρόβλημα. Όπως πολλά ιδρύματα, έχει μετατραπεί σε έναν εξαιρετικά πολιτικοποιημένο θάλαμο ηχούς. Αντί για μηχανισμό προσδιορισμού και διάδοσης της αλήθειας μέσω ενός συστήματος επιστημονικών ελέγχων και ισορροπιών, η αξιολόγηση από ομοτίμους έχει γίνει ένα μέσο για την προώθηση και την επιβολή της ορθοδοξίας. Δεν είναι πλέον μια κοινότητα ακαδημαϊκών που δοκιμάζουν αυστηρά αλλά συλλογικά τις υποθέσεις ο ένας του άλλου, οι συντάκτες και οι κριτές περιοδικών έχουν οριστεί ως φύλακες. Μόνο όσοι απαγγέλλουν τους σωστούς κωδικούς πρόσβασης γίνονται δεκτοί.
Πάρτε για παράδειγμα τον τομέα της κλιματικής έρευνας. Για τουλάχιστον μερικές δεκαετίες τώρα, η επιστημονική συναίνεση είναι ότι η ανθρωπογενής κλιματική αλλαγή αποτελεί υπαρξιακή απειλή για την ανθρωπότητα. Όποιος αμφισβητεί αυτή την ορθοδοξία, ανεξάρτητα από την ποιότητα της έρευνάς του ή τη λογική των επιχειρημάτων του, δυσκολεύεται πολύ να δημοσιεύσει τα ευρήματά του σε κορυφαία περιοδικά. Οι «φύλακες» (δηλαδή: κριτικοί) απλώς δεν το επιτρέπουν.
Ή τι γίνεται με την ιδεολογία των τρανς; Ακόμα και πριν μάθουμε ότι η Παγκόσμια Επαγγελματική Ένωση για την Υγεία των Τρανς (WPATH) έκρυβε και χειραγωγούσε τα δεδομένα της, γιατί πολύ λίγοι μελετητές αμφισβήτησαν τον ισχυρισμό ότι η κοινωνική, ιατρική ή χειρουργική μετάβαση για ανηλίκους μείωσε τα βάσανά τους; Ξέρετε την απάντηση: Ήξεραν ότι δεν μπορούσαν να το κάνουν αυτό χωρίς να εκτροχιάσουν την καριέρα τους. Ακόμα και τώρα, παίρνουμε ένα επαγγελματικό ρίσκο απλώς επισημαίνοντας αυτό. Δεν είναι επιστήμη αυτή που προωθεί την αναζήτηση της αλήθειας. είναι η πολιτική αυτή που την εμποδίζει.
Για να είμαστε δίκαιοι, είναι εύκολο να καταλάβουμε γιατί συμβαίνει αυτό. Δεν ισχυριζόμαστε καν ότι είναι εντελώς κακόβουλο. Είναι απλώς η ανθρώπινη φύση. Οι ιδέες που αμφισβητούν τον προκαθορισμένο τρόπο σκέψης ήταν πάντα αντιδημοφιλείς μεταξύ εκείνων που τον συνταγογραφούν, από τον Κοπέρνικο και τον Μαρτίνο Λούθηρο. Νέα ευρήματα και οι θεωρίες που προκύπτουν από αυτά απειλούν να δυσφημίσουν τις θεωρίες της προηγούμενης γενιάς μελετητών - και μαντέψτε ποιοι χρησιμεύουν κυρίως ως κριτικοί; Όταν λέμε «πολιτική», δεν εννοούμε απαραίτητα με την κομματική έννοια, αλλά, μάλλον, με την προσωπική έννοια: Τίνος το βόδι δέχεται επίθεση;
Αλλά, φυσικά, η κομματική πολιτική - και συγκεκριμένα η ιδεολογία - συχνά εμπλέκεται επίσης στην εξίσωση. Ακόμα και σε κλάδους που δεν είναι τόσο πολιτικά φορτισμένοι όσο η κλιματολογία ή οι «μελέτες φύλου» - όπως η λογιστική ή το μάρκετινγκ - οι νέοι ακαδημαϊκοί πρέπει να υποκλίνονται στους ιδεολογικούς θεούς των μεγαλύτερων. Πρέπει να αποτίουν τον πρέποντα φόρο τιμής σε έννοιες όπως «ποικιλομορφία, ισότητα και ένταξη», «λευκότητα» και «περιθωριοποιημένοι πληθυσμοί», ακόμη και αν αυτές οι έννοιες δεν έχουν καμία απολύτως σχέση με την έρευνά τους ή, χειρότερα, δεν υποστηρίζονται από τα ευρήματά τους. Και, φυσικά, αν θέλουν πραγματικά να δημοσιευτούν, θα βρουν κάποιον τρόπο να συνδέσουν αυτά τα ευρήματα με την πολιτική χροιά του μήνα. Ως εκ τούτου, λαμβάνουμε άρθρα με τίτλους όπως «Πώς το Branding για τη Λευκότητα Μειονεκτεί στους Καταναλωτές BIPOC» ή «Αντιμετώπιση των Περιθωριοποιημένων Πληθυσμών στην Έρευνα Διοίκησης». (Το ένα από αυτά είναι πραγματικό· το άλλο το επινοήσαμε. Μπορείτε να καταλάβετε ποιο είναι ποιο;)
Και τώρα τι κάνουμε; Πιστεύουμε ότι είναι καιρός να επιστρέψουμε στο μεσαιωνικό μοντέλο της «κοινότητας των ακαδημαϊκών»—με μια τροπή του 21ου αιώνα. Σίγουρα, στους περισσότερους κλάδους, είναι σχεδόν αδύνατο να συγκεντρωθούν όλοι οι ακαδημαϊκοί για να ανταλλάξουν χειρόγραφα (όπως μπορεί να βεβαιώσει όποιος έχει παρακολουθήσει ένα συνέδριο), αλλά, με τη σύγχρονη τεχνολογία, οι ακαδημαϊκοί μπορούν πράγματι να «ανταλλάξουν» τα χειρόγραφά τους, μοιράζοντας την υπό εξέλιξη εργασία τους με συναδέλφους από όλη τη χώρα και όλο τον κόσμο.
Η ιδέα μας περιλαμβάνει τη δημιουργία επίσημων διαδικτυακών φόρουμ για κάθε επιστημονικό κλάδο, όπου οι ακαδημαϊκοί μπορούν να δημοσιεύουν δοκίμια σχετικά με τις ιδέες τους σε οποιοδήποτε στάδιο, παρουσιάζοντας το θεωρητικό υπόβαθρο, προτείνοντας υποθέσεις, αποκαλύπτοντας ερευνητικά ευρήματα (συμπεριλαμβανομένης της μεθοδολογίας) και κάνοντας παρέκταση σε συνέπειες ή προβλέψεις. Άλλοι ακαδημαϊκοί στην κοινότητα μπορούν να σχολιάσουν αυτά τα δοκίμια, προσφέροντας κριτικές, παρέχοντας πληροφορίες που λείπουν και προτείνοντας νέες κατευθύνσεις για την έρευνα. Μπορούν επίσης να δοκιμάσουν τα πειράματα οι ίδιοι για να δουν αν έχουν τα ίδια ή παρόμοια αποτελέσματα και να «αναφέρουν» στην ομάδα. Στη συνέχεια, οι αρχικοί συγγραφείς μπορούν να λάβουν αυτές τις πληροφορίες και να τις εφαρμόσουν στην περαιτέρω διερεύνηση του ερευνητικού θέματος.
Ένα πλεονέκτημα αυτής της προσέγγισης είναι ότι είναι επαναληπτική, με κάθε μελετητή να βασίζεται στις προσπάθειες των προηγούμενων. Ένα άλλο πλεονέκτημα είναι ότι οι μελετητές μπορούν να «δημοσιεύσουν» ανεξάρτητα από τα αποτελέσματά τους. Μια συνηθισμένη κριτική για το τρέχον σύστημα αξιολόγησης από ομοτίμους είναι ότι οι μελετητές μπορούν να δημοσιεύσουν μόνο εάν επιτύχουν θετικά αποτελέσματα. Ωστόσο, τα αρνητικά αποτελέσματα είναι επίσης αποτελέσματα και βοηθούν, με τον δικό τους τρόπο, στην προώθηση της γνώσης. Όπως ακριβώς οι μελετητές πρέπει να γνωρίζουν τι έχει αποδειχθεί αληθές για να αξιοποιήσουν αυτήν την πρόοδο, έτσι πρέπει επίσης να γνωρίζουν τι έχει αποδειχθεί ψευδές, ώστε να μπορούν να αποφύγουν τις ίδιες παγίδες.
Οι υποβολές στα φόρουμ θα φέρουν χρονική σήμανση, ώστε οι συγγραφείς να μπορούν εύκολα να αποδείξουν την ιδιοκτησία των ιδεών. Οι αναρτήσεις θα μπορούσαν να συνδεθούν με υπερσυνδέσμους για να γίνει η έρευνα και οι παραπομπές γρήγορη και εύκολη. Για να αποθαρρυνθούν οι κακοί παράγοντες, δεν θα υπήρχε ανωνυμία για τους συνεισφέροντες και τους σχολιαστές. Και τα φόρουμ θα ελέγχονταν ελαφρώς για να διασφαλιστεί ότι οι αναρτήσεις πληρούσαν τα επιστημονικά πρότυπα, με την κατάλληλη ευπρέπεια, ευγένεια και αναφορά. Αλλά όλες οι ιδέες θα λαμβάνονταν υπόψη. Δεν θα υπήρχε έλεγχος. Αντ' αυτού, η κοινότητα θα αστυνομευόταν, «αναλογοποιώντας» (για να χρησιμοποιήσουμε τον όρο των μέσων κοινωνικής δικτύωσης) αντί να λογοκρίνει «κακές» ιδέες.
Προφανώς, για να αντικαταστήσει τελικά αυτό το σύστημα το τρέχον σύστημα αξιολόγησης από ομοτίμους, τα πανεπιστήμια θα πρέπει να το υιοθετήσουν και να βρουν τρόπο να αξιολογούν την παραγωγικότητα των ακαδημαϊκών για τους σκοπούς της χορήγησης μονιμότητας και ούτω καθεξής — ίσως με βάση τον αριθμό των θέσεων και την αντίδραση της κοινότητας σε αυτές.
Πιστεύουμε όμως ότι προς τα εκεί οδεύουν τα πράγματα και ότι τα πανεπιστήμια, οι κλάδοι και οι επιστημονικοί σύλλογοι θα έκαναν καλά να συμμετάσχουν. Το τρέχον σύστημα έχει ξεπεράσει τη χρησιμότητά του, αποτελώντας εμπόδιο στην αναζήτηση της αλήθειας και όχι μέσο για την υποστήριξή της.
Μπές στην κουβέντα:
Δημοσιεύτηκε υπό την αιγίδα Creative Commons Attribution 4.0 Διεθνής άδεια
Για ανατυπώσεις, παρακαλούμε ορίστε τον κανονικό σύνδεσμο πίσω στο πρωτότυπο Ινστιτούτο Brownstone Άρθρο και Συγγραφέας.
