Ήταν η εργασία μου σχετικά με τις μελέτες για το εμβόλιο της γρίπης «καυτή πατάτα» για τους συντάκτες;

Νομίζω ότι η απάντηση είναι «ναι», αλλά ιδού η ιστορία για να την κρίνετε εσείς.

Κάθε χρόνο, το CDC δημοσιεύει εκτιμήσεις για την αποτελεσματικότητα του εμβολίου κατά της γρίπης κατά την προηγούμενη περίοδο. Αναφερόμενες από διάφορα δίκτυα, αυτές οι εκτιμήσεις βασίζονται σε ένα ερευνητικό σχέδιο που ονομάζεται μελέτη περίπτωσης-ελέγχου με αρνητικά αποτελέσματα.

Με την πάροδο των ετών, οι διάφοροι συγγραφείς έχουν μοιραστεί μια παρόμοια αναλυτική στρατηγική: Τα πρώιμα αναπνευστικά συμβάντα εξετάστηκαν διαφορετικά από τα μεταγενέστερα αναπνευστικά συμβάντα (με την υπόθεση ότι δεν αναμένεται καμία επίδραση μέχρι να αναπτυχθεί ανοσία). Το «πρώιμο» συμβάν ήταν συνήθως εντός δύο εβδομάδων μετά τον εμβολιασμό.

Πριν από αρκετούς μήνες, συνειδητοποίησα ότι αυτός ο ειδικός χειρισμός των πρώιμων γεγονότων αποτελεί πηγή μεροληψίας που ονομάζεται «αθάνατος χρόνος». Για να αποκαλύψω την μεροληψία, χρησιμοποίησα αιτιώδη διαγράμματα, τα οποία επίσημα ονομάζονται «κατευθυνόμενα ακυκλικά γραφήματα (ΚΑΓ).» Τα ΚΑΓ εισήχθησαν σε σημαντικές δημοσιεύσεις από τη δεκαετία του 1990 και αναγνωρίζονται ευρέως στην επιδημιολογία ως μεθοδολογικό εργαλείο.

Έγραψα μια σύντομη εργασία με έναν τρομακτικό τίτλο: «Αθάνατη χρονική μεροληψία σε μελέτες αρνητικών αποτελεσμάτων για το εμβόλιο της γρίπης». Απεικόνισα την μεροληψία με δύο απλά DAG που κωδικοποίησαν τις αναλυτικές προσεγγίσεις όπως περιγράφονται σε αυτές τις μελέτες που σχετίζονται με το CDC. Η εργασία μπορεί να συνοψιστεί σε τρία σημεία:

• Ο αθάνατος χρόνος είναι μια παραβλεπόμενη μεροληψία σε μελέτες περιπτώσεων-ελέγχου του εμβολίου της γρίπης με αρνητικά αποτελέσματα σε τεστ.
• Η αιτιώδης δομή αντιστοιχεί σε μεροληψία λανθασμένης ταξινόμησης ή μεροληψία επιλογής, ανάλογα με τον τρόπο χειρισμού των πρώιμων γεγονότων.
• Η μεροληψία μπορεί να αποφευχθεί λαμβάνοντας υπόψη όλα τα συμβάντα και εκτιμώντας την συσσωρευμένη αποτελεσματικότητα του εμβολίου ανά διαδοχικές ημέρες μετά τον εμβολιασμό.

Υπέβαλα την εργασία διαδοχικά σε τρία έγκυρα επιδημιολογικά περιοδικά. Παραδόξως, ο αρχισυντάκτης κάθε περιοδικού απέρριψε την εργασία εντός μίας εβδομάδας χρησιμοποιώντας τυποποιημένο κείμενο. Δεν στάλθηκε για αξιολόγηση από ομοτίμους. Γιατί;

Υπάρχουν τρεις πιθανοί λόγοι:

1. Το μήνυμα δεν ήταν αρκετά σημαντικό.
2. Η εργασία ήταν κακογραμμένη.
3. Δεν ήταν απαραίτητη η υποβολή αιτήματος για αξιολόγηση από ομοτίμους. Ο συντάκτης αποφάσισε ότι δεν υπήρχε προκατάληψη. 

Μπορώ γρήγορα να εξαλείψω τον πρώτο λόγο. Η αποκάλυψη της ριζωμένης προκατάληψης στις μελέτες για το ετήσιο εμβόλιο της γρίπης είναι ύψιστης σημασίας. Δεν χρειαζόταν να ανταγωνιστώ καμία «πιο σημαντική» εργασία.

Ήταν κακογραμμένο; Έχω δημοσιεύσει πολλές επιστημονικές εργασίες και δύο βιβλία. Δεν είμαι νέος στην επιδημιολογία και μάλιστα διετέλεσα αναπληρωτής εκδότης για ένα από τα τρία περιοδικά. Δεν ήταν, λοιπόν, αυτός ο λόγος.

Μας μένει ο τρίτος λόγος. Τρεις συντάκτες (πιθανώς πιο εσωτερικοί) αποφάσισαν ότι η ανάλυσή μου ήταν προφανώς λανθασμένη. Δεν χρειάζονταν καμία εξωτερική αξιολόγηση από ομοτίμους. Ήταν όντως έτσι; Πόσο πιθανό είναι τρεις συντάκτες να έχουν καταλήξει σε μια ομόφωνη, ανεξάρτητη ετυμηγορία για την ανάλυσή μου χωρίς να ζητήσουν αξιολογήσεις από ομοτίμους;

Θα μπορούσα να είχα γράψει μια ολόκληρη σελίδα για την εμπειρία μου στους τομείς των αιτιωδών διαγραμμάτων και των προκαταλήψεων, αλλά εδώ είναι μια σύντομη εκδοχή του ιστορικού μου. Πρότεινα μια νέα ταξινόμηση των προκαταλήψεων με βάση τα DAG και εντόπισα νέους τύπους προκατάληψης. Έχω γράψει περίπου 20 δημοσιεύσεις σχετικές με τα DAG, συμπεριλαμβανομένου ενός κεφαλαίου βιβλίου . (Ορισμένα από τα άρθρα μου αναφέρθηκαν στην εργασία.) Σίγουρα, η μεθοδολογική μου ανάλυση δεν ήταν «προφανώς λανθασμένη». Πιθανότατα, ήταν προφανώς σωστή.

Λοιπόν, γιατί η εργασία μου απορρίφθηκε χωρίς αξιολόγηση από ομοτίμους; Μπορώ να κάνω εικασίες;

Αυτή η εργασία έχει ένα εκπληκτικό μήνυμα που δυσφημεί το CDC. Όλες αυτές οι μελέτες σχετικά με την αποτελεσματικότητα του ετήσιου εμβολίου κατά της γρίπης περιείχαν μια λανθασμένη αναλυτική απόφαση. Οι αναφερόμενες εκτιμήσεις είναι μεροληπτικές. Αν η εργασία μου είχε δημοσιευτεί, ίσως να είχε ληφθεί υπόψη από ορισμένους δημοσιογράφους. Μπορείτε να φανταστείτε τους τίτλους.

Οι συντάκτες είχαν να κάνουν με ένα καυτό ζήτημα. Δεν ήθελαν να αναλάβουν το ρίσκο ότι οι κριτές θα ενέκριναν την εργασία, κάτι που θα τους ανάγκαζε να τη δημοσιεύσουν. Μια άμεση απόρριψη ήταν μια ασφαλής διέξοδος.

Προσπάθησα άλλη μια φορά. Στην τέταρτη υποβολή μου σε ένα επιδημιολογικό περιοδικό, συμπεριέλαβα την ακόλουθη συνοδευτική επιστολή:

«Αγαπητέ/ή Συντάκτη/α,

Αυτή η σύντομη εργασία ασχολείται με τον αθάνατο χρόνο σε μελέτες του εμβολίου της γρίπης με αρνητικά αποτελέσματα. Εδώ, δύο συνήθεις προσεγγίσεις για την αντιμετώπιση των πρώιμων γεγονότων μετά τον εμβολιασμό κωδικοποιούνται από αιτιώδη διαγράμματα για τον εντοπισμό και την ταξινόμηση μιας πηγής μεροληψίας. Στο τέλος, εξήγησα πώς μπορεί να αποφευχθεί η μεροληψία.

Κατά την άποψή μου, το μήνυμα είναι καινοτόμο και σχετικό με μελλοντικές μελέτες που θα χρησιμοποιήσουν τον σχεδιασμό αρνητικών τεστ για την εκτίμηση της αποτελεσματικότητας του εμβολίου. Επομένως, πιστεύω ότι η εργασία αξίζει αξιολόγηση από ομοτίμους.

Αυτή τη φορά χρειάστηκε λίγο περισσότερος χρόνος για να λάβω απάντηση. Ίσως οι συντάκτες ήταν απασχολημένοι ή σκεφτόντουσαν πώς να χειριστούν την «καυτή πατάτα». Ωστόσο, δεν υπήρχε καμία έκπληξη. Περίπου τρεις εβδομάδες αργότερα, ένα τυποποιημένο μήνυμα έφτασε στα εισερχόμενά μου. Δύο παράγραφοι είναι επικολλημένες παρακάτω:

«Το χειρόγραφό σας έχει αξιολογηθεί από δύο μέλη της συντακτικής επιτροπής. Λυπάμαι που σας ενημερώνω ότι η βαθμολογία προτεραιότητάς του δεν ήταν αρκετά υψηλή για να δικαιολογήσει την αποδοχή του για δημοσίευση... Η κρίση σχετικά με την προτεραιότητα γίνεται λαμβάνοντας υπόψη τις πολλές άλλες εργασίες που λαμβάνουμε και τους περιορισμούς χώρου μας. Έτσι, ακόμη και οι ενημερωτικές εργασίες πρέπει να απορρίπτονται κατά καιρούς. Αυτή η προκαταρκτική αξιολόγηση γίνεται σε όλες τις εργασίες, ώστε οι συγγραφείς να μπορούν να λάβουν μια γρήγορη απόφαση εάν πρόκειται να είναι αρνητική. Επομένως, δεν έχουμε σχόλια κριτών να σας προωθήσουμε.»

Έπειτα, πρόσθεσαν ευγενικά: 

«Άλλοι λόγοι για τους οποίους απορρίπτουμε το χειρόγραφό σας περιλαμβάνουν: Μετά από μια αρχική συντακτική αξιολόγηση, αποφασίσαμε να μην στείλουμε την εργασία για εξωτερική αξιολόγηση από ομοτίμους. Παρόλο που το θέμα παρουσιάζει ενδιαφέρον, το χειρόγραφο δεν ευθυγραμμίζεται αρκετά με τη μορφή του περιοδικού.»

Λοιπόν, τι πιστεύετε ότι ήταν: μια αξιολόγηση προτεραιότητας, ευθυγράμμιση με τη μορφή του περιοδικού ή μια καυτή πατάτα;

Τα παράτησα και δημοσίευσα την εργασία ως προδημοσίευση . Είναι πλέον δημόσια, αλλά δεν θα τη διαβάσουν πολλοί. Δεν είχε πιστοποιηθεί ως «αξιολογημένη από ομοτίμους». Και το CDC θα συνεχίσει να αναφέρει ετήσιες εκτιμήσεις για την αποτελεσματικότητα των εμβολίων από μελέτες που περιέχουν αυτή την προκατάληψη ( όχι τη μόνη , παρεμπιπτόντως).

Ωστόσο, κάθε συντάκτης που απέρριψε την εργασία μου και κάθε συγγραφέας των εργασιών του CDC σχετικά με το εμβόλιο της γρίπης θα λάβει την προδημοσίευση στα εισερχόμενά του. Θα προσπαθήσω επίσης να επικοινωνήσω με μέλη της συντακτικής επιτροπής και άλλους. Αν κάποιος πιστεύει ότι η ανάλυσή μου είναι λανθασμένη, ίσως απαντήσει. Διαφορετικά, περιμένω τα εισερχόμενά μου να παραμείνουν απαλλαγμένα από απαντήσεις. Αρκετά καλό για μένα. Μικρότερο για τη δημόσια υγεία.

Εξακολουθούμε να έχουμε την ελευθερία της επιστημονικής διαφωνίας, αν και με ορισμένες εξαιρέσεις.