Στα χρόνια που υπηρέτησα ως αναπληρωτής εκδότης (για Το Αμερικανικό Περιοδικό Επιδημιολογίας), έχω δει ολόκληρο το φάσμα των «αξιολογήσεων από ομοτίμους» — από σχολαστικές, στοχαστικές κριτικές των οποίων οι συγγραφείς προφανώς αφιέρωσαν αρκετές ώρες στο έργο, μέχρι αμφιλεγόμενες κριτικές που αντανακλούσαν αμέλεια και ανικανότητα. Έχω διαβάσει φιλικές κριτικές από θαυμαστές των συγγραφέων και εχθρικές κριτικές από τους εχθρούς τους. (Δεν είναι δύσκολο να το καταλάβει κανείς από τον τόνο.) Στην πρακτική της επιστήμης, τα ανθρώπινα όντα εξακολουθούν να συμπεριφέρονται σαν ανθρώπινα όντα.
Τα πράγματα χειροτέρεψαν κατά τη διάρκεια της πανδημίας. Μελέτες που επαίνεσαν τα εμβόλια κατά της Covid γρήγορα πιστοποιήθηκαν ως «αξιολογημένες από ομοτίμους», ενώ η κριτική, μετά τη δημοσίευση αξιολόγηση από ομοτίμους... ΚαταστέλλεταιΩς αποτέλεσμα, έχουμε πλέον μια ιστορική συλλογή δημοσιευμένων κακής επιστήμης. Δεν μπορεί να σβηστεί, αλλά είναι καιρός να αρχίσουμε να διορθώνουμε το αρχείο.
Τα βιοϊατρικά περιοδικά δεν αποτελούν την πλατφόρμα. Πρώτον, δεν υπάρχει επίσημη ενότητα για ανοιχτές αξιολογήσεις από ομοτίμους άρθρων που έχουν δημοσιευτεί πριν από πολύ καιρό. Δεύτερον, οι συντάκτες δεν έχουν κανένα ενδιαφέρον να αποκαλύψουν ψευδείς πληροφορίες που δημοσιεύθηκαν στα περιοδικά τους. Τρίτον, το λογοκρισία το μηχάνημα είναι ακόμα στη θέση του. Μέχρι στιγμής, κατάφερα μόνο να το σπάσω μια φορά, και δεν ήταν εύκολο.
Πώς, λοιπόν, μπορούμε να προσπαθήσουμε να διορθώσουμε την εγγραφή και πού;
Επιτρέψτε μου να κάνω μια πρόταση στους συναδέλφους μου στην επιδημιολογία, τη βιοστατιστική και τους σχετικούς μεθοδολογικούς τομείς που διατήρησαν την κριτική τους σκέψη κατά τη διάρκεια της πανδημίας. Επιλέξτε ένα ή περισσότερα άρθρα σχετικά με τα εμβόλια κατά της Covid και υποβάλετε την κριτική σας από ομοτίμους στο Εφημερίδα ΜπράουνστοουνΑν είναι ενδιαφέρον και καλογραμμένο, υπάρχει μεγάλη πιθανότητα να δημοσιευτεί. Σας συμβουλεύω να κάνετε την επιλογή σας: βρείτε εκείνα τα άρθρα που έχουν αξιολογηθεί από ομότιμους και σας ενοχλούν περισσότερο, είτε επειδή ήταν καθαρά ανοησίες ή επειδή το σωστό συμπέρασμα ήταν εντυπωσιακά διαφορετικόΚαι αν έχετε δημοσιεύσει σύντομες κριτικές στο Twitter (τώρα X) ή διεξοδικές κριτικές σε άλλες πλατφόρμες, επεκτείνετέ τες, αναθεωρήστε τες και υποβάλετέ τες στο Brownstone. Ίσως μπορέσουμε σιγά σιγά να δημιουργήσουμε ένα απόθεμα κριτικών κριτικών, αποκαθιστώντας κάποια εμπιστοσύνη στην επιστημονική μέθοδο και στη βιοϊατρική επιστήμη.
Εδώ είναι ένα παράδειγμα.
Μια ανασκόπηση και μια εκ νέου ανάλυση μιας μελέτης στο Οντάριο του Καναδά
Δημοσιεύθηκε στην British Medical Journal τον Αύγουστο του 2021, το χαρτί ανέφερε την αποτελεσματικότητα των εμβολίων mRNA στις αρχές του 2021, λίγο μετά την έγκρισή τους.
Αυτή η έρευνα ήταν τυπική των μελετών εμβολίων εκείνης της εποχής. Η αποτελεσματικότητα εκτιμήθηκε σε ένα «πραγματικό» περιβάλλον, δηλαδή, σε μια παρατηρητική μελέτη κατά τη διάρκεια μιας εκστρατείας εμβολιασμού. Η περίοδος της μελέτης (μέσα Δεκεμβρίου 2020 έως μέσα Απριλίου 2021) περιελάμβανε την κορύφωση ενός χειμερινού κύματος Covid στις αρχές Ιανουαρίου. Θα συζητήσουμε αργότερα μια ισχυρή προκατάληψη που ονομάζεται σύγχυση από τον κίνδυνο μόλυνσης υποβάθρου.
Ο σχεδιασμός ήταν μια παραλλαγή της μελέτης περίπτωσης-ελέγχου, του σχεδιασμού με αρνητικό τεστ. Τα επιλέξιμα άτομα υποβλήθηκαν σε τεστ PCR λόγω συμπτωμάτων που μοιάζουν με Covid. Τα κρούσματα βρέθηκαν θετικά, ενώ τα άτομα ελέγχου βρέθηκαν αρνητικά. Ως συνήθως, υπολογίστηκαν οι λόγοι πιθανοτήτων και η αποτελεσματικότητα υπολογίστηκε ως 1 μείον τον λόγο πιθανοτήτων (εκφρασμένο σε ποσοστό). Το μέγεθος του δείγματος ήταν μεγάλο: 53,270 κρούσματα και 270,763 άτομα ελέγχου.
Οι συγγραφείς ανέφεραν τα ακόλουθα βασικά αποτελέσματα (η πλάγια γραφή δική μου):
"Η αποτελεσματικότητα του εμβολίου έναντι συμπτωματικής λοίμωξης που παρατηρήθηκε ≥14 ημέρες μετά από μία δόση ήταν 60% (διάστημα εμπιστοσύνης 95% 57% έως 64%), αυξανόμενη από 48% (41% έως 54%) στις 14-20 ημέρες μετά από μία δόση σε 71% (63% έως 78%) στις 35-41 ημέρες. Η αποτελεσματικότητα του εμβολίου που παρατηρήθηκε ≥7 ημέρες μετά από δύο δόσεις ήταν 91% (89% έως 93%)."
Όπως σχεδόν σε κάθε μελέτη αποτελεσματικότητας, οι συγγραφείς απέρριψαν τα πρώιμα συμβάντα. Όπως εξηγήθηκε αλλού, αυτή η πρακτική εισάγει μια προκατάληψη που ονομάζεται αθάνατος χρόνος, ή μεροληψία παραθύρου καταμέτρησης περιστατικώνΌχι μόνο αποκρύπτει πιθανές πρώιμες επιβλαβείς επιπτώσεις, αλλά οδηγεί επίσης ουσιαστικά σε υπερεκτίμηση της αποτελεσματικότητας. Ο RFK, Jr. αναφέρθηκε σε αυτή την προκατάληψη με μη τεχνικούς όρους (βλ. βίντεο κλιπ).
The σωστή προσέγγιση είναι απλό. Θα πρέπει να εκτιμήσουμε την αποτελεσματικότητα από τη χορήγηση της πρώτης δόσης σε μεταγενέστερα χρονικά σημεία (συσταθείσα ανοσία). Ο παρακάτω πίνακας δείχνει τα δεδομένα της μελέτης και τα αποτελέσματα της νέας ανάλυσης. Κάθε σειρά δείχνει τον υπολογισμό της αποτελεσματικότητας μέχρι την καθορισμένη ημέρα.
Η αποτελεσματικότητα ήταν αρνητική στο τέλος των δύο πρώτων εβδομάδων μετά την πρώτη δόση και είχε φτάσει περίπου το 30% πριν από τη δεύτερη δόση, όχι το 70%. Έχει φτάσει μόνο περίπου το 50% μέχρι την πλήρη ανοσία, όχι το 90%. Αν και οι εκτιμήσεις μου δεν είναι προσαρμοσμένες, ο Πίνακας 2 (συμπληρωματικό υλικό) δείχνει ότι η προσαρμογή δεν έχει αλλάξει σχεδόν καθόλου τις εκτιμήσεις των συγγραφέων.
Τα αποτελέσματά μου εξακολουθούν να είναι μεροληπτικά, ωστόσο, από αυτό που αποκάλεσα νωρίτερα «συγχυτικό κίνδυνο λόγω υποβάθρου μόλυνσης».
Το παρακάτω σχήμα ελήφθη από την ιστοσελίδα του Δημόσια Υγεία ΟντάριοΗ μαύρη γραμμή δείχνει τον κυλιόμενο μέσο όρο 7 ημερών των νέων κρουσμάτων. Πρόσθεσα κόκκινες γραμμές που δείχνουν την περίοδο της μελέτης, χωρισμένη σε δύο διαστήματα. Πρόσθεσα επίσης εκτιμήσεις για τον αριθμό των εμβολιασμένων ατόμων σε κάθε διάστημα.
Το πρώτο διάστημα, το οποίο περιελάμβανε την κορύφωση του χειμερινού κύματος, ήταν μια περίοδος αργής έναρξης της εκστρατείας εμβολιασμού. Εκείνη την εποχή, η κατανομή του καθεστώτος εμβολιασμού ήταν στρεβλή προς την μη εμβολιασμό, πράγμα που σημαίνει ότι η κατάσταση μη εμβολιασμού συνέπεσε με υψηλή πιθανότητα μόλυνσηςΑντίθετα, το ποσοστό μόλυνσης στο ιστορικό ήταν χαμηλότερο σε μεγάλο μέρος της δεύτερης περιόδου, όταν αρκετά εκατομμύρια άνθρωποι έλαβαν την πρώτη δόση. Μόνο στα μέσα Μαρτίου ο αριθμός των νέων κρουσμάτων πέρασε τη διακεκομμένη γραμμή. Εν ολίγοις, η αντίστροφη συσχέτιση μεταξύ εμβολιασμού και μόλυνσης συγχέεται σε μεγάλο βαθμό από τις χρονικές τάσεις στον κίνδυνο μόλυνσης. Ακόμη και μια ένεση εικονικού φαρμάκου θα φαινόταν αποτελεσματική.
Δεν μπορώ να αφαιρέσω την προκατάληψη, και είναι ισχυρή. Η πραγματική αποτελεσματικότητα, αν υπάρχει, είναι πολύ μικρότερη από τις εκτιμήσεις που υπολόγισα μετά την αφαίρεση της προκατάληψης του αθανάτου χρόνου. Το αν είναι 10% έως έξι εβδομάδες ή 20% δεν έχει καμία διαφορά. Αυτό δεν είναι εμβόλιο.
Οι συγγραφείς χρησιμοποίησαν μια άλλη ομάδα περιπτώσεων: νοσηλεία ή θάνατο. Αυτά τα δεδομένα υπόκεινται όχι μόνο στις προηγούμενες προκαταλήψεις αλλά και στις προκατάληψη υγιών εμβολιασμώνΔεν μπορώ να κάνω κάποια διόρθωση, ωστόσο. Τα περισσότερα δεδομένα για τα κρούσματα αποσιωπήθηκαν λόγω μικρών αριθμών και η ομάδα ελέγχου ήταν λάθος. Χρησιμοποίησαν «την ίδια ομάδα ελέγχου όπως και για την πρώτη ανάλυση πρωτογενούς αποτελέσματος (δηλαδή, άτομα με συμπτώματα που είχαν αρνητικό τεστ για SARS-CoV-2).» Αυτό αποτελεί παραβίαση μιας βασικής αρχής του σχεδιασμού του αρνητικού τεστ. Οι ομάδες ελέγχου θα έπρεπε να ήταν νοσηλευόμενα ή άτομα που είχαν αποβιώσει και είχαν αρνητικό τεστ.
Η ακόλουθη πρόταση αντικατοπτρίζει μια παρανόηση του μοντέλου παλινδρόμησης στο οποίο ταιριάζουν. Γράφουν: «Χρησιμοποιήσαμε μοντέλα πολυμεταβλητής λογιστικής παλινδρόμησης για να εκτιμήσουμε τον λόγο πιθανοτήτων, συγκρίνοντας οι πιθανότητες εμβολιασμού (η πλάγια γραφή δική μου) μεταξύ κρουσμάτων θετικών τεστ και κρουσμάτων αρνητικών τεστ ελέγχου (με μη εμβολιασμένα άτομα ως ομάδα αναφοράς).» Η εξαρτημένη μεταβλητή ήταν η κατάσταση κρούσματος-ελέγχου (λογάριθμος πιθανοτήτων να είναι κάποιος κρούσμα). Τεχνικά, συγκρίνονται οι πιθανότητες να είναι κάποιος κρούσμα (έναντι του να είναι κάποιος έλεγχος), όχι οι πιθανότητες εμβολιασμού.
Παραδόξως, η δημοσιευμένη συμπληρωματικό υλικό εξακολουθεί να φέρει την επικεφαλίδα «ΕΜΠΙΣΤΕΥΤΙΚΟ — ΔΕΝ ΠΡΟΟΡΙΖΕΤΑΙ ΔΙΑΝΟΜΗ, 5 ΑΥΓΟΥΣΤΟΥ 2021». Μόνο στην εποχή του Covid μπορείς να βρεις τέτοια προχειρότητα. Παρατηρούμε εδώ προκατειλημμένο (απρόσεκτο) χειρισμό μιας εφημερίδας που εξυπηρετούσε την αφήγηση.
Θα ολοκληρώσω την κριτική μου με ένα αγαπημένο μου θέμα: παράλογα αποτελέσματα.
Το παρακάτω σχήμα παρουσιάζει εκτιμήσεις της αποτελεσματικότητας, όπως υπολογίστηκαν από τους συγγραφείς. Το βέλος δείχνει ένα αποτέλεσμα που δεν έχει νόημα. Δεν αναμένουμε κανένα σταδιακό όφελος από τη δεύτερη δόση εντός 6 ημερών από την ένεση, ωστόσο η αποτελεσματικότητα αυξήθηκε, φτάνοντας σχεδόν στην εκτίμηση για το επόμενο διάστημα (7+ ημέρες). Εάν η εκτίμηση για 0–6 ημέρες είναι σαφώς μεροληπτική, γιατί να εμπιστευτούμε την επόμενη;
Επίλογος
Όπως έγραψα στην αρχή, θα πρέπει να προσπαθήσουμε να διορθώσουμε το ιστορικό αρχείο. Είναι ένας μακρύς δρόμος μπροστά, αλλά όπως λέει η παροιμία, «Ένα ταξίδι χιλίων μιλίων ξεκινά με ένα μόνο βήμα». Απευθύνομαι ιδιαίτερα σε κορυφαίους μεθοδολόγους που συνήθιζαν να διαλύουν κακές μελέτες και να επικρίνουν επισφαλείς μεθόδους. Οι περισσότεροι από αυτούς παρέμειναν σιωπηλοί καθ' όλη τη διάρκεια της πανδημίας, πιθανώς φοβούμενοι τις συνέπειες της αμφισβήτησης της «ασφαλούς και αποτελεσματικής» αφήγησης.
Ας αρχίσουμε να διαβάζουμε ατρόμητες κριτικές μελετών που ανέφεραν την αξιοσημείωτη αποτελεσματικότητα των εμβολίων κατά της Covid, οι οποίες αποδείχθηκαν ψευδείς. Δεν υπάρχει έλλειψη προβλημάτων που πρέπει να εντοπιστούν, να επισημανθούν και να διορθωθούν, ει δυνατόν, με πραγματικά δεδομένα ή προσομοιώσεις:
Αν δεν κάνουμε αυτή τη δουλειά, θα συνεχίσουμε να διαβάζουμε ψευδείς εκτιμήσεις βασισμένες στην αποτελεσματικότητα ζωών που σώθηκαν. Ήταν κοντά 2.5 εκατομμύρια, όπως ισχυρίστηκαν κάποιοι, ή μη ανιχνεύσιμο στις στατιστικές θνησιμότητας, ή πιθανώς περίπου μηδένΚαι θα λάβουμε ποτέ απαντήσεις από σχετικές δοκιμές?
Αναδημοσιεύθηκε από Μέτριας Δυσκολίας
Μπές στην κουβέντα:
Δημοσιεύτηκε υπό την αιγίδα Creative Commons Attribution 4.0 Διεθνής άδεια
Για ανατυπώσεις, παρακαλούμε ορίστε τον κανονικό σύνδεσμο πίσω στο πρωτότυπο Ινστιτούτο Brownstone Άρθρο και Συγγραφέας.
