ΚΟΙΝΟΠΟΙΗΣΗ | ΕΚΤΥΠΩΣΗ | ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
Προοίμιο
Η φυσική βάση για αυτήν την εργασία είναι ένα βιοϊατρικό περιοδικό. Ωστόσο, υπάρχει μηδενική πιθανότητα μια εργασία να γίνει δεκτή από οποιοδήποτε συμβατικό περιοδικό. Γιατί; Επειδή τα αποτελέσματα είναι συγκλονιστικά, όπως αναφέρεται και στον τίτλο.
Αυτή η ανάρτηση είναι τεχνική, αλλά ο πρόλογος δεν είναι. Για τον μη ακαδημαϊκό αναγνώστη, ο πρόλογος θα εξυπηρετήσει δύο σκοπούς: 1) να μοιραστεί μια ενδιαφέρουσα ιστορία σχετικά με την εξέλιξη αυτού του έργου· 2) να δώσει μια απλή σύνοψη των ευρημάτων μου.
Λοιπόν, μείνετε μαζί μου τουλάχιστον σε αυτό το τμήμα.
Αν και έχω πάνω από 200 επιστημονικές δημοσιεύσεις, μόνο λίγες ήταν πραγματικά καινοτόμες, με την έννοια μιας δημιουργικής ιδέας που οδήγησε σε μια ενδιαφέρουσα ανακάλυψη. Οι περισσότερες ήταν ανέμπνευστες, «φυσιολογικές» επιστημονικές. Συχνά αναρωτιόμουν πώς γεννήθηκαν αυτές οι σπάνιες περιπτώσεις, και εκ των υστέρων, δεν ήταν ποτέ παρατεταμένη σκέψη. Αντίθετα, ήταν μια ανεξήγητη σπίθα, μια στιγμή που μια ιδέα μου ήρθε στο μυαλό ξαφνικά ή κάποιες εκκρεμότητες συνδέθηκαν. Αυτό το έργο είχε κάτι και από τα δύο.
Ποτέ δεν εμπιστεύτηκα τα αποτελέσματα της δοκιμής της Pfizer. Αυτή η αποτελεσματικότητα 95% έναντι ενός αναπνευστικού ιού ήταν πολύ καλή για να είναι αληθινή — πρωτοφανής στο πλαίσιο μιας ιογενούς αναπνευστικής λοίμωξης. Δεν μπορούσα να καταλάβω, ωστόσο, τι μπορεί να πήγε στραβά.
Δουλεύοντας πάνω σε ένα πρόσφατο θέση, κατέληξα στο συμπέρασμα ότι ο ένοχος πρέπει να ήταν η διαπίστωση των κρουσμάτων. Για κάποιο λόγο, πολλά κρούσματα έχουν παραλειφθεί στο σκέλος του εμβολίου και, ως εκ τούτου, τα αρχικά αποτελέσματα δεν μπορούν να θεωρηθούν αξιόπιστα. Υπάρχει άλλος τρόπος για να εκτιμηθεί η πραγματική αποτελεσματικότητα έναντι της συμπτωματικής λοίμωξης από τα δεδομένα της δοκιμής; «Πιθανώς όχι» είναι η αναμενόμενη απάντηση.
Συμπτωματικά, ανακάλυψα ένα άλλο έγγραφο σχετικά με τη δοκιμή της Pfizer, με τίτλο «Τελική Πλήρης Έκθεση Κλινικής Μελέτης». Σε αυτό το μακροσκελές έγγραφο, η Pfizer συμπεριέλαβε εκτιμήσεις της αποτελεσματικότητας έναντι ασυμπτωματικής λοίμωξης, οι οποίες βασίστηκαν σε εξέταση αίματος σε όλους τους συμμετέχοντες (αντισώματα κατά του Ν).
Υπάρχει τρόπος να εκτιμηθεί η αποτελεσματικότητα έναντι της συμπτωματικής λοίμωξης από την αποτελεσματικότητα έναντι της ασυμπτωματικής λοίμωξης;?
Αυτή ήταν η σπίθα: η διατύπωση ενός ερωτήματος που συνέδεε δύο εκκρεμότητες. Η απάντησή του δεν ήταν πολύ δύσκολη. Απλή υπολογιστική εργασία.
Κάθε ανάλυση βασίζεται σε ορισμένες προϋποθέσεις ή υποθέσεις. Εδώ, χρειαζόμουν δύο:
Καταρχάς, υπέθεσα ότι το εμβόλιο δεν αποτρέπει μια λοίμωξη. Μπορεί να αποτρέψει μόνο τα συμπτώματα όταν υπάρχει μόλυνση. Αυτή η υπόθεση είναι ευρέως αποδεκτή πλέον και μπόρεσα να την αποδείξω έμμεσα στα δεδομένα της κλινικής δοκιμής.
Η δεύτερη υπόθεσή μου αφορούσε την κατανομή των λοιμώξεων σε ασυμπτωματικές και συμπτωματικές. Υπάρχουν δεδομένα σχετικά με το θέμα, συμπεριλαμβανομένων δεδομένων που κατάφερα να εξαγάγω από τη δοκιμή.
Η υπόλοιπη δουλειά δεν ήταν τίποτα περισσότερο από μια απλή εξίσωση που δανείστηκα από μια παλιά εργασία και μερικές γραμμές σε ένα αρχείο Excel, τις οποίες θα δείξω στο τέλος.
Υποσχέθηκα spoiler:
Από πάνω από μισή ντουζίνα διαφορετικούς υπολογισμούς, ένας είχε μηδενική αποτελεσματικότητα, ένας στο 50% και όλοι οι άλλοι — έως και 25%. Θα πρέπει να ακολουθήσουμε την πλειοψηφία: δεν ήταν πάνω από 25%. Και αυτό πριν μειωθεί...
Πηγές Δεδομένων
Για να συνδυάσω δεδομένα σχετικά με ασυμπτωματικές και συμπτωματικές λοιμώξεις, έπρεπε να βρω ένα σχετικό χρονικό παράθυρο στο οποίο θα ήταν διαθέσιμοι και οι δύο τύποι δεδομένων. Ήταν μεταξύ της δόσης 2 (χορηγήθηκε 21 ημέρες μετά τη δόση 1) και ένα μήνα αργότερα, μια περίοδος για την οποία η αναφερόμενη αποτελεσματικότητα κυμαινόταν μεταξύ 90.5% και 94.8%.
Υπήρχαν δύο πηγές για τα δεδομένα: η διάσημη χαρτί in ο New England Journal of Medicine και το έγγραφο της Pfizer που ανέφερα στο προοίμιο, το οποίο πιθανώς υποβλήθηκε στον FDA. Παρακάτω θα βρείτε στιγμιότυπα οθόνης των δεδομένων που χρησιμοποίησα. Προστέθηκαν κόκκινα ορθογώνια.
Πηγή: The New England Journal of Medicine
Πηγή: έγγραφο της Pfizer με τίτλο «Τελική Πλήρης Έκθεση Κλινικής Μελέτης»
Προκαταρκτική Ανάλυση
Ο αρχικός πίνακας είναι απλός: ο αριθμός των περιπτώσεων συμπτωματικής λοίμωξης και ασυμπτωματικής λοίμωξης στα δύο σκέλη της δοκιμής εντός ενός μήνα μετά τη δεύτερη δόση.
Οι αριθμοί στη δεξιά στήλη μεταγράφηκαν από τον πίνακα 36 παραπάνω. Ο αριθμός 4 βασίζεται στο γράφημα και ο αριθμός 90 εκτιμήθηκε από τον πίνακα κάτω από το γράφημα: 21 κρούσματα σε 7 ημέρες μεταξύ της δόσης 2 και της ημέρας 6 (η ημέρα 7 ανήκει στην επόμενη κατηγορία). Αυτό σημαίνει 3 κρούσματα ανά ημέρα και 90 κρούσματα σε 30 ημέρες. Λαμβάνουμε μια παρόμοια εκτίμηση βασιζόμενοι σε 275 κρούσματα σε περίπου 100 ημέρες, δεδομένης μιας σταθερής κλίσης.
Η συχνότητα των ασυμπτωματικών λοιμώξεων στο σκέλος του εικονικού φαρμάκου είναι περίπου 50%, κάτι που είναι λογικό. Οι εκτιμήσεις στη βιβλιογραφία κυμαίνονται από το ένα τρίτο έως το ήμισυ όλων των λοιμώξεων. Τόσο το 50% όσο και το 30% θα χρησιμοποιηθούν αργότερα στον υπολογισμό.
Όπως θα εξηγηθεί σύντομα, ο αριθμός στο επάνω δεξί κελί (34) είναι λανθασμένος, αλλά θα χρησιμοποιήσω τον πίνακα για να υπολογίσω τους λόγους κινδύνου (RR) και τους λόγους πιθανοτήτων (OR) για να επεξηγήσω διάφορα βασικά σημεία.
Ο κίνδυνος ερμηνεύεται ως πιθανότητα, η οποία εκτιμάται με βάση μια αναλογία. Οι πιθανότητες ορίζονται τυπικά ως ο λόγος των συμπληρωματικών πιθανοτήτων (π.χ., 0.514/0.486 παρακάτω) αλλά μπορούν να υπολογιστούν ως ο λόγος ενός συμβάντος προς το συμπληρωματικό συμβάν (π.χ., οι πιθανότητες συμπτωματικής λοίμωξης στο σκέλος του εικονικού φαρμάκου είναι 90/85).
Ο πίνακας και οι παρακάτω κουκκίδες αναφέρονται σε άτομα που είχαν μολυνθεί.
- Εάν ο εμβολιασμός μειώνει την πιθανότητα συμπτωματικής λοίμωξης (RR=0.20· αποτελεσματικότητα=80%), τότε πρέπει να αυξάνει την πιθανότητα ασυμπτωματικής λοίμωξης («RR»=1.84· αποτελεσματικότητα=-84%). Μια αρνητική αποτελεσματικότητα εδώ είναι προφανώς ένα θετικό αποτέλεσμα. Κατ' αναλογία, εάν μια θεραπεία μειώνει τη θνησιμότητα μιας νόσου, αυξάνει την επιβίωση των ασθενών.
- Ο συντελεστής RR (RR) της συμπτωματικής λοίμωξης (0.20) ΔΕΝ είναι το αντίστροφο του «συνολικού RR» της ασυμπτωματικής λοίμωξης (1/1.84=0.54). Αυτό είναι ένα γενικό στατιστικό φαινόμενο.
- Αντίθετα, ο λόγος OR της συμπτωματικής λοίμωξης (0.11) είναι το αντίστροφο του λόγου OR της ασυμπτωματικής λοίμωξης (1/9=0.11). Αυτό είναι επίσης ένα γενικό φαινόμενο, το οποίο θα είναι χρήσιμο.
Παρατηρήστε ότι και για τα δύο αποτελέσματα, ο λόγος πιθανοτήτων απέχει περισσότερο από το μηδέν από τον λόγο κινδύνου: 0.11<0.20<1 και 9.00>1.84>1. Αυτή είναι μια γνωστή σχέση.
Αφιέρωσα ένα πρόσφατο θέση στα δεδομένα σχετικά με τις ασυμπτωματικές λοιμώξεις στη δοκιμή της Pfizer. Εν ολίγοις, οι εκτιμήσεις που ανέφεραν (πίνακας 36 παραπάνω), αποτελεσματικότητα 50% έως 60%, είναι λανθασμένες επειδή η εξέταση αίματος δεν εντοπίζει πολύ περισσότερες λοιμώξεις μετά τον εμβολιασμό από ό,τι λοιμώξεις σε μη εμβολιασμένους. Με βάση δεδομένα από δύο μελέτες — η μία αναφέρει το εμβόλιο της Pfizer και ένα άλλο για το εμβόλιο της Moderna — το πραγματικό ποσοστό των λοιμώξεων μετά τον εμβολιασμό είναι δύο έως τρεις φορές το ποσοστό που δείχνει ορομετατροπή. Εφαρμόζοντας τρεις διορθωτικούς παράγοντες από αυτό το εύρος στο άνω κελί (έντονη γραφή), λαμβάνουμε τα ακόλουθα αποτελέσματα για συμπτωματική λοίμωξη.
Μετά τη διόρθωση του αριθμού των ασυμπτωματικών λοιμώξεων στο σκέλος του εμβολίου, οι εκτιμήσεις της αποτελεσματικότητας έναντι της συμπτωματικής λοίμωξης — σε μολυσμένα άτομα — συμφωνούν με τα αναφερόμενα αποτελέσματα ένα μήνα μετά τη δόση 2: μεταξύ 90% και 95%. Αυτό είναι καθησυχαστικό.
Το πιο σημαντικό είναι ότι η ομοιότητα των εκτιμήσεων στους μολυσμένους συμμετέχοντες με τις εκτιμήσεις σε όλους τους συμμετέχοντες υποστηρίζει την πρώτη υπόθεση. Όλες οι επιδράσεις στη συμπτωματική λοίμωξη, όπως αναφέρθηκαν από τη δοκιμή, σωστά ή λανθασμένα, οφείλονταν στην πρόληψη των συμπτωμάτων κατά τη μόλυνση. Το εμβόλιο δεν εμπόδισε τις λοιμώξεις. Χωρίς να είναι γνωστό προηγουμένως, η δοκιμή έχει στην πραγματικότητα εκτιμήσει την επίδραση στα συμπτώματα. όταν μολυνθεί.
Εκτίμηση της πραγματικής αποτελεσματικότητας έναντι της συμπτωματικής λοίμωξης
Τα αποτελέσματα της δοκιμής, και της αντίστοιχης ανάλυσής μου παραπάνω, προϋποθέτουν σωστή καταμέτρηση των συμπτωματικών κρουσμάτων στον βραχίονα του εμβολίου. Εάν αυτός ο αριθμός (π.χ., 4 παραπάνω) δεν μπορεί να εμπιστευτεί, κανένα από τα δύο σύνολα αποτελεσμάτων δεν είναι έγκυρο.
Μπορούμε να παρακάμψουμε την ανάγκη να βασιστούμε σε αυτόν τον αριθμό; Μπορούμε να πάρουμε RR (συμπτωματική λοίμωξη) από RR (ασυμπτωματική λοίμωξη); Γνωρίζουμε ήδη πώς να βρούμε ένα διορθωμένο εύρος για το τελευταίο.
Όπως εξηγήθηκε προηγουμένως, δεν μπορούμε να πάρουμε απλώς το αντίστροφο του λόγου κινδύνου επειδή
Αλλά η ακόλουθη ισότητα ισχύει για τον λόγο πιθανοτήτων.
Ο λόγος κινδύνου και ο λόγος πιθανοτήτων δεν είναι ίσοι (εκτός αν είναι 1). Ωστόσο, υπάρχει μια μη γραμμική λειτουργία που τους συνδέει.
Το οποίο μπορεί να αναδιαταχθεί για να υπολογιστεί ο λόγος πιθανοτήτων από τον λόγο κινδύνου, εάν χρειαστεί.
pΤο 0 είναι ο «βασικός κίνδυνος». Στην περίπτωσή μας, είναι είτε η πιθανότητα ασυμπτωματικής λοίμωξης είτε η πιθανότητα συμπτωματικής λοίμωξης στον μη εμβολιασμένο (ομάδα εικονικού φαρμάκου), ανάλογα με το ποιο αποτέλεσμα μας ενδιαφέρει.
Έτσι, έχουμε μια υπολογιστική διαδρομή από τον λόγο κινδύνου ασυμπτωματικής λοίμωξης προς τον λόγο κινδύνου συμπτωματικής λοίμωξης που δεν βασίζεται στη σωστή καταμέτρηση των συμπτωματικών λοιμώξεων στο σκέλος του εμβολίου.
Ανάλυση ευαισθησίας
Όπως έχει δειχθεί προηγουμένως (πίνακας 36), η αναφερόμενη αποτελεσματικότητα έναντι ασυμπτωματικής λοίμωξης ήταν 50% έως 60%, πράγμα που σημαίνει αναλογία κινδύνου μεταξύ 0.4 και 0.5. Χρησιμοποίησα 0.5. Τα αποτελέσματα είναι χειρότερα (χαμηλότερη αποτελεσματικότητα έναντι συμπτωματικής λοίμωξης) όταν η αναλογία κινδύνου είναι 0.4, επομένως δείχνω μόνο ένα παράδειγμα, το καλύτερο αποτέλεσμα.
Η ανάλυση ευαισθησίας μου περιελάμβανε δύο διαφορετικούς παράγοντες:
- Τρεις διορθωτικοί παράγοντες (2, 2.5, 3) του λόγου κινδύνου ασυμπτωματικής λοίμωξης για να ληφθεί υπόψη η υποανίχνευση λοιμώξεων μετά τον εμβολιασμό από την εξέταση αίματος κατά των αντισωμάτων Ν. Ένας αναφερόμενος (προκατειλημμένος) λόγος κινδύνου 0.5 διορθώνεται σε 1, 1.25 και 1.5, αντίστοιχα. Ο εμβολιασμός είτε δεν έχει καμία επίδραση είτε αυξάνει τον «κίνδυνο» (πιθανότητα) ασυμπτωματικής λοίμωξης.
- Δύο ποσοστά ασυμπτωματικής λοίμωξης: 0.5, όπως παρατηρείται στα δεδομένα, και 0.3, το κατώτερο όριο στη βιβλιογραφία.
Αυτά είναι τα αποτελέσματα (η αποτελεσματικότητα του εμβολίου με έντονη γραφή).
Εάν ο διορθωμένος λόγος κινδύνου ασυμπτωματικής λοίμωξης είναι 1, ο υπολογισμός είναι περιττός. Το εμβόλιο δεν έχει καμία επίδραση σε κανένα από τα δύο είδη λοίμωξης, ανεξάρτητα από το ποσοστό των ασυμπτωματικών λοιμώξεων.
Διαφορετικά, για να επεξηγήσουμε τα βήματα, εξετάστε τη δεύτερη σειρά. Ένας μεροληπτικός λόγος κινδύνου ασυμπτωματικής λοίμωξης (0.5), όπως αναφέρεται από την Pfizer, διορθώνεται σε 1.25. Υποθέτοντας ότι το 50% των λοιμώξεων είναι ασυμπτωματικές (p0=0.5 στην εξίσωση μετατροπής), λαμβάνουμε λόγο πιθανοτήτων 1.667. Λαμβάνοντας το αντίστροφο, λαμβάνουμε τον λόγο πιθανοτήτων της συμπτωματικής λοίμωξης (0.6). Μετατρέποντας αυτόν τον λόγο πιθανοτήτων σε λόγο κινδύνου, λαμβάνουμε 0.75, που αντιστοιχεί σε αποτελεσματικότητα 25% έναντι της συμπτωματικής λοίμωξης.
Τα αποτελέσματα μιλούν από μόνα τους. Με μία εξαίρεση, είναι πιο κοντά στο μηδέν παρά στο 95%.
Επίλογος
Είναι έγκυρα τα αποτελέσματα; Νομίζω ότι είναι, φυσικά.
Μπορεί να κάνω λάθος; Κανείς δεν κάνει ποτέ λάθος. Ωστόσο, κάποιος θα πρέπει να μου δείξει πού κάνω λάθος στην πορεία της ανάλυσης, και αυτό είναι απίθανο να συμβεί. Θα προκαλέσει άραγε αυτή η ανάρτηση απάντηση από την αντίθετη πλευρά; Για τους περισσότερους ανθρώπους, συμπεριλαμβανομένων των επιστημόνων, η αμφισβήτηση μιας παλιάς δίκης είναι σαν καταιγίδα σε φλιτζάνι. (Ξεχνούν ότι δεν υπάρχει ημερομηνία λήξης για την αναζήτηση της αλήθειας.)
Αλλά ίσως συμβεί κάποιο θαύμα. Ίσως οι αξιωματούχοι των NIH ή του FDA διαβάσουν αυτήν την ανάρτηση, κρίνουν την εγκυρότητα των αποτελεσμάτων και ζητήσουν από μερικούς μεθοδολόγους να την εξετάσουν. Εάν τα αποτελέσματα δεν αμφισβητηθούν, θα υποβάλουν την ανάλυσή μου και αυτές τις αξιολογήσεις στην Pfizer, θα ζητήσουν απάντηση και θα δημοσιοποιήσουν τα πάντα.
Μπορώ να δανειστώ μια διάσημη φράση;
Έχω ένα όνειρο.
Αναγνώριση
Ευχαριστώ τον Tomas Fürst για τα σχόλια σε ένα προσχέδιο ανάρτησης.
Αναδημοσιεύθηκε από Μέτριας Δυσκολίας
-
Ο Δρ. Eyal Shahar είναι ομότιμος καθηγητής δημόσιας υγείας στην επιδημιολογία και τη βιοστατιστική. Η έρευνά του επικεντρώνεται στην επιδημιολογία και τη μεθοδολογία. Τα τελευταία χρόνια, ο Δρ. Shahar έχει επίσης κάνει σημαντικές συνεισφορές στη μεθοδολογία της έρευνας, ειδικά στον τομέα των αιτιωδών διαγραμμάτων και των μεροληψιών.
Προβολή όλων των μηνυμάτων
