לפני כחודשיים פנה אלי אחד מבכירי החברה בה אני עובד וביקש ממני שאעזור לו להכין מצגת על נושאים סטטיסטיים הקשורים בפיתוח תרופות בכלל ובניסויים קליניים בפרט. שמחתי לעזור (חלק החומר הדרוש היה לי מן המוכן: תפקיד הסטטיסטיקאי בתהליך הפיתוח הקליני, שיקולים סטטיסטיים בתכנון ניסויים בבעלי חיים, בין שתי טעויות – הרשימה בה הסברתי את נושא בדיקת ההשערות, ועוד כמה דברים). נתבקשתי גם לסקור כשלים סטטיסטיים נפוצים בניסויים קליניים, וזו הייתה משימה יותר מאתגרת, ובזכותה תיהנו אתם, קוראי הבלוג המתעניינים בנושא זה, מסדרה של רשימות שתסכם את ממצאי והגיגי.
ראשית, אתייחס לכותרת הסדרה. סטטיסטיקאים הם גם בני אדם (בניגוד לסברה הרווחת). לכן הם צפויים לטעות, וכיוון שכך, טעויות/כשלים סטטיסטיים בניסויים קליניים (או בכל מקום אחר בו פועל הסטטיסטיקאי) הינם בלתי נמנעים. רק מי שלא עושה לא טועה. האם יש כשלים סטטיסטיים “נפוצים”? אני רוצה לקוות שלא. במקומות מסודרים ישנם תהליכי בקרת איכות שתפקידם לסייע באיתור טעויות מבעוד מועד ולתקן אותן בזמן. עם זאת אף תהליך בקרת איכות אינו מושלם, וטעויות קרו, קורות ויקרו, גם לסטטיסטיקאים וגם לכל אדם אחר. לכן, הכותרת של סדרת רשימות זו תהיה “כשלים סטטיסטיים אפשריים בניסויים קליניים”, לא כשלים נפוצים, בתקווה שאכן זה המצב.
כלי מרכזי בבקרת איכות של עשיה סטטיסטית היא בקרת עמיתים (peer review). בקרה כזו עלולה להיכשל בשל מה שמכונה לפעמים “שלטון הקונספציה”. אם כולם משוכנעים שמשהו נכון, למרות שהוא שגוי, השגיאה לא תתגלה, אלא רק כאשר יהיה מאוחר מדי. דרך טובה להמנע מכשל כזה היא מודעות. מי שמודע לשגיאה אפשרית ידע גם לחפש אותה ולהמנע ממנה. פעם נשאלתי בראיון עבודה מהי התכונה הטובה ביותר שלי. השבתי כי אני לומר משגיאות, ואיני עושה את אותה השגיאה פעמיים. אני עדיין חושב שזו תכונה טובה, ובכל זאת, עדיף תמיד ללמוד משגיאות של אחרים, לא משלך, וכן כדאי תמיד להשקיע עוד קצת מחשבה ומאמץ כדי להמנע מלעשות את השגיאה גם בפעם הראשונה.
כשהתחלתי לחפש “חומר” על הנושא נדהמתי לגלות כמה מעט נכתב על כשלים סטטיסטיים בתחום הניסויים הקליניים. תדהמה שניה אחזה בי שהחזקתי בידי את הרשימה של הכשלים האפשריים שזיהיתי, אם ממקורות שמצאתי ברשת ובפרסומים המדעיים, ואם כאלה שזיהיתי בכוחות עצמי. אמנם, לא גיליתי תגליות חדשות, כלומר כשלים אפשריים שלא הייתי מודע להם קודם לכן (וזה לא אומר שאין כאלה), אבל מה מצאתי מספיק בהחלט כדי להעיק, ולעורר (לפחות בי) מודעות נוספת לנזקים שאני ועמיתי עלולים לעולל אם רק נירדם לרגע בשמירה.
איפה אפשר לטעות? בכל שלב שהוא. למעשה, הרשימה “תפקיד הסטטיסטיקאי בתהליך הפיתוח הקליני” שימשה אותי כנקודת מוצא. אפשר לטעות בשלב תכנון הניסוי, אפשר לטעות במהלך ביצוע הניסוי, ואפשר לטעות במהלך ניתוח הנתונים, הצגתם ופרשנותם. מטבע הדברים, ככל שטעות מתרחשת מוקדם יותר, כך השפעתה גדולה יותר, ולכן הטעויות הקריטיות ביותר נעשות בשלב התכנון (ראו למשל את הרשימה “מה הקשר בין איזופודים ותאונות דרכים?“). עם זאת, אין פירוש הדבר כי טעויות בשלבים מאוחרים ביותר הן זניחות. להיפך, הן עשויות להיות קריטיות לא פחות.
גם מי שלא עוסק בניסויים קליניים יוכל להפיק תועלת, לדעתי, מרוב הדברים שיובאו ברשימות הבאות. ההשלכה לתחומים אחרים היא מיידית. למעשה, כבר בשלב הראשוני, שהמצגת עוד הייתה טיוטה על גבי נייר, נוכחתי לדעת שדוגמאות רלוונטיות רבות כבר נסקרו כאן בבלוג. הצגות גרפיות מטעות יש כמעט בכל מקום, ופירוש שגוי של מתאם כסיבתיות נפוץ הרבה יותר בתחומים אחרים. לכן אני סבור שסדרת הרשימות הזו תעזור לא רק לעוסקים בסטטיסטיקה, אלא גם לצרכני הסטטיסטיקה, כלומר לכולכם, למעשה.
הרשימות הבאות בסדרה
– כשלים סטטיסטיים אפשריים בניסויים קליניים – סקירת ספרות
האם קיימות תוכנות לבקרה אוטומטית של ניסויים? (משהו שניתן להזין ‘תאוריה’, תוצאות ומסקנות ולקבל חריגות)
יש כל מיני תוכנות שעורכות סימולציה של ניסויים קליניים, אבל הן לא יכולות לערוך בקרה של כשלים.