חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור 'מדע'

אנטומיה של מגיפה

בתאריך 20.2.2018 אירחה קרן נויבך בתכנית שלה ברשת ב אדם בשם גדי, שסיפר על הניסיון הקשה של בנו, שחלה בדיכאון וחרדה וסבל מהתקפים פסיכוטיים. הסיפור האישי אכן נוגע ללב, אולם ההתייחסות של נויבך למרואיין ולדברים שטען מעבר לסיפורו האישי הייתה בעייתית ביותר.

מה נאמר באייטם

אביא כאן תקציר של הדברים שנאמרו. אתם גם יכולים להאזין לראיון באתר של תאגיד השידור, או להקלטה ששמרתי בשרת שלי. אתם גם מוזמנים לקרוא את תמלול הריאיון שערכתי.

בהקדמה לראיון נויבך מבהירה כי אין לראות בדברים שיאמרו בראיון כהמלצה לקחת או לא לקחת תרופות פסיכיאטריות, אבל אומרת באותה נשימה כי הריאיון יתאר "מסע להשתחררות מהתרופות הפסיכיאטריות".

בחלק הראשון של הריאיון מספר גדי על בנו שלקה בחרדה, דיכאון והתקפים פסיכוטיים. הטיפול בו לא צלח למרות ששני רופאים ניסו מספר טיפולים, והוא גם חווה תופעות לוואי. אי אפשר שלא לחוש אמפתיה לסיפור הזה.

כאן הריאיון עובר פאזה. גדי מספר על כתבה שקרא בעיתון ושבעקבותיה נחשף לדבריו לכל הידע שיש בתחום של התרופות הפסיכיאטריות. לדבריו, הרופאים הפריכו את התיאוריה של חוסר איזון כימי במוח, שבכלל הומצאה על ידי חברת התרופות לילי לקראת השקת הפרוזאק. התיאוריה הזו היא לטענתו אגדה אורבנית. כן טען כי בעידן שלפני התרופות חולי סכיזופרניה החלימו ב-60%. בנוסף טען כי יש שפע של מחקרים המוכיחים כי בטווח הארוך תרופות פסיכיאטריות גורמות יותר נזק מאשר תועלת.

הראיון חזר לסיפור האישי. גדי סיפר על התהליך שבנו עבר כאשר החליטו להפסיק לו את הטיפול התרופתי. הוא סיפר כי זה תהליך קשה ומסוכן ומזהיר כי כל מי שרוצה לבצע תהליך כזה חייב לעשות אותו מאוד בזהירות. לא ברור מדבריו אם תהליך הפסקת הטיפול התרופתי שבנו עבר נעשה בעקבות התייעצות עם רופא, או שהם החליטו על דעת עצמם להפסיק את הטיפול. עם זאת, ככל הנראה התהליך של הבן שלו התבצע תחת השגחה רפואית.

לאחר מכן גדי מסביר תהליכים במוח שקשורים לדופמין ושבגללם הורדת המינון התרופתי הוא מסוכן. הוא מסביר כי "אתה חייב שיהיה לך את הידע והביטחון במה שאתה עושה", אחרת התופעות המקוריות, כגון פסיכוזה, יופיעו שוב[1].

בחלק השלישי של הראיון, גדי מספר על החלטתו להנחיל את הידע שצבר לציבור הרחב. הוא פעל לתרגום הספר (השנוי במחלוקת) של העיתונאי רוברט ויטאקר "אנטומיה של מגיפה". הוא מספר כי כאשר ויטאקר ביקר בארץ הוא נפגש עם פרופסור חיים בלמקר, יושב ראש האיגוד הפסיכיאטרי. בעקבות הפגישה הקים פרופ בלמקר ועדה, וגדי יודע לספר על המלצות הועדה למרות שהיא תסיים את עבודתה רק בחודש מאי. כמו כן, הוא מספר כי פרופ בלמקר הוציא הנחיות לכל הפסיכיאטרים בארץ "להפחית את המינונים". הוא גם מספר על ניסוי שבלמקר ערך ב-1978 בו השתתפו שני אנשים, בלמקר עצמו ואדם נוסף, שנטלו תרופה פסיכיאטרית (לא ברור איזה) וחוו לדבריהם תסמינים קשים.

כאן בעצם מסתיים הריאיון. נויבך ממליצה למאזינים לקרוא את ספרו של ויטאקר. נויבך גם מוסיפה ואומרת כי אין לעשות את זה (את ה"גמילה" מתרופות) בלי להיעזר ובלי להתייעץ, וכי אנשים חייבים לקבל את האחריות עליהם את ההחלטה על עצמם.

מה לא בסדר כאן?

הרבה דברים. לגדי אין לי הרבה טענות. הוא בא לקדם אג'נדה, ועשה זאת בהצלחה רבה. הוא אמנם משתמש במניפולציות רגשיות ואחרות, אומר חצאי אמיתות (ולעיתים פחות מכך), ויודע מראש מה יהיו המסקנות של ועדה שתסיים את עבודתה בעוד שלושה חודשים – דבר תמוה ביותר. הוא מטיף למעשה להפסקת השימוש בכל התרופות הפסיכיאטריות (למרות שלא אמר זאת במפורש) ומטיל דופי בציבור שלם של רופאים. הוא טוען טענות מדעיות למרות שככל הנראה אין לו כל הכשרה מדעית בתחומים ביו-רפואיים (אני מניח שאם הייתה לו הכשרה כזו הוא היה מציין את זה), ובוודאי אינו רופא.

אל קרן נויבך, לעומת זאת, אפשר לטעון הרבה טענות.

במהלך הריאיון היא לא שאלה את גדי אפילו שאלה ביקורתית אחת (ועוד אגיע לזה בהמשך), כמו שאנשים תמימים כמוני מצפים מעיתונאים, ובייחוד מעיתונאית כמו קרן נויבך שעושה לעצמה שם של עיתונאית לוחמת, ואף זכתה בפרס סוקולוב על עבודתה העיתונאית שהינה בעלת "נקודת מבט ביקורתית".

היא לא אובייקטיבית, בייחוד בראיון הזה. היא תומכת לגמרי באג'נדה של גדי, וניתן ללמוד זאת מהאמירות שלה במהלך האייטם. כך למשל, שאלה, ככל הנראה כשאלה רטורית, "על סמך מה הרופא החליט שיש פסיכוזה?", וזאת לאחר שגדי סיפר בפירוש שלבנו היו תסמינים פסיכוטיים. היא אמרה אמירה דמגוגית כי הדרך היחידה לעצור את זה (את מחשבות השווא והפסיכוזה) היא "על ידי תרופות על גבי תרופות". אמירה זו נועדה לדעתי למתוח ביקורת על הרופא (שאותו ככל הנראה לא פגשה כלל). כשגדי מספר שבנו הועבר לטיפול בריספרדל היא אומרת ש-"זה כדור הרבה יותר חזק", אמירה שמראה חוסר הבנה ברפואה. ריספרדל אינו כדור יותר חזק מציפרלקס, או יותר חלש. ריספרדל היא תרופה שנועדה לטיפול במחלה אחת, וציפרלקס היא תרופה שנועדה לטפל במחלה אחרת. לאחר מכן היא מספקת אבחון "רפואי" למצבו של בנו של גדי: "הילד זומבי". כאשר גדי מתאר ניסוי (לדעתי תמוה) שערך פרופ בלמקר בתרופה פסיכיאטרית כלשהי (לא ברור איזה) היא אומרת שזה "כמו סמים". היא קוטעת את המשפט של גדי שאומר על הניסוי של בלמקר שזה "תיאור מהמם" ומשלימה אותו באמירה שזה "(תיאור מהמם) של מה קורה לאדם תחת התרופות האלה בדיוק".

הגרוע מכל, נויבך משתמשת פעמיים בביטוי "גמילה" בהקשר של תרופות פסיכיאטריות. היא יודעת היטב שלביטוי כזה יש קונוטציה שלילית. אף אחד לא ידבר על הצורך לגמול חולה סרטן מאווסטין, או לגמול חולת טרשת נפוצה מקופקסון.

כמו כן, הרושם האישי שלי הוא ששתי ההסתייגויות שהביעה נויבך בתחילת האייטם וסופו על כך ש-"אין כאן שום המלצה" נאמרו מן השפה ולחוץ, לצורך כיסוי משפטי, וזאת לאור ההזדהות המוחלטת שלה עם המסרים של גדי.

מותר לעיתונאי להחזיק באג'נדה. יש הרבה עיתונאים כאלה (למשל עמית סגל, מירב ארלוזורוב, צבי יחזקאלי, ועוד רבים אחרים). אבל החובה המקצועית של בעל אג'נדה היא להביא לידיעת הציבור על היותו בעל עניין. נויבך לא עשתה זאת.

מה עיתונאי ביקורתי אמיתי היה שואל?

יש מי שיאמרו שזו שאלה לא הוגנת, כיוון שמדובר בראיון שהוקלט ככל הנראה בטייק אחד. כאשר גדי רומז כי פסיכוזה (בין היתר) היא תופעת לוואי של ציפרלקס וזה כתוב בעלון של התרופה, קל לבדוק ולראות כי זה לא נכון. אם היה מדובר בכתבה בעיתונות הכתובה, המראיין היה יכול לבדוק את זה אחרי קיום הריאיון, ולציין בכתבה כי הטענה הזו לא נכונה. את זה, אכן, אי אפשר לעשות בראיון רדיופוני (אם כי היה אפשר לעשות זאת במסגרת התחקיר שנערך, אני מקווה, לפני הריאיון). אבל בהחלט היה מקום והייתה אפשרות לשאול שאלות אחרות. הנה מספר שאלות שהיו צריכות להישאל ולא נשאלו:

  • לאחר שהטיפול הרפואי בבן הופסק ועברו כמעט שנתיים, מהו כעת מצבו הבריאותי? האם הוא עדיין סובל מחרדות ופסיכוזות? (הניחוש שלי: לו הבן הבריא באורח פלא עקב הפסקת הטיפול הרפואי, גדי בוודאי היה מספר זאת בראיון).
  • מה הייתה המעורבות של הבן בהחלטות הרפואיות? גדי לא אומר על כך דבר. זה חשוב כי הבן אינו ילד אלא אדם בוגר שגילו מעל 18.
  • האם ההחלטה להפסיק את הטיפול התרופתי נעשתה בהתייעצות עם רופא? מי קיבל את ההחלטה?
  • מה האמינות של המידע שגדי אסף, ככל הנראה באינטרנט? האם מצא בנוסף דברים שלא תמכו באג'נדה שלו? ואם כן, מה עשה בנידון? האם התעלם מהם? האם התייעץ עם אדם בעל הכשרה מדעית?
  • האם התיאוריה של חוסר האיזון הכימי פותחה לצורך השקת הפרוזאק, או שמא הפרוזאק פותחה על סמך התיאוריה?
  • אם התיאוריה של חוסר האיזון הכימי הופרכה, מדוע ה-FDA לא הורה להפסיק את השימוש בתרופות הפסיכיאטריות?
  • מה הקשר של ההסבר על הדופאמין לשתי תרופות (ציפרלקס וריספרדל) שמנגנון הפעולה שלהן אינו קשור בדופאמין? (אני מודה שזה לא הוגן. כדי לשאול את השאלה הזו יש צורך לערוך מחקר קטן של חמש דקות, אולם אי אפשר לערוך אותו במסגרת ראיון שמוקלט בטייק אחד. עם זאת, היה אפשר לבדוק את זה בתחקיר שקודם לראיון)
  • בקשר לספר של רוברט ויטאקר: האם הדברים שכתובים בו הם תורה מסיני או שיש גם ביקורת על הספר? (ספוילר: יש והרבה) מה הכשרה המדעית/רפואית של ויטאקר? (אין לו). האם ויטאקר נעזר בייעוץ מדעי/רפואי במהלך כתיבת הספר? (זה לא ברור)
  • מדוע לא היה עורך מדעי לתרגום העברי לספרו של ויטאקר? (אני שוב לא הוגן. כדי לשאול את השאלה הזו צריך לפתוח את הספר ולשים לב לכך שלא היה עורך מדעי)
  • כיצד גדי יודע מה יהיו המסקנות של ועדה שעדיין לא סיימה את עבודתה?
  • מה התקפות המדעית של המחקר של בלמקר, שהסתמך על מדגם בגודל 2? האם מחקר שנערך לפני 40 שנה הינו רלוונטי בהקשר של תרופות שנכנסו לשימוש רק במאה ה-21?
  • מה הסמכות המקצועית של בלמקר? הוא אמנם יו"ר האיגוד הפסיכיאטרי, אבל אין הדבר אומר כי הוא הפסיכיאטר הטוב ביותר בארץ. כמו כן, הסמכות המקצועית והחוקית להוציא הנחיות רפואיות מחייבו לכלל הרופאים נתונה בידי משרד הבריאות.

שאלות לקרן נויבך

יש לי גם כמה שאלות לקרן נויבך:

    • מדוע לא הבאת את התגובה של הרופאים המטפלים? קיבלתי מספר הערות על כך שיש עניין של שמירת פרטיות ולכן מחקתי את השאלה הזו.
  • מדוע לא העלית לשידור מומחה שיציג עמדה שונה מזו של גדי?
  • אמרת שאת מתכוונת להזמין את גדי לדיון נוסף שייערך במסגרת התכנית. האם את מתכוונת להזמין לדיון גם מישהו, רצוי מדען או רופא, שיציג את העמדה הנגדית? האם את תתני לו במה דומה לזו שנתת לגדי, שנשא מונולוג באורך 17 דקות?
  • כאשר מתחתי עלייך ביקורת בטוויטר, בחרת לא להתייחס לביקורת, בין ביתר בטענה שלא האזנתי לתכנית. אני מודה שהביקורת שלי שם הייתה תוקפנית- זה חלק מתרבות הטוויטר (אני מצרף קישורים לצילומי מסך). האם עתה, לאחר שהאזנתי לתוכנית, והעליתי ביקורת מפורטת, יש בכוונתך לענות לביקורת?

למה אתה מצפה, יוסי?

האמת, לכלום.

אני לא מאמין שיינקטו צעדים משפטיים נגד אדם שמנסה לשכנע את הציבור לדחות באופן גורף המלצות רפואיות למרות שאין לו כל הכשרה בתחום.

אני לא מאמין שאנשים כמו גדי ונויבך ורבים אחרים, המאמינים בתיאוריות הקונספירציה אודות חברות התרופות והממסד הרפואי, יפסיקו להאמין בהן בעקבות הדברים שנכתבו כאן.

אני לא סבור שקרן נויבך תקיים דיון ענייני בנושא בתכנית שלה, או תראיין אדם שימתח את הביקורת (הראויה) על ויטאקר ועל האג'נדה המסוכנת שהוא מקדם (מי יודע? הלוואי ואתבדה). אני לא סבור שנויבך תאתר את הרופאים של בנו של גדי ותבקש את תגובתם.

אני לא סבור שנויבך תעלה לשידור אדם שיספר איך חייו השתפרו בעקבות הטיפול הרפואי המסור במחלת הנפש שלו, שקיבל מאחד הרופאים המצויינים שיש במדינה שלנו (יש בארץ מאות אלפי חולים כאלה, אך לא מספיק רופאים, לצערנו).

אני לא חושב מקווה שקרן נויבך תתייחס ברצינות לביקורת שנמתחה עליה כאן, בוודאי לא אולי אפילו בשידור.

עדכון

קיבלתי סוג של תגובה מצוות התכנית שמתעלמת למעשה מהביקורת שנמתחה כאן על התנהלותה של נויבך (לא ברור אם קרן נויבך עומדת מאחורי התגובה הזו). אתם מוזמנים לקרוא את התגובה בקישור הזה.


הערות
  1. לדעתי זה צפוי שאם מפסיקים טיפול רפואי במחלה, אז תסמיני המחלה מופיעים שוב, אבל מה אני מבין []

"המחשב טעה. שלא תדעו עוד צער."

האם מקצוע הרדיולוג עומד להיכחד? האם אלגוריתמים של בינה מלאכותית, כגון רשתות נוירונים, יחליפו את הרדיולוגים, ובהמשך את שאר הרופאים? ואיך כל זה קשור למכוניות אוטונומיות?

כל השאלות האלה עלו בעקבות פוסט בבלוג  Toward Data Science שפרסם יו הארווי, רופא המתמחה ברדיולוגיה. הארווי טוען כי האלגוריתמים לא יחליפו את הרדיולוגים בעתיד הנראה לעין, אם בכלל. בדיון בקבוצת Machine & Deep learning Israel בפייסבוק הופיע הפניה לפוסט של לוק אוקדן-ריינר, גם הוא רופא המתמחה ברדיולוגיה.  הפוסט של אוקדן-ריינר מתייחס למאמר שפורסם ממש לפני כמה חודשים (נובמבר 2017), מאת רג'פורקאר ועמיתיו, שתיאר אלגוריתם לפענוח תצלומי רנטגן. בין העמיתים החתומים על המאמר זה נמנה אנדרו אנג, מה שמחייב התייחסות רצינית ביותר למאמר.

ברשימה זו אביא את דבריהם של הארווי ואוקדן-ריינר, ואתייחס למאמר של רג'פורקאר. כמו כן, אומר מה לדעתי צריכים להיות הקריטריונים לפיהם יהיה ניתן לקבוע כי אלגוריתם כזה יכול להחליף רופא מומחה. בנוסף אענה באופן מסודר לטענות (הטובות) שהועלו בקבוצת הפייסבוק.[1]

זוהי רשימה ארוכה במיוחד. חילקתי אותה למספר פרקים כשלכל פרק כותרת נפרדת, כדי שתוכלו לדלג על הפרקים שלא מעניינים אתכם.

הארווי: אינטליגנציה מלאכותית לא תחליף את הרדיולוגים

ד"ר הארווי, שכנראה לא היה מודע למאמר של ראג'פורקאר כשכתב את דבריו[2] משיב לטענתו של ג'פרי הינטון, מומחה לרשתות נוירונים, שאמר כי "ברור שצריך להפסיק להכשיר רדיולוגים". הוא מביא שלושה טיעונים כתשובה להינטון.

ראשית, טוען הארווי, כי בניגוד לאלגוריתם, הרדיולוג עושה יותר מאשר להביט בהדמיות[3]. הארווי מתאר בפירוט את תפקידיו של הרדיולוג בתהליכי האבחון, שאמנם מתבססים על הדמיות, אך גם על אינפורמציה נוספת. הוא אמנם מסכים כי אלגוריתמים למיניהם עשויים לסייע ולשפר כמה תחנות בתהליך האבחוני, אך אינם יכולים להחליף את שיקול הדעת של הרופא.

הנימוק השני של הארווי הוא שבסופו של דבר מי שנושא באחריות הסופית הם בני אדם. הארווי מציג אנלוגיה בין התעופה ובין הרפואה (לא מוצלחת, לדעתי), אולם בסופו של דבר מדגיש את הנקודה המהותית: כשהרופא טועה, ורופאים אכן עלולים לטעות, הרופא אחראי. מי יהיה אחראי במקרה שבו האלגוריתם טעה? האם החברה שמכרה לבית החולים את המערכת שמפענחת תצלומי רנטגן תהיה מוכנה לקחת אחריות על מקרה שבו חולה ימות כי האלגוריתם טעה ולא זיהה כי הפציינט חולה בדלקת ריאות? אולי החולה שהסכים להפקיד את בריאותו בידיו של האלגוריתם (בהנחה שהייתה לו ברירה) אחראי? הרי אף אחד לא יעלה בדעתו שהרופא ששלח את החולה הבייתה כי האלגוריתם אמר שהוא בריא יהיה אחראי. או שכן? הארווי טוען שאף מערכת AI לא תהיה מדוייקת ב-100%. זה נכון, אבל לדעתי הטענה הזו מחלישה את הטיעון שלו. הרי גם רופאים טועים. עם זאת טוען הארווי כי רופאים עשויים לתפקד טוב יותר מאלגוריתם במקרי קצה, וכאן אני נוטה להסכים איתו.

הטענה השלישית של הארווי פחות רלוונטית לנושא של השוואת הביצועים של רופאים ואלגוריתמים רפואיים. הוא טוען כי כאשר יוכנסו מערכות AI למיניהן ויחליפו חלק מהשלבים בתהליך האבחוני, התהליך אכן יתייעל, אולם זה רק ייצור יותר ביקוש לשירותי רדיולוגיה, הביקוש לרדיולוגים יעלה ויגבר הצורך בהכשרת רדיולוגים נוספים.

ראג'פורקאר: האלגוריתם יכול לאבחן דלקת ריאות יותר טוב מהרופאים

הפוסט של אוקדן-ריינר מתייחס למאמר של רג'פורקאר. לכן אסקור בקצרה את הרעיון הכללי של מאמר, ואחר כך אביא את דבריו.

ראג'פורקאר ועמיתיו (שמכאן והלאה אכנה בשם "החוקרים") נעזרו בבסיס נתונים שהכיל יותר מ-100 אלף תצלומי רנטגן של החזה, של כ-38 אלף חולים ב-14 מחלות שונות, וביניהן דלקת ריאות. כל חולה סווג כחולה בדלקת ריאות, או כלא חולה בדלקת ריאות. הנתונים חולקו לפי כל כללי הטקס[4] לשלושה קובצי נתונים נפרדים.

ראשית הם השתמשו בנתונים של כ-29 אלף חולים, ובסך הכל כ-99 אלף תצלומים לצורך "אימון המודל"[5], כ-3.5 תצלומים לחולה, בממוצע.

לאחר שאימנו את המודל, עברו לקובץ השני, בו היו כ-6400 צילומים של כ-1700 חולים (3.8 צילומים לחולה, בממוצע). בעזרת קובץ זה הם ביצעו תיקוף (ולידציה) של המודל.

לסיום, בחנו את ביצועי המודל על הקובץ השלישי, שהכיל 420 צילומים של 389 חולים (כ-1.08 תצלומי רנטגן לחולה, בממוצע).[6]

בתהליך הבחינה 420 התצלומים נבדקו על ידי ארבעה רדיולוגים מאוניברסיטת סטנפורד שסיווגו את החולים לאחת מ-14 המחלות שהיו בקובץ המקורי, וכמובן שגם האלגוריתם אמר את דברו. לרדיולוגים לא היה כל מידע רפואי על החולים מעבר לתצלומי הרנטגן, וכמו כן הם לא ידעו את השכיחויות של כל אחת מ-14 המחלות בקובץ המקורי. במילים אחרות, היה להם בדיוק את אותו המידע שהיה לאלגוריתם.

החוקרים חישבו לכל אחד מהרדיולוגים, וגם עבור האלגוריתם, מדד ביצוע מקובל בשם F1. [7]  הם הראו כי ההפרש בין המדד שהתקבל לאלגוריתם גבוה ב-0.051 מהמדד הממוצע של ארבעת הרדיולוגים, וכי ההפרש הזה מובהק סטטיסטית (רווח הסמך להפרש ברמת סמך של 95% הוא 0.005-0.084).

החוקרים מודים כי למודל שלהם יש שלוש מגבלות, אך מציינים רק שתיים[8]. ראשית, הנתונים כללו רק צילומי חזה פרונטליים, בעוד שבכ-15% מהמקרים של דלקת ריאות יש צורך גם בתצלומי צד כדי לבצע אבחנה מדוייקת. שלישית[9] , החוקרים מודים כי העובדה שהמודל והחוקרים לא נעזרו בנתונים נוספים, כגון היסטוריה רפואית, פוגעת בביצועים של הרופאים (ושל המודל כמובן).

אוקדן-ריידר: אלגוריתמים הם מגניבים, אבל…

ד"ר אוקדן-ריינר אכן סבור כי נוכל להגיע למצב בו לאלגוריתם יהיו ביצועים שווים לביצועים של רופא אנושי ואף יעלו עליו. עם זאת, הוא טוען כי האלגוריתם של רג'פורקאר אינו מתאים לבצע אבחון רפואי. הסיבה לכך נעוצה, לדבריו, בנתונים של ואנג ועמיתיו, בהם רג'פורקאר ועמיתיו השתמשו לצורך פיתוח המודל.

אוקדן-ריינר טוען  כי יש בעייתיות בסיווגים של התצלומים בקובץ הנתונים המקורי של ואנג. לא ברור עד כמה הסיווגים מדוייקים, מה המשמעות הרפואית של הסיווגים, ועד כמה הסיווגים שימושיים לצרכים של ניתוח הצילומים. הוא מציין כי קובץ הנתונים והדוקומנטציה שלו עודכנו מספר פעמים מאז הפרסום המקורי. המאמר שמתאר את בניית הקובץ כמעט ואינו מתייחס להיבטים הקליניים של הנתונים, ומכיל רק פיסקה אחת שמתייחסת לרמת הדיוק של האבחונים שהותאמו לכל סט של תצלומים של חולה אחד.

עד כמה מדויקים הסיווגים? הם התקבלו בשיטות של text mining. הם לא התבוננו בתצלומים. אוקדן-ריינר טוען שרמת הדיוק של הסיווגים בקובץ אינה מספקת. הוא קבע זאת על ידי התבוננות בתצלומים. אמנם לא בכולם, אלא רק במדגם. הסיווגים שלו, כרדיולוג מומחה, היו שונים באופן מהותי מהסיווגים שבקובץ הנתונים.

השאלה השנייה היא מה המשמעות הרפואית/קלינית של הסיווגים. הנה הבעיה: הקביעה האם לחולה יש או אין דלקת ריאות היא קביעה קלינית. צילום רנטגן של החזה הוא נתון התומך באבחון (surrogate measure) ואינו מספיק לבדו לקבוע האם לחולה יש דלקת ריאות, או שה-"עננים" הנראים בצילום הם סימפטום לבעיה רפואית אחרת. המצב בו רואים "עננים" נקרא קונסולידציה. למעוניינים בהסבר רפואי מפורט יותר אני מפנה לפוסט אחר שלו. השורה התחתונה היא שהסיווג של ואנג ועמיתיו במקרה של "עננים" הוא סיווג של יש קונסולידציה או יש דלקת ריאות. אולם, מבחינה רדיולוגית קשה מאוד להחליט מתי קונסולידציה היא דלקת ריאות או משהו אחר. דלקת ריאות היא סוג של קונסולידציה. ההיפך לא נכון. כאשר ואנג ועמיתיו מציינים בנתונים שיש קונסולידציה, יכול להיות שלחולה יש דלקת ריאות. גם יכול להיות שלא. אוקן-ריינר טוען כי הנתונים שבדק מראים שהבעיה הזו קיימת.

וכאן עולה השאלה שלישית, והחשובה ביותר: אם הסיווגים של הנתונים בעייתיים, והמשמעות הקלינית שלהם מוטלת בספק, מה המודל באמת לומד? מה הערך של מודל המתבסס על נתונים בעייתיים?

מה הבעיה במאמר של רג'פורקאר?

אני סומך ב-100% על העבודה שעשו רג'פורקאר ועמיתיו. ההבנה שלי בתחום בו עוסקים היא בסיסית, ומבוססת בעיקר על לימוד עצמי. לצורך הדיון, אני מוכן להתעלם מהביקורת של אוקדן-ריידר על טיב הנתונים. זה לא משפיע על האיכות של המודל, שהרי התחרות בין ארבעת הרדיולוגים ובין המודל התבססה על אותם נתונים, והמודל ניצח. החוקרים מצאו כי במונחי F1, המודל היה יותר טוב מהרדיולוגים בשר ודם ב-0.051, וההבדל הזה מובהק סטטיסטית.

יש לי רק שאלה אחת: מה המשמעות הקלינית של ההבדל הזה? מה הערך המוסף הקליני של המודל? לצערי, אין לי מושג, ואני לא בטוח שלמישהו יש מושג. ברור שהשאלה הזו לא עלתה כלל על דעתם של החוקרים, כי אחרת הם היו לפחות מזכירים אותה  בדיון המסכם. המילה clinical הופיעה במאמר רק פעמיים, שתיהן בפרק המבוא. זהו אחד משבעת החטאים של הסטטיסטיקה: אי הבחנה בין תוצאה מובהקת לתוצאה משמעותית.

מה הבעיה המרכזית במודל של רג'פורקאר?

הבעיה המרכזית במודל של רג'פורקאר היא אבחון חלקי. כשהמודל קובע שלחולה אין דלקת ריאות, הוא לא אומר מה כן יש לו. כאן יש לרדיולוג יתרון ברור על המודל. יש לו ידע קליני שמאפשר לו לקבוע מה מצבו של החולה.

נכון שזה רק מודל, ואנחנו בתחילת הדרך. אין לי ספק שהמודל הזה הוא צעד בכיוון הנכון, אבל זהו צעד קטן מאוד. כדי נגיע למצב בו מודל כזה יהיה ראוי להישקל לשימוש, הוא יהיה צריך לסווג את תצלומי החזה ל-15 קטגוריות לפחות. מישהו יכול להעריך עד כמה אנחנו רחוקים ממודל כזה?

איך צריך להעריך את הביצועים של מודל רג'פורקאר? (וגם את ביצועי הרופא)

תסלחו לי, אבל אני לא מבין מה המשמעות האינטואיטיבית של מדד F1, ומה זה אומר אם הוא שווה ל-0.435. אני ביוסטטיסטיקאי. אחד מתפקידיי הוא לתקשר את התוצאות לצוות הקליני, כדי שהם יוכלו להעריך את המשמעות שלהם. כשהמטרה היא להעריך כלי דיאגנוסטי[10] אני בהחלט מציג בפניהם מדדים כמו accuracy, specificity, ו-sensitivity, למרות שבמקרים רבים גם להם אין משמעות אינטואיטיבית ברורה[11]. אבל כל המדדים האלה לא מספיקים. אלוהים נמצא בפרטים הקטנים, ולכן צריך להתעמק בהם.

מה יקרה אם המודל של רג'פורקאר ישמש ככלי אבחון עיקרי או יחיד למחלת ריאות? בואו נניח לצורך הדיון, כי המודל משמש כשלב הראשון בתהליך האבחוני, ויסווג את החולים כסובלים מדלקת ריאות, או לא סובלים מדלקת ריאות אלא ממשהו אחר, שהמודל לא יודע לזהות, ובמקרה כזה התהליך האבחוני יימשך. נניח גם כי זהו גם התהליך הרדיולוגי.

כאשר מודל או רדיולוג צופים בצילום חזה, יש ארבע אפשרויות.

קודם כל, יש מצב שבו המודל או הרדיולוג מאבחנים כי לחולה יש דלקת ריאות, ולחולה אכן יש באמת דלקת ריאות. זה מצויין. נותנים לחולה את הטיפול המתאים ושלום על ישראל. כאן יש תועלת.

ייתכן כי לחולה אין דלקת ריאות, והמודל או הרדיולוג יקבעו כי לחולה אין דלקת ריאות. זה אכן טוב, אבל לא יותר מדי טוב. החדשות הטובות הן שלא נעשה משהו רע. הבעיה היא שלא התקדמנו. אדם נשלח לביצוע צילום חזה כי הוא חולה במשהו. אם אין לו דלקת ריאות אז יש לו משהו אחר. מה? ובכן, יש צורך בבדיקות נוספות. כאן אין תועלת וגם אין נזק.

נמשיך. יכול להיות כי לחולה יש דלקת ריאות והמודל או הרדיולוג יקבעו כי אין לו דלקת ריאות. הרופאים ימשיכו בתהליך האבחוני. הטיפול בחולה מתעכב. כאן יש קצת נזק. במקרה הטוב, בחינה נוספת של הרופאים תעלה כי בכל זאת יש לו דלקת ריאות, והנזק מינימלי. במקרה הפחות טוב, אם כי לדעתי יותר נדיר, החולה יאובחן כסובל מבעיה אחרת, יקבל טיפול רפואי בלתי מתאים, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (ותמיד יש תופעות לוואי ונזקים בריאותיים), והבעיה הרפואית האמיתית שלו לא תטופל. עלול להיגרם נזק משמעותי.

ועכשיו נגיע למצב הגרוע ביותר: לחולה אין דלקת ריאות והמודל או הרדיולוג אומרים כי יש לו דלקת ריאות. החולה יקבל טיפול רפואי לדלקת ריאות, (אנטיביוטיקה, למשל) שאינו מתאים למצבו הרפואי, וכאמור לעיל, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (השגוי). שוב, החולה לא יקבל טיפול מתאים לבעיה הרפואית האמיתית שלו, שאינה דלקת ריאות, אלא ככל הנראה משהו יותר חמור. כאן נגרם נזק משמעותי. עד כמה הנזק משמעותי? זה כבר תלוי בהרבה גורמים, כמו למשל המצב הבריאותי האמיתי של החולה, ומשך הזמן שיעבור עד שיבחינו כי הטיפול הנוכחי שהחולה מקבל אינו יעיל ויבצעו הערכה מחדש של האבחון.

השאלה הגדולה היא: האם המודל והרדיולוג טועים את אותן הטעויות?

מדדים כגון F1 לא אומרים לנו מה השכיחות של כל מצב מארבעת המדדים שתיארתי, ובוודאי לא מספקים לנו הערכה של סך הנזק הפוטנציאלי, סך התועלת הצפויה, והערכה האם התועלת עולה על הנזק, ואם כן, עד כמה. אפשר לבצע את ההערכה הזו. אפשר לכנס צוות רופאים שיבחנו אחד לאחד את 389 התיקים ששימשו לבחינת המודל. סטטיסטיקאי טוב יוכל להקל עליהם את העבודה באמצעות הצגה בהירה של הנתונים. בסופו של דבר, תהיה לנו הערכה לגבי הביצועים הקליניים של המודל.

באותו אופן, אפשר להעריך את הביצועים הקליניים של ארבעת הרדיולוגים שהתחרו במודל.

כעת, נוכל לקבוע האם למודל יש באמת יתרון על הרופאים בשר ודם, ואם כן, האם היתרון משמעותי מבחינה קלינית.

הדיון בקבוצת הפייסבוק ותשובות לשאלות

חברי הקבוצה לא הקלו עלי את החיים כששיתפתי עימם את הפוסט של ד"ר הארווי, וטוב שכך. אני ציינתי שאני מסכים עם הטענות שלו, ומטבע הדברים היו חברים בקבוצה שלא הסכימו איתנו. הם העלו טיעונים טובים ושאלו אותי שאלות קשות ומצויינות. עניתי כמיטב יכולתי במסגרת המגבלות הטכניות של ממשק הפייסבוק. אביא כאן את עיקרי הדיון, אתייחס לשאלות שנשאלתי בכל הרצינות, ואענה כמיטב יכולתי. אם פיספסתי שאלה של מישהו, אנא הפנו את תשומת ליבי לכך ואתקן. אשמח גם להמשיך בדיון.

כמו כן, אני ממליץ לכם לקרוא את הדיון עצמו שכן מעבר לדיון הספציפי בטיעונים של ד"ר הארווי ולשאלות שנשאלתי נאמרו בו עוד דברים מעניינים וחשובים.

  • ערן פז טוען שאלגוריתמים יכולים ללמוד גם פעילויות אחרות שמבצע הרופא כולל אינטראקציה בין אישית, וחוזה בבדיחות הדעת כי גם באינטראקציה בין אישית ביצועי האלגוריתמים יהיו טובים יותר מאלה של הרופא. בסופו של דבר, אומר ערן, הרפואה תהיה אוטומטית כמעט לחלוטין.

האמת היא שאין לי מה לענות לטענה הזו. מדובר בהערכה סובייקטיבית. אני לא שולל את האפשרות שזה אכן יקרה[12], אבל יש לדעתי סיכוי הרבה יותר סביר שזה לא יקרה. בכל מקרה, אני משוכנע שהדור שלנו לא יזכה לראות את הרפואה האוטומטית, אם אכן החזון יתגשם. ההערכה הסובייקטיבית שלי היא כי זה לא יקרה בעתיד הנראה לעין.

  • ערן מתייחס גם לטיעון השני של ד"ר הארווי, ואומר כי זה נושא יותר פילוסופי/רגולטורי מאשר טכנולוגי, ובכך הוא צודק כמובן. הוא ממשיך וטוען כי הבעיה שגם אם המערכת היה טובה יותר מבן אדם, לנו כבני אדם קשה יותר לקבל טעות ספציפית שנעשתה ע"י מחשב, גם אם בסה"כ הוא טועה הרבה פחות מבן אדם.

לי יש בעיה עם האמירה הזו. המחשב לא טועה, גם לא המודל (או יותר נכון, האלגוריתם).[13] מקור הטעויות הן בפיתוח האלגוריתם.

  • כאן מתערב בדיון ים פלג ושואל מה אם יש רעש בדאטה.

התשובה המיידית שלי הייתה כי יש הבדל בין מודל שמנסה לחזות התנהגות של לקוח ובין מודל שעוסק בחיי אדם. עם זאת, ים בהחלט צודק. רעש בנתונים הוא בעיה שצריך להתמודד איתה. הדרך להתמודד, לדעתי, היא לבדוק את הביצועים הקליניים של המודל, כפי שהסברתי למעלה, ולהשוות אותו לביצועים של הרופאים, במונחים של סך תועלת מול סך נזק.

  • ים ממשיך ושואל האם סך התועלת הוא לא ההפרש בין ביצועי האלגוריתם לביצועי האדם.

עניתי מהמותן שלא, אבל אני מודה שהתשובה שלי לא הייתה מדוייקת. ים צודק עקרונית, אבל לקביעה שלו אין משמעות אם לא מגדירים היטב איך מודדים את ביצועי האלגוריתם וביצועי האדם. מי שקרא עד כאן יודע כבר שהתשובה הרבה יותר מסובכת, ו-F1 הוא לא המדד האולטימטיבי.

  • ים המשיך והקשה עלי. הוא טען כי אם יש לך אדם שמאבחן נכון X אנשים ומציל את חייהם ויש אלגוריתם שמאבחן נכון X+Y אנשים נכון (מהנתון שהוא יותר מדויק) ומציל את חייהם. יש לך Y יותר אנשים חיים.

זה כמובן נכון, אבל זה רק צד אחד של המטבע. מספר התוצאות החיוביות האמיתיות, או יותר מדוייק – שיעורן. ה-True Positive Rate הוא בהחלט מדד חשוב, אבל כפי שעניתי בקצרה בקבוצת הפייסבוק והסברתי כאן בפירוט, יש עוד צד למטבע, עוד שלושה צדדים למעשה. הבעיות העיקריות, כפי שהסברתי למעלה, נובעות מהאבחונים הלא נכונים: תוצאות חיוביות שגויות (False Positive) ותוצאות שליליות שגויות (False Negative).

  • ערן חוזר ושואל: בוא נניח לרגע שמודל לא יהיה יותר מדוייק, אלא יהיה יותר קרוב ל(1,1) על הROC או לכל מדד אחר שתבחר מבן אדם, עכשיו הטיעונים בסדר? כמו כן הוא מציין כי בדיון גם לא לקחנו בחשבון את העלויות של הקמת חוות GPU לעומת העלות של הכשרת רדיולוג, זה גם משפיע על התועלת?

אני טוען שבמצבים רפואיים התועלות והנזקים הם לא 0-1. נכון שאולי ב-ROC המודל יעשה טוב יותר, עם זה אני לא מתווכח. אני טוען שלטעויות שונות יש משמעויות שונות, וכמו כן, גם במצבים של חוסר טעות, TP ו-TN, עדיין יש משמעויות שונות. המצב נעשה הרבה יותר חמור אם עוברים מדלקת ריאות לסרטן, למשל. מי ייקח אחריות על חולה סרטן שלא יאובחן בזמן בגלל שהמודל היה רועש מדי?

  • אמיר רוזנפלד שואל: יהי המדד האולטימטיבי כפי שאתה מגדיר אותו. נניח שתחת מדד זה מכונה מתעלה על אדם. במי תבחר?

תשובתי היא שכשמדובר ברפואה אין דבר כזה "מדד אולטימטיבי". צריך לבצע הערכה כוללת של התועלת מול הנזק כי הנזקים עלולים להיות שונים מחולה לחולה. יש משמעויות לטעויות, והן שונות מחולה לחולה. חזרתי והבאתי את הדוגמה של חולה שמאובחן בטעות כחולה סרטן. הוא יקבל כימותרפיה שהוא לא צריך[14]. מילא התופעות לוואי של בחילות ונשירת שיער וכאלה – כימותרפיה גם גורמת נזקים בריאותיים ממשייים.

עם זאת, אני בהחלט מסכים שאם למודל יש יתרון קליני משמעותי על פני הרופאים בשר ודם, יש להעדיף את המודל, לפחות ברמה היישומית. עדיין יש לפתור את עניין האחריות.

  • ערן טוען כי אני סתם מתחמק מתשובה, ושואל: הנה, מודל, שעבור רמת הFP והFN של רופא נותן יותר TP מרופא אבל עדין טועה, מחליף את הרופא?

אני מודה שלא הבנתי את השאלה, אבל סבור שהבהרתי לחלוטין איך יש להעריך את הביצועים של המודל ולהשוות אותם לביצועים של הרופא.

סיכום

אני חושב שכולם מסכימים כי עדיין לא הגיע היום בו אלגוריתמים יכולים להחליף רופאים, אלא אם מדובר בתהליכים ממש פשוטים. למשל, אני סבור שאפשר להכניס לשימוש אלגוריתם שיקבל בתור קלט נתונים על חולה (כמו בדיקות דם, מדדי דופק ולחץ דם, וכולי) ויוציא התרעה לרופא המשפחה אם הנתונים בעייתיים. ייתכן ואלגוריתמים מסוג זה כבר קיימים ופועלים.

במקרים יותר ממוקדים, כמו אלגוריתם הפיענוח של רג'פורקאר הדברים הרבה יותר מסובכים. יש הסכמה כי הנתונים ששימשו ל-"אימון" המודל היו בעייתיים. אלגוריתם זה אמנם הראה יתרון מובהק סטטיסטית בביצועיו על פי מדד F1 לעומת ארבעה רופאים בשר ודם, אבל לא ברורה המשמעת הקלינית של יתרון זה (בלשון המעטה). כמו כן, האלגוריתם מוגבל בכך שבמקרה והוא מזהה כי לחולה אין דלקת ריאות, הוא לא מספק תובנה לגבי הבעיה האמיתית שיש לחולה. בסופו של דבר, האלגוריתם הזה הוא אמנם צעד בכיוון הנכון, אבל צעד זעיר מאוד, כמעט זניח.

יתר על כן, המקרה הרפואי של דלקת ריאות הוא קל יחסית מבחינה רפואית. מחלות אחרות, כגון סרטנים ומחלות לב, למשל, צופנות בחובן אתגרים הרבה יותר גדולים.

עם זאת, יש דרך טובה ויעילה לבחון האם הביצועים של אלגוריתמים כאלה עולים על הביצועים של רופא אנושי, ובכמה.

אבל הבעיה העיקרית אינה טכנולוגית אלא אתית.

מי אחראי במקרה שהאלגוריתם טועה? מספר הדעות יהיה כנראה כמספר המשיבים.

בואו נראה מה יכול לקרות בארצות הברית, מכיוון שסביר להניח כי היא תהיה בין המדינות הראשונות בהן יוכנסו אלגוריתמים כאלה לשימוש (בהנחה שבכלל יוכנסו). במדינה בה תביעות על רשלנות רפואית[15] נפוצות מאוד, הנפגעים לא יהססו לתבוע את החברה שמיישמת את האלגוריתמים, את בעלי הפטנט, ומי יודע את מי עוד. האם חברות הביטוח יסכימו לבטח את החברה שמיישמת את האלגוריתם? איש אינו יודע.

אני רוצה להרחיב את הדיון בשאלת האחריות, כי זו לדעתי השאלה המהותית, וממנה נגזרה הכותרת הפרובוקטיבית של הרשימה הזו.

בואו ניקח, כדוגמה פשוטה ביותר, אלגוריתם שצריך לזהות האם בתמונה שמוצגת לו יש חתול. לאף אחד לא איכפת באמת אם האלגוריתם יטען שתמונה של כלב מראה לדעתו חתול.

מה עם אלגוריתם שמחליט אם כדאי להציע לאדם שנכנס לאתר אינטרנט עיסקת קניה מסויימת? יכול להיות שאנשים שהעיסקה תוצע להם לא יבצעו את הקניה, וגם יכול להיות שיפוספסו קונים שהיו מבצעים את הרכישה אם העיסקה הייתה מוצעת. זה חבל, אבל בסך הכל מדובר פה בכסף.

אם מדובר בהרבה כסף, הבעיות יכולות להיות גדולות. בנקים שמנסים לזהות איזה לקוח עלול לא להחזיר את ההלוואה שיקבל עלולים לעמוד בפני בעיה אם האלגוריתם לא מספיק טוב. עם זאת, אני יודע שאלגוריתמים כאלה פועלים, וכנראה שיקול הדעת שלהם יותר טוב משיקול הדעת של הפקיד.

בואו נמשיך. מה עם אלגוריתם שמחליט על ביצוע עיסקות קניה ומכירה בבורסה? בסרט הזה כבר היינו בשנת 2008. אני מקווה שהאלגוריתמים האלה השתפרו מאז, כי לא מתאים לי עוד משבר כלכלי עולמי.

מה בקשר למכונית אוטונומית? כאן כבר מתחילים לדבר על חיי אדם. מישהו יודע כמה טעויות שליליות שגויות (False Negative) יש לאלגוריתם של מובילאיי? וכמה מהטעויות האלה מובילות לתאונות? וכמה מהתאונות האלה כוללות פגיעות בגוף? אני לא יודע. אני לא בטוח שיש מי שיודע.

נכון, מכוניות אוטונומיות כבר נוסעות בכל מיני מקומות בארצות הברית, במסגרת ניסויים לבחינת האלגוריתמים. מי יעריך את מאזן התועלת מול הנזק של האלגוריתמים שמפעילים את המכוניות האלה וישווה אותם לביצועים של נהג אנושי? ואיך? האם יהיה רגולטור, כמו שיש את ה-FDA בתחום הרפואי? האם חברות הביטוח יסכימו לבטח את המכוניות והאלה והנוסעים בהם? ואם כן, מה תהיה עלות הביטוח?

מה בקשר למטוס אוטונומי? מי מוכן לעלות על טיסה טרנס אטלנטית במטוס ללא טייס?

אני יודע שאי אפשר לעצור את הקידמה, ובניגוד למה שעלולים לחשוב אני בעד הקידמה. אני בהחלט חושב שעתיד בו אלגוריתם יוכל להחליף רופא ולבצע את מלאכתו באופן טוב יותר מהרופא האנושי, וכולנו ניסע במכוניות אוטונומיות, הוא עתיד טוב. אבל כדי להגיע לעתיד הזה עלינו להתגבר על הרבה מאוד בעיות, והבעיות הטכנולוגיות הרבה יותר פשוטות מהבעיות האתיות. אני גם חושב שהעתיד הזה רחוק מאוד מאיתנו ואנו לא נזכה לראות אותו, וגם לא בנינו ובני בנינו.


הערות
  1. עם זאת, לא אתייחס לטענה "תן תמונה היום לעשרה רדיולוגים ותקבל 11 חוות דעת" []
  2. שכן הוא לא התייחס אליו []
  3. כגון תצלומי רנטגן, סריקות CT ו-MRI, ועוד []
  4. כלומר, באופן רנדומלי []
  5. שזה תיאור מרשים לתהליך של אמידת פרמטרים []
  6. אעיר ואומר כי יש כאן בעיה מסויימת – נתוני הבדיקה שונים באופן מהותי מנתוני האימון והתיקוף. []
  7. זהו הממוצע ההרמוני של הרגישות – recall ושל הדיוק – precision. ראו הגדרות בויקיפדיה []
  8. השלישית ירדה בכביסה? יותר סביר להניח כי אחרי מחשבה נוספת הם הגיעו למסקנה כי המגבלה הנוספת שחשבו עליה אינה באמת מגבלה []
  9. או בעצם שנית, לא משנה []
  10. כמו בדיקת דם חדשה, או אלגוריתם מגניב שפיתחו החבר'ה בסטנפורד []
  11. יש מחקרים שמראים כי הרבה רופאים מפרשים אותם באופן לא נכון, אבל לא ניכנס לזה עכשיו []
  12. כלומר, אני סבור כי ההסתברות לכך גדולה מאפס []
  13. מכאן הגיעה הכותרת הצינית והפרובוקטיבית של הפוסט הזה []
  14. או אפילו יעבור ניתוח מיותר []
  15. ובארצות הברית גם טעות בתום לב נחשבת כרשלנות []

סטטיסטיקה רעה: לא לתכנן

"לקרוא לסטטיסטיקאי לאחר שהניסוי התבצע זה כמו לבקש ממנו לבצע ניתוח שלאחר המוות. לכל היותר הוא יוכל לומר מה הייתה סיבת המוות" – רונלד פישר.

כשמדברים בסטטיסטיקה על תכנון, מדברים בדרך כלל על תכנון ניסויים.[1] קשה להביא דוגמאות למקרים של כשלים בתכנון ניסויים, כי הכשלים בדרך כלל מובילים לכישלון, וכישלונות בדרך כלל נזרקים לפח האשפה. הכישלונות עלולים להיות צורבים. זה לא נעים לראות ניסוי קליני שנכשל (אם כי במקרים כאלה יש בדרך כלל סיבות רבות לכישלון, מעבר לבעייתיות אפשרית בתכנון הסטטיסטי). כשל וכישלון בניסוי במעבדה עלול להוביל להחמצה של תגלית חשובה, או להשקעה מיותרת. מתכנון לקוי של ניסויים עלולים לנבוע תהליכי ייצור לא אופטימליים, וגם החלטות שיווקיות לא נכונות. יכולות להיות גם השלכות בטיחותיות (רכב אוטונומי, מישהו?) או השלכות על בריאות הציבור.

לא אדון כאן בכל התורה המורכבת של תכנון ניסויים. כדי לראות את קצה קצהו של הקרחון יש צורך בקורס שלם. אתם מוזמנים לעיין במצגת שלי שעוסקת בנושא תכנון הניסויים בזעיר אנפין, בעיקר מנקודת המבט של התעשייה הפרמצבטית.

בגדול, התהליך של תכנון ניסוי כולל מספר רב של שלבים, וביניהם: החלטה על מטרת הניסוי, החלטה אלו פרטים יהוו את אוכלוסיית הניסוי (חיות? ואם כן, איזה חיה? בני אדם? תרביות תאים? ריאקציות כימיות? גולשים באתר? תצלומים שיש לזהות בהם תבניות, כגון האם רואים בתצלום חתול?), לקבוע מה יהיו משתני הניסוי, לבדוק האם יש אפשרות ליחסי גומלין בין משתני הניסוי, להחליט איזו תגובה או תגובות ימדדו, להחליט איזו אינפורמציה לאסוף מעבר למשתני הניסוי ומשתני התגובה (למשל משתני בסיס, או משתנים מתערבים (confounding) פוטנציאליים שעשויים להשפיע גם על המשתנה התלוי – התגובה, וגם על משתני הניסוי), להחליט איך לאסוף את האינפורמציה, לקבוע את דרך הבקרה של הניסוי, להחליט האם תהיה סמיות, לקבוע היכן ומתי ייערך הניסוי ומי יבצע אותו, לקבוע את גודל המדגם, להחליט האם לבצע רנדומיזציה, ואם כן איך, לצפות תרחישים אפשריים למהלך הניסוי ולהחליט מראש כיצד להתמודד איתם, לתכנן את הניסוי כך שיאפשר הסקת מסקנות כלליות (external validity), להחליט על השיטות הסטטיסטיות שבעזרתן ינותחו הנתונים של הניסוי[2], ועוד הרבה החלטות אחרות.

בכל אחת מההחלטות שצריך לקבל בתהליך התכנון יש פוטנציאל לכשל או לכשלים, ותאמינו לי, ראיתי את כולם. אתמקד כאן רק במספר כשלים עיקריים.

כשל הגדול מכולם הוא, כמובן, להתחיל את הניסוי לפני שיש תשובות ברורות לכל השאלות האלה, ולפני שהתקבלו כל ההחלטות.[3] גם אם התקבלו כל ההחלטות הרלוונטיות, יש לפרט אותן בפרוטוקול הניסוי, אותו יש לכתוב, שוב, לפני תחילת הניסוי. הפרוטוקול הוא חלק מהתכנון.

הכשל העיקרי השני הוא גודל מדגם לא מתאים. גודל מדגם אמור להיקבע על ידי לקיחה בחשבון של מספר גורמים: ההסתברויות הרצויות לטעויות (False Positive  ו-False Negative), איזה גודל אפקט ייחשב למשמעותי, ומה רמת אי הודאות הצפויה, כלומר השונות של הנתונים שייאספו. כמו כן, יש לקחת בחשבון כמובן את השיטה בה ייערך הניסוי[4]. מניסיוני, הבעיה העיקרית היא בהערכת השונות. לחוקרים לא תהיה בעיה להגיד מה ההסתברויות לטעות המקובלות עליהם[5], ולאחר לחץ פיזי מתון גם יאמרו לך מה לדעתם ייחשב לאפקט משמעותי. לגבי הערכת השונות יש אכן בעיה שהסטטיסטיקאי צריך להתמודד איתה. לעיתים השונות נקבעת על ידי הפרמטר[6]. במקרים אחרים יש לערוך מחקר בפרסומים אודות ניסויים דומים בספרות המדעית. האפשרות הטובה ביותר היא להשתמש בנתונים של ניסויים דומים קודמים שביצע אותו החוקר.

בקביעת גודל המדגם (ולא רק שם) יש לשקול גם שיקולים אתיים. למשל, ניסוי בחיות (וגם בבני אדם, בעצם) ייחשב ללא אתי אם גודל המדגם קטן מדי ולכן בעל עצמה סטטיסטית נמוכה – חייהן של החיות יוקרבו לשווא. יש דרכים סטטיסטיות להקטין את מספר החיות בהן ישתמשו בניסוי, וסטטיסטיקאי טוב יוכל להמליץ עליהן.

הכשל העיקרי השלישי הוא התעלמות מאינטראקציות – כלומר התעלמות מיחסי הגומלין בין המשתנים השונים. זהו כשל נפוץ ביותר, וראיתי אותו מתרחש במספר רב של יישומים.

הנה דוגמא (מלאכותית) פשוטה אך ארוכה.

שיטת המחקר העוברת בין הדורות של החוקרים המדעיים היא OFAT, כלומר One Factor At a Time. בכל קובעים את ערכם של כל המשתנים העשויים להשפיע על התוצאה פרט למשתנה אחד, שאת ערכו משנים. מה לא בסדר?

מהנדס כימיה רוצה לכוונן שני גורמים המשפיעים על התפוקה של תהליך כלשהו: משך הזמן של הריאקציה, שיכול לנוע בין 60 ל-180 דקות, והטמפרטורה בה היא מתבצעת, שיכולה לנוע בין 21 ל-25 מעלות. הוא עורך סדרה של 5 ריאקציות בהן הטמפרטורה קבועה על 22.5 מעלות, ובודק את ההשפעה של משכי זמן שונים על התהליך. הוא מגיע למסקנה כי התפוקה הגבוהה ביותר, כ-75 גרם, מתקבלת כאשר משך זמן הריאקציה היה 130 דקות.

 

עכשיו המהנדס שלנו עורך סדרה שניה של עוד 5 ריאקציות, בהן משך זמן הריאקציה קבוע ל-130 דקות, ובודק את התפוקה בטמפרטורות שונות. תוצאת הניסויים: התפוקה הגבוהה ביותר, גם כאן כ-75 גרם, כאשר הטמפרטורה היא 22.5 מעלות.

 

המסקנה של המהנדס: תהליך הייצור האופטימלי הינו כאשר טמפרטורת הריאקציה היא 22.5 מעלות ומשך הזמן של הריאקציה הוא 130 דקות, והתפוקה המקסימלית היא כ-75 גרם. האם המסקנה נכונה? ייתכן מאוד שלא, כיוון שסביר מאוד להניח כי יש יחסי גומלין בין המשתנים.

בדוגמא שלנו המצב הוא כפי שהגרף הבא מראה. התפוקה תהיה מקסימלית כאשר הטמפרטורה היא 25.5 מעלות, ומשך הזמן הוא כ-70 דקות. התפוקה בתנאים האלה תהיה כ-91 גרם, שיפור של למעלה מ-20%.

 

אילו נועץ המהנדס בסטטיסטיקאי טוב, הוא היה מציע לו לערוך סדרה של ארבע ריאקציות, בהם ישתנו גם הטמפרטורה וגם משך הזמן של הריאקציה. הריאקציה הראשונה, למשל, תהיה בטמפרטורה של 22 מעלות ומשך הזמן יהיה 120 דקות, הריאקציה השנייה תהיה גם היא בטמפרטורה של 22 מעלות אך עם משך זמן של 150 דקות, וכן הלאה. תכנון כזה יראה, בתנאי הדוגמא, כי הורדת משך הזמן ביחד עם העלאת הטמפרטורה מגדילה את התפוקה.

 

שימו לב גם כי התהליך של המהנדס היה בזבזני: הוא ביצע 10 ריאקציות והגיע לתוצאה פחות טובה ממה שיכול היה לעשות בארבע ריאקציות בלבד. את התכנון שהציע הסטטיסטיקאי ניתן להכליל למספר רב יותר של משתנים[7]

כשל נוסף ובעייתי מאוד, הוא שינוי תנאי הניסוי במהלכו, וכן, זה קורה הרבה פעמים. אמנם אפשר לשנות את תנאי הניסוי בתנאים מסויימים, אך יש להגדיר מראש בפרוטוקול הניסוי באלו מצבים אפשר לשנות את תנאי הניסוי, איזה שינוי יבוצע (אם יבוצע), ומהם הקריטריונים לפיהם ייקבע האם יש לבצע את השינוי. כמובן שיש לקחת בחשבון את ההשלכות של שינוי כזה על שאר הפרמטרים של הניסוי.

לסיכום, תכנון ניסוי הוא דבר מסובך, ויש להיעזר באנשי מקצוע במהלך התכנון (סטטיסטיקאי, ובדרך כלל גם אנשי מקצוע נוספים). תכנון לקוי יוביל במקרה הטוב לבזבוז משאבים, ובדרך כלל לתוצאות חמורות בהרבה.

 


רשימות נוספות בסדרה:


הערות
  1. תכנון איסוף הנתונים ותכנון הניתוח הסטטיסטי הם חלק מתהליך תכנון הניסוי. []
  2. בהנחה שלא מתכננים לבצע p-hacking, כמובן []
  3. זה קורה באמת. ראו את הרשימה שלי על הסטטיסטיקה בתעשייה. []
  4. כגון: שתי קבוצות מקבילות, תכנון של לפני-אחרי, וכדומה []
  5. אפס, כמובן []
  6. לדוגמא, אם מדברים על תדירות של אירועים בתהליך פואסון, אז השונות נגזרת ישירות מהתדירות המשוערת []
  7. אני תכננתי פעם ניסוי עם 8 משתנים, כאשר לכל משתנה יש שתי רמות אפשריות, סה"כ 256 אפשרויות, אם אכן מנסים את כל האפשרויות. יש דרכים לצמצם את מספר האפשרויות, אם מוכנים לוותר על חלק מהאינפורמציה, כמו למשל אינטראקציות מסדר גבוה []

סטטיסטיקה רעה: p-Hacking

p-hacking[1] היא הפרקטיקה של חתירה לתוצאה מובהקת, ובאמירה פופולרית "לענות את הנתונים עד שיודו". לעיתים הדבר נעשה מחוסר מודעות, ולעיתים בכוונה תחילה.

יש הרבה דרכים להגיע לתוצאה מובהקת. אפשר לנסות לנתח את הנתונים בכל מיני שיטות סטטיסטיות. אפשר לאסוף נתונים, לנתח אותם, ואז לפרסם אם מתקבלת תוצאה מובהקת, ואם לא, לאסוף עוד נתונים בתקווה שהתוצאה תהפוך למובהקת. אפשר לבדוק הרבה השערות, בייחוד אם אוספים נתונים על הרבה משתנים. ככל שבודקים יותר השערות, עולה הסיכוי כי לפחות אחת מהן תהיה מובהקת. אם משתמשים במודל רגרסיה כלשהו אפשר להוסיף למודל משתנים מסבירים (covariates) או להסיר אותם, עד שמתקבלת תוצאה מובהקת. אפשר לנסות מספר טרנספורמציות של המשתנים בתקווה שתתקבל תוצאה מובהקת. אפשר גם לזרוק מהנתונים תצפיות "לא מתאימות", לאחר הניתוח הראשוני של הנתונים. אפשר כמובן, לצרף כמה שיטות יחד, ואף לנסות את כולן.

אי אפשר להכחיש את קיומה של התופעה, בייחוד בתחום המחקר האקדמי, שם קיים לחץ על החוקרים לפרסם תוצאות מובהקות[2] כדי להתקדם בתוך המערכת האקדמית. יש הטוענים כי התופעה קיימת במידה מסויימת גם במגזר העסקי, שם עלול להיות לחץ על עובדים להשביע את רצון ההנהלה או הלקוחות. עם זאת, קשה להשיג נתונים מהם יהיה אפשר לעמוד על היקף הבעיה במגזר העסקי, וזאת בניגוד למה שקורה במחקר האקדמי.

אולם לפני שנתאר את היקף הבעיה, נראה מספר דוגמאות.

האם ידעתם ששוקולד מריר הוא תוסף תזונה בריא שתורם לירידה במשקל? הנה לינק למחקר שנערך בגרמניה שהוכיח זאת. נערך ניסוי קליני, ובו, לאחר בדיקה של ההיסטוריה הרפואית שלהם, מילוי שאלון רפואי וביצוע מספר בדיקות, חולקו הנבדקים לשלוש קבוצות באופן אקראי. קבוצה אחת הושמה לטיפול של דיאטה דלת פחמימות. הקבוצה השנייה הושמה אף היא לדיאטה דלת פחמימות, אך גם הונחתה לאכול כ-40 גרם שוקולד מריר בכל יום. הקבוצה השלישית הייתה קבוצת הביקורת. הנבדקים בקבוצה זו הונחו להמשיך בהרגלי התזונה שלהם ללא כל שינוי. הנבדקים שקלו את עצמם כל יום ודיווחו את המשקל לעורכי הניסוי. הניסוי נמשך 21 יום, ובסופם חזרו הנבדקים אל עורכי הניסוי, מילאו שוב את השאלון הרפואי וחזרו על הבדיקות שעשו בתחילת הניסוי.

התוצאות? בקבוצת הביקורת שינוי המשקל הממוצע היה בערך 0, כצפוי. בשתי הקבוצות האחרות הייתה ירידת משקל ממוצעת של כ-2.3 ק"ג. בקבוצת השוקולד קצב הירידה במשקל (כפי שהתבטא בדיווחים היומיים) היה מהיר יותר בכ-10%. בקבוצת השוקולד נצפתה גם ירידה משמעותית ברמת הכולסטרול!

מה קרה פה? מי שהציץ בלינק כבר יודע שהמחקר תוכנן מראש כך שיביא ליתרון של קבוצת השוקולד על פני הקבוצות האחרות. קודם כל, מספר המשתתפים במחקר היה 16, 5 גברים ו-11 נשים. לכן בכל קבוצה היו 5-6 נבדקים. במדגם קטן יש שונות גבוהה, וכתוצאה מכך צפויות להתקבל תוצאות קיצוניות. זהו חוק המספרים הקטנים. כמו כן, נבדקו בניסוי הזה 18 משתנים שונים. אם רמת המובהקות (כלומר ההסתברות לתוצאה חיובית שגויה) של כל בדיקה היא 5%, ההסתברות כי תתקבל במקרה תוצאה חיובית היא מעל ל-60%.

המחקר הזה תוכנן מראש כדי לספק הדגמה לסרט דוקומנטרי על מדע-זבל בתעשיית הדיאטות. כל התרגיל שנעשה כאן הובא לידיעת הצופים כהמחשה לתוקף המפוקפק של ה-"תוצאות המוכחות מדעית" שמבטיחים יצרני דיאטות למיניהם.

עוד הדגמה ל-p-hacking ניתנה בכתב העת Psychological Science. בניסוי, שערכו החוקרים סימונס, נלסון וסימונסון (קישור למאמר – קובץ pdf),  היו שתי קבוצות נבדקים. לאחר מילוי שאלון, קבוצה אחת האזינה לשיר When I'm Sixty Four של הביטלס. הקבוצה השנייה נאלצה להאזין ל-Kalimba (ההאזנה לא מומלצת, ומייד תראו מדוע). לאחר ההאזנה כל נבדק התבקש למסור לחוקרים את תאריך הלידה שלו ואת גילו של אביו. נערך ניתוח ANCOVA בו המשתנה המוסבר היה גיל הנבדק, והמשתנים המסבירים היו גיל האב, והשיר לו האזין כל נבדק. התקבלה תוצאה מובהקת. ממוצע הגיל המותאם (adjusted) של הנבדקים בקבוצת הביטלס היה 20.1 שנה, ובקבוצת הקלימבה הגיל הממוצע היה 21.5 (p-value=0.040). האזנה לביטלס גורמת לאנשים להיות צעירים יותר. אני מדגיש: הנבדקים בקבוצת הביטלס לא הרגישו צעירים יותר. הם היו ממש צעירים יותר!

גם כאן עורכי המחקר חשפו את ה"סוד". המחקר נערך במספר שלבים. בכל פעם גוייסו למחקר 10 סטודנטים, הנתונים נותחו, ואז הוחלט אם להגדיל את גודל המדגם ב-10 נבדקים נוספים. כמו כן, פרט לתאריכי הלידה של הנבדקים וגילי האבות, נאספו עוד נתונים רבים אחרים, ונערכו ניתוחים רבים, עם כל מיני משתנים מוסברים ומשתנים מסבירים. הם היו חייבים למצוא משהו, עם כל הגמישות המחקרית שהרשו לעצמם. המאמר נועד, כמובן, לשמש כתמרור אזהרה לבעיות שנגרמות כאשר חוקרים מרשים לעצמם יותר מדי דרגות חופש. סימונס ועמיתיו הציעו שש דרישות שכל מחקר צריך לקיים, וארבע הנחיות לשופטים המחליטים האם מחקרים שמוצעים לכתב העת אכן ראויים לפרסום. אפרט את הדרישות וההנחיות ברשימה אחרת בהמשך סדרה זו.

אבל יש גם דוגמאות אמיתיות.

אנדרו גלמן מתאר בעיה של p-hacking על ידי בדיקת השערות מרובות[3] במאמר במגזין Slate. במאמר בכתב העת Psychological Science מדווחים החוקרים ביל וטרייסי כי נשים נוטות ללבוש בגדים אדומים או ורודים כאשר הן בשיא הפוריות (במהלך המחזור החודשי). מתברר כי בשאלון הוצעו 9 צבעים שונים מהן הנבדקות נתבקשו לבחור צבע אחד. החוקרים דיווחו כי הצבעים האחרים לא היו מובהקים סטטיסטית. בנוסף לכך, היו שתי הגדרות שונות לשיא הפוריות: ימים 0-5 של המחזור וימים 15-28. מכאן עולה כי הם בדקו 18 השערות שונות. ההסתברות לקבל לפחות תוצאה אחת מובהקת היא קצת יותר מ-60%. האם הדבר נעשה בכוונה או מחוסר מודעות? אין לדעת. מצד שני, המחקר הזה לא גורם לנזק.

בעיה של p-hacking תעלה ככל הנראה גם ממחקר ה-PURE. מדובר במחקר ענק שכבר הניב מספר מאמרים, ויניב בוודאי עוד. סביר להניח שתוצאות לא מובהקות לא יפורסמו. (בעיה זו ידועה כאפקט המגירה). כאן יש סכנה כי יפורסמו המלצות רפואיות בלתי אחראיות שיזכו לכותרות סנסציוניות בעיתונות (כמו ההמלצה לצרוך שומנים), וכמובן שתהיה לכך השפעה על בריאות הציבור.

עד כמה הבעיה חמורה? החוקרים יואנידס, סטנלי ודוקוליאגוס דיווחו בכתב העת היוקרתי Economic Journal באוקטובר 2017 כי בדקו כ-6700 מחקרים אקונומטריים. ליותר ממחציתם לא הייתה עוצמה סטטיסטית מספיקה, בלשון המעטה: העוצמה החציונית הייתה 18%. במילים אחרות, גדלי המדגמים היו קטנים מדי. חוק המספרים הקטנים פועל שוב: במדגמים קטנים יש יותר שונות, יותר תוצאות קיצוניות, וכשעורכים הרבה מחקרים קטנים מקבלים הרבה תוצאות מובהקות. נשיא אוניברסיטת דיוק, קמפבל הארווי, שהינו גם נשיא האיגוד האמריקני לכלכלה פיננסית, התריע בהרצאתו בינואר 2017 על התפשטות תופעת ה-p-hacking בתחום הכלכלה הפיננסית, וזאת גם במגזר העסקי. כאן יש סכנה שהפרקטיקה תתפשט מהמחקר אל היישומים, ותגרום לתוצאות פיננסיות הרות אסון.

החוקרים הד, הולמן, לנפיר, קאהן וג'ניוס ניסו לבדוק עד כמה התופעה של p-hacking נפוצה בתחום מדעי החיים ומהן ההשלכות הנובעות מכך.  בעזרת שימוש בשיטות של text-mining במאגר PubMed, ועל ידי שימוש בכלי p-curve הם הגיעו למסקנה כי התופעה של p-hacking  על ידי איסוף נתונים עד שמתקבלת תוצאה מובהקת נפוצה למדי. החדשות הטובות הן שלדעתם התופעה אינה משפיעה ככל הנראה באופן דרסטי על מסקנות מדעיות המתקבלות על ידי מטה-אנליזה.

גם בתחום הפסיכולוגיה המצב לא מזהיר. במחקר שפורסם ב-2012 על ידי ג'ון, לוונשטיין ופרלק, פנו השלושה ישירות אל כ-6000 חוקרים אקדמיים בתחום, וביקשו מהם לענות על שאלון שעסק בפרקטיקות מחקריות .כ-2100 חוקרים נענו, אך 700 מהם ענו רק על חלק מהשאלון. התוצאות עגומות: כ-65% הודו כי הם לא פירטו את כל משתני המחקר במאמר שביקשו לפרסם. קרוב ל-60% החליטו לאסוף עוד נתונים לאחר שניתחו את הנתונים שנאספו. כ-27% לא דיווחו על כל פרטי תכנון הניסוי. כ-20% הפסיקו לאסוף נתונים במהלך הניסוי כאשר התברר להם כי בנתונים החלקיים יש תוצאות מובהקות. מעל ל-20% עיגלו את ה-p-value (למשל דווחו על ערך של 0.054 כקטן מ-5%). כמחצית מהמשיבים דיווחו באופן סלקטיבי רק על מה ש-"עבד". כ-40% השמיטו תצפיות מבסיס הנתונים לאחר שבדקו את ההשפעה של השמטת הנתונים על התוצאות. כ-30% דיווחו במאמרים על תוצאות בלתי צפויות כאילו הן נחזו בתחילת המחקר. עם זאת, רק אחוזים בודדים הודו כי טענו שהתוצאות אינן מושפעות ממשתנים דמוגרפיים כאשר לא היו בטוחים בכך, או כאשר אכן ידעו כי יש השפעה כזו. כאחוז מהמשיבים הודו כי זייפו נתונים.

ברגולציה של התעשייה הפרמצבטית יש, לעומת זאת, הנחיות ברורות למניעת p-hacking, לפחות בשלבי הפיתוח. רמת המובהקות (ההסתברות לדחייה מוטעית של השערת האפס) במקרה של השערות מרובות נשמרת בקפידה. אין אפשרות לאסוף נתונים עד לקבלת תוצאה מובהקת. תהליך איסוף הנתונים מוגדר מראש ויש למלא אותו בקפדנות. אמנם ניתן בתנאים מסויימים להביט בנתונים שנאספו במהלך הניסוי (תהליך זה נקרא ניתוח ביניים – interim analysis), אך רק אם האפשרות הזו צויינה מראש בפרוטוקול הניסוי, והניתוח נעשה באופן שההסתברות לטעות מסוג ראשון לא תעלה על הערך המותר של 5%. יתר על כן, כדי למנוע הטיות, ניתוח הביניים נעשה על ידי ועדה בלתי תלויה המורכבת מאנשי מקצוע שאינם עובדים בחברת התרופות. ההנחה היא כי אנשים אלה לא יסכנו את יוקרתם המקצועית למען האינטרס של החברה. לחברה נמסרת רק השורה התחתונה של הניתוח (בדרך כלל המלצה להמשיך את הניסוי כמתוכנן או להפסיק אותו בטרם עת).

בשלבי המחקר, לעומת זאת, אפשרות של p-hacking בהחלט קיימת. זה עלול לנבוע מהשערות מרובות, למשל כאשר נבחנות מולקולות רבות בעלות פוטנציאל תרפויטי, ומעוניינים לגלות את המולקולה "הטובה ביותר". כמו במחקר אקדמי, יש בהחלט גם בחברות התרופות (ובחברות מסחריות בכלל) אנשי מחקר שמעוניינים להציג הישגים, גם במחיר של חתירה לתוצאה מובהקת.

לסיכום, תמונת המצב היא עגומה. זוהי כנראה הבעיה הקשה ביותר בקרב המשתמשים בסטטיסטיקה, וללא ספק יש לבעיה זו חלק נכבד במשבר השחזוריות העובר כעת על הקהילה המדעית.

אני מקווה שהקוראים שלי ילמדו ממה שתואר כאן מה אסור לעשות במחקר, ולא יאמצו את הפרקטיקות הבעייתיות שתוארו כאן.


רשימות נוספות בסדרה:


הערות
  1. אשמח להצעות לתרגום לעברית []
  2. שגם צריכות להיות משמעותיות, אבל בעניין הזה כבר דנו []
  3. ביחד עם בעיות אחרות []

סטטיסטיקה רעה: לקבל את השערת האפס

בתהליך הסטטיסטי של בדיקת השערות מוצבות זו מול זו שתי השערות. ההשערה הבסיסית, המכונה השערת האפס, מתארת את הידע הקיים (ידע מדעי או אחר), ומולה ניצבת השערה אלטרנטיבית, המייצגת תיאוריה חדשה. כדי להוכיח כי התיאוריה החדשה נכונה, על החוקר להציג ראיות מובהקות ומשמעותיות שיביאו לדחיית השערת האפס לטובת ההשערה האלטרנטיבית.

מה קורה אם אין ראיות מובהקות? האם ניתן להסיק מכך שהשערת האפס נכונה? ממש לא. הטענה כי השערת האפס נכונה רק בגלל שלא הצלחנו להפריך אותה היא כשל לוגי הידוע בשם "אד איגנורנטיאם" – טיעון מן הבורות. וכפי שאמר קארל סאגאן: "Absence of evidence is not evidence of absence"[1] . כאשר אין עדויות לטובת התיאוריה החדשה, עדיין אי אפשר לראות בכך עדות לנכונות התיאוריה הישנה.

 

 

 

 

 

מה צריך לעשות כדי להראות כי השערת האפס נכונה? יש להחליף בין ההשערות. הפרוצדורה הזו נפוצה בתעשייה פרמצבטית. כדי להראות כי תרופה נתונה שקולה לתרופה אחרת (במובן שמוגדר מראש, כמו אפקט קליני, או במקרים של תרופה גנרית, פרמטרים פרמקוקינטיים), יש לערוך ניסוי bioequivalence – שקילות ביולוגית. השערת האפס מניחה כי התרופות שונות זו מזו, ומטרת הניסוי היא, כמו תמיד, להביא עדויות סטטיסטיות נגד השערת האפס, ואם השערת האפס נדחית ניתן לקבל את הקביעה כי שתי התרופות שקולות.

למרות שתוצאות לא מובהקות בדרך כלל לא מתפרסמות, עדיין תוכלו למצוא את הכשל הזה במקומות רבים, ומישהו אפילו טען כי הדבר לגיטימי[2]. חיפוש בגוגל אחרי הביטוי "There was no difference"  באתר https://www.ncbi.nlm.nih.gov  מצא כ-1000 מאמרים שהתפרסמו החל מ-2010 ועד סוף 2017 שהכילו בתוכם את הביטוי הזה, וברבים מהם צורף לטענה p-value, שערכו כמובן גדול מ-5%. אין לדעת מתי החוקרים מרימים ידיים כאשר לא הצליחו לדחות את השערת האפס, ומסיקים כי היא נכונה. השאלה החשובה היא אם הם מושכים את הכתפיים מכיוון שממילא הם לא מייחסים לכך משמעות, או קופצים למסקנות על סמך ההנחה המוטעית כי כישלונם לדחות את השערת האפס מבטא עובדה בעלת משמעות.

כישלון לדחות את השערת האפס יכול לנבוע מגורמים רבים: תכנון לא נכון של הניסוי, עצמה סטטיסטית נמוכה, או אפקט קטן ובלתי משמעותי. קשה בדרך כלל לדעת מהי הסיבה. עם זאת, אפשר (ולא קשה) לתכנן ניסוי בצורה טובה, ובעל עצמה מספקת כדי לדחות את השערת (או השערות) האפס שהינן בעלות חשיבות.

לסיכום: כישלון לדחות את השערת האפס לא מוכיח כי היא נכונה. אנחנו אמנם ממשיכים להאמין כי היא נכונה, כיוון שהיא מייצגת את הידע הקיים, אבל יש כמובן הבדל גדול בין הוכחה לאמונה.


רשימות נוספות בסדרה:


הערות
  1. אני לא מצליח לתרגם אמירה קולעת זו לעברית בצורה מניה את הדעת []
  2. קישור למאמר משנת 1995 []