חיפוש באתר

קישורים

RSS סטטיסטיקה ברשת

עמודים

קטגוריות

תגיות

ארכיב עבור 'האנשים שמאחורי הסטטיסטיקה'

חמש דרכים לתקן את הסטטיסטיקה

ב-28.11.2017 הופיע בכתב העת Nature מאמר שנשא את הכותרת הפרובוקטיבית Five ways to fix statistics.

המאמר נכתב לאור "משבר השחזוריות" (reproducibility crisis) בו חשים היום חוקרים מתחומים רבים, כלומר הקושי ההולך וגובר לשחזר תוצאות מחקריות במחקר נוסף בלתי תלוי. יש הטוענים כי אחת הסיבות למשבר הזה הוא שימוש לא נכון בסטטיסטיקה. עורכי Nature פנו לחמישה סטטיסטיקאים מובילים[1] וביקשו מכל אחד מהם להמליץ של שינוי אחד בפרקטיקה הסטטיסטית שיוכל לשפר את המחקר המדעי. באופן לא מפתיע, הייתה הסכמה בין כולם כי הבעיה אינה בסטטיסטיקה עצמה, אלא באופן השימוש בה.

ברשימה זו אסקור את ההצעות שהועלו, ואביע את דעתי בנוגע לדברים שנאמרו.

ג'ף ליק מאוניברסיטת ג'ונס הופקינס טוען כי "יש להתאים את הידע האנושי" (Adjust for human cognition). כדי להשתמש היטב בסטטיסטיקה, אומר ליק, החוקרים צריכים ללמוד אי לנתח נתונים ולפרש אותם, וליישם את השיטות הסטטיסטיות תוך כדי הימנעות מהטיות קוגניטיביות. אם בעבר היה קשה לאסוף נתונים וכמות הנתונים הייתה מועטה, בימינו אין כל בעיה לאסוף כמויות ענקיות של נתונים. שיטות סטטיסטיות לניתוח נתונים בעידן החדש אכן פותחו, אבל רוב החוקרים עדיין משתמשים בשיטות ישנות (outdated), משתמשים באופן לא נכון במבחנים סטטיסטיים, ונכשלים בביאור התוצאות שקיבלו. האופן שבו משתמשים ב-p-values כדי לקבוע האם תוצאה מחקרית היא "מעניינת" הוא רק דוגמא אחת לשימוש לא נכון בסטטיסטיקה.

אולם, אומר ליק, אי אפשר לתלות את כל האשמה בשפע הנתונים ובהכשרה לא מספיקה בסטטיסטיקה. גם הקריאה להפסיק להשתמש ב-p-values ובמדדים נוספים ככלי לקבלת החלטות אינה מעשית. לעיתים קרובות צריך לקבל החלטות, ורצוי שיהיו כלים והנחיות ברורות כדי לעשות זאת.

יש להבין, מוסיף ואומר ליק, כי ניתוח נתונים אינו רק עניין חישובי/אלגוריתמי. יש בו צד התנהגותי. וההיבט ההתנהגותי של ניתוח הנתונים מושפע לרעה מכך שההכשרה הסטטיסטית הבסיסית לחוקרים מתמקדת בשיטת ישנות שלא מתאימות לבעיות איתן אנו מתמודדים כיום.

אז מה לעשות? ליק מציע להתחיל במחקרים התנהגותיים, שיובילו להבנה כיצד אנשים אוספים, מעבדים ומתחים נתונים, כיצד הם מתקשרים את התוצאות, וכיצד הם צורכים נתונים. לאחר שנבין זאת, נוכל לשפר שיטות ההוראה של הסטטיסטיקה לציבור החוקרים ולציבור הרחב.

אני מסכים עם ליק ברוב הדברים שאמר, אולם אני סבור שאין לנו די זמן לחכות עד שכל המחקרים ההתנהגותיים שהוא מציע ייערכו ותוצאותיהם יובנו ויופנמו. אני לא מתנגד לקיום המחקרים האלה. אבל יש לעשות שינוי מהותי בהוראת הסטטיסטיקה ועכשיו.

לאנדרו גלמן מאוניברסיטת קולומביה ובלייקלי מקשיין מאוניברסיטת נורתווסטרן יש עיצה פשוטה ותקיפה: לנטוש את בדיקות המובהקות. קביעת המובהקות הסטטיסטית כקריטריון לפרסום מחקרים מדעיים מובילה לכך שהמחקרים שמתפרסמים מהווים מדגם לא מייצג של הנתונים. יותר מכך, מזהירים השניים, בדיקת המובהקות נתפסת כדרך להכריע בין שתי אפשרויות: או שקיים אפקט או שלא קיים אפקט. באופן מעשי מתקיימת לדבריהם "מכבסת אי ודאות".

השניים מתייחסים גם לויכוח שמתנה כעת שמתנהל כעת בקרב הקהילה הסטטיסטית, ומתייחסים להצעה של ג'ון יואנידס להדק את מבחני המובהקות ולקבוע את הרף למובהקות על 0.005, וזאת מבלי להזכיר אותו בשמו (וכאן המקום להעיר כי למרבה הצער, עורכי נייצ'ר לא שאלו ככל הנראה את יואנידס לדעתו בעניין). הם, כמובן, מתנגדים לדעתו של יואנידס, אך לא מספקים נימוק משכנע. לחיזוק טענתם הם מביאים כדוגמא מחקר בו התוצאות היו מובהקות אך האפקט אינו משמעותי לדעתם.[2]

השניים מסכמים את דעתם באמירה שאין הם רוצים לאסור את ה-p-value, אלא מציעים שהוא יהווה רק ראיה אחת בין ראיות נוספות כגון ידע מוקדם, תכנון הניסוי, איכות הנתונים וכדומה. הם מסכמים ואומרים כי הגיע העת "להשאיר את האלכימיה של החלטות בינאריות כגון יש אפקט/אין אפקט מאחורינו"

אני מתנגד לדעתם של גלמן ומקשיין מכל וכל. אימוץ הצעתם יוביל מייד להגדלה של שיעור התוצאות החיוביות-שגויות (False positive). אני לא מתנגד להצעה לקחת בחשבון את משמעות האפקט הנצפה, תכנון הניסוי, איכות הנתונים ופרמטרים נוספים. להיפך. אולם ביטול הדרישה לתוצאה מובהקת רק יוביל ליצירת מגוון של קריטריונים שרירותיים אחרים. לדוגמא, במאמר הזה, שיש בו הרבה דוגמאות לסטטיסטיקה רעה, החוקרים מחשבים את גודל האפקט בעזרת מדד Hedges’ g, ומחליטים כי אפקט ייחשב כמשמעותי אם האפקט לפי מדד זה גדול מ-1.3. מדוע 1.3? ההסבר לכך קלוש ולא מספק. בכל מקרה, לקריטריון כזה ולדומיו אין בסיס תיאורטי מוצק, בניגוד לתיאוריה של בדיקת ההשערות, המתבססת על הלמה של ניימן ופירסון.

דויד קולקיוהון מיוניברסיטי קולג' בלונדון מציע כי בנוסף ל-p-value ומדדים נוספים, יפורסם גם הסיכון לתוצאה חיובית שגויה (False positive risk או FPR .(FPR, לדבריו, תמיד גדול בערכו מה-p-value. החישוב של FPR הוא בייסיאני במהותו ומתבסס על ההסתברות האפריורית לאפקט אמיתי. על פי חישוביו, אם ההסתברות האפריורית הנ"ל היא 10%, וה-p-value קרוב ל-0.05, אז ה-FPR הוא 76%. עם זאת, הוא מודה שאין דרך לדעת מה היא ההסתברות האפריורית לאפקט אמיתי. פתרון אפשרי: להניח כי ההסתברות האפריורית היא 0.5 ולחשב את ה-FPR המינימלי עבור ה-p-value הנצפה.

אני בהחלט בעד הרעיון לפרסם את ה-FPR, אולם הבעיה היא שאין שום דרך נכונה לחשב אותו. יש כמה בעיות בהצעה של קולקיוהון. ראשית, הוא שוכח שה-p-value פותח כקריטריון לקביעת מובהקות (יותר קל לבדוק אם הוא קטן או גדול מ-5%, מאשר ללכת לחפש בטבלת התפלגות t את הערך הקריטי). אמנם יש אינטרפרטציה לערכו המספרי של ה-p-value, אך אין להסיק ממנו כי המובהקות היא מושג רציף, כפי שלמעשה עולה מדבריו. לאמירה כי ה-FPR גדול תמיד בערכו מה-p-value אין משמעות, זו השוואת תפוחים לתפוזים. אמירה בעלת משמעות תהיה אם קולקיוהון יוכל להשוות בין ה-False Positive Risk ובין ה-False Positive Rate. ההצעה להניח כי ההסתברות האפריורית לאפקט אמיתי היא 50% תמוהה בעיני. זהו פתרון של "חצי קפה חצי תה", ולדעתי ההנחה לא מציאותית. אני סבור כי חוקרים לא ישקיעו את משאביהם במחקר אם הם לא סבורים בביטחון גבוה כי המחקר יוביל לתוצאה משמעותית, זאת מכיוון שכל הצעת מחקר[3] , (רשמית או לא)  לוקחת בחשבון את הידע הקודם שנצבר אודות נושא המחקר, ואת התיאוריה המצדיקה את קיום המחקר הבא. לכן, ההסתברות האפריורית לאפקט אמיתי גבוהה בהרבה מ-50%, ולדעתי היא בדרך כלל לפחות 80%, אם לא יותר.

למישל ב. נויטן מאוניברסיטת טילבורג בהולנד יש הצעה פשוטה: לפרסם את התכניות לניתוח סטטיסטי (analysis plans). גם שאלות מחקריות פשוטות לכאורה (כגון האם תרופה א עדיפה על תרופה ב) יכולות להוביל לשפע אפשרויות של ניתוחים סטטיסטיים. בתוך השפע הזה, אומרת נויטן, סביר להניח שיש שיטת ניתוח שתוביל לתוצאה מובהקת[4] תכנון מראש ופתיחות, אומרת נויטן, יוכלו לעזור לחוקרים להמנע מתוצאות חיוביות שגויות. נויטן מציע כי החוקרים יכינו מראש תכניות ניתוח סטטיסטי, ואף יפרסמו אותן. השלב הבא יהיה פירסום של כל הנתונים שנאספו, של התוצאות, ואף תכניות מחשב (למשל קוד R). כך כל אחד יוכל לשפוט בעצמו את איכות הניתוח הסטטיסטי, ואת התוצאות שהתקבלו.

בעולם מושלם זו הצעה נהדרת, לדעתי. אני מסכים לחלוטין עם הקביעה שיש לתכנן מראש את שיטות הניתוח הסטטיסטי, וגם עם ההצעה לפרסם גם את הנתונים המחקריים לא רק את התוצאות. למעשה, השיטה הזו היא הסטנדרט בתעשייה הפרמצבטית. כאשר נערך ניסוי קליני, השיטות הסטטיסטיות לפיהן ינותחו הנתונים שבניסוי מצויינות כבר בפרוטוקול הניסוי, ונקבעות לפני שהניסוי בכלל התחיל. במקרים רבים השיטות הסטטיסטיות מוגשות לעיון ולאישור של הרשות הרגולטורית (בדרך כלל ה-FDA). ובסיום הניסוי, כל הנתונים שנאספו מוגשים לרשות הרגולטורית, שם לרוב מנתחים אותם באופן עצמאי. עם זאת, אני יש לי ספק לגבי רמת ההיענות להצעות של נויטן בקרב ציבור החוקרים.

סטיבן נ. גודמן מאוניברסיטת סטנפורד אומר כי יש "לשנות מבפנים". הבעיה היא לא בסטטיסטיקה, אומר גודמן, אלא באופן היישום שלה במחקר המדעי[5] . הציפיות ממרצים לסטטיסטיקה הן כי הם ילמדו את הגישות הסטנדרטיות המקובלות על כתבי עת ועל עמיתים, ואיש לא מתעניין בבעיות האמיתיות, כמו למשל בהבדלים שבין מובהקות למשמעות. רוב החוקרים מעוניינים רק בידע המינימלי שיאפשר להם להפעיל את התוכנות הסטטיסטיות, כך שיוכלו לפרסם מאמרים במהירות.

גודמן מביא לדוגמא מחקר על חיזוי נטיה להתאבדות שפורסם בחודש האחרון. גודל המדגם היה 17 איש בכל קבוצה. ההצדקה למספר הזה? כותבי המאמר הסבירו כי במאמר אחר, שעסק באנשים על הקשת האוטיסטית, השתמשו באותו גודל מדגם. התרבות המחקרית גוברת על הכללים. ובכל ענף או תת-ענף מדעי יש תרבות אחרת.

מכיוון שכך, אין פתרונות קסם. מי שצריכים להיענות לאתגרים האלה הם קרנות המחקר, כתבי העת, ובעיקר מובילי הדיעה בכל ענף מדעי. ברגע שיתחיל תהליך כזה הוא יחזק את עצמו. מדענים ישתמשו בשיטות סטטיסטיות שבהן משתמשים במאמרים אחרים שכבר התפרסמו. שופטי המאמרים (peer reviewers) ידרשו מהכותבים מה ששופטים אחרים דרשו מהם.

אנחנו בשלים לרפורמה, אומר גודמן. משבר השחזוריות ממחיש לנו את העלות שנובעת מחוסר תשומת לב לתכנון ולניתוחים סטטיסטיים נאותים. חוקרים צעירים משוועים לשינוי. על מובילי הדיעה להיענות להם. לסטטיסטיקאים יש תפקיד חשוב בתהליך, אך הוא משני. השינוי צריך לבוא מבפנים – מתוך הקהילות המדעיות.

ואני מסכים עם כל מילה של גודמן.


הערות
  1. למעשה שישה []
  2. כן, יש הרבה מחקרים כאלה []
  3. כמעט []
  4. למעשה נויטן אומרת במילים יפות כי "אם תענה את הנתונים מספיק זמן הם יודו לבסוף" []
  5. לא מפתיע, נכון? []

מבט להיסטוריה של הניסויים הקליניים

רשימה זו נכתבה בעקבות המפגש האחרון של קבוצת הדיון בהיסטוריה של הסטטיסטיקה שעסקה בניסויים קליניים. אציין כי אני הוא שהעלה את הנושא לדיון, והייתי אחראי לאיסוף והפצת חומר הקריאה למפגש. חלק מהחומרים שנקראו כבר סקרתי בעבר בהרצאה "מהלימון ועד הקופקסון" שנתתי במסגרת "ספקנים בפאב" (ואפשר לצפות בהקלטתה על ידי לחיצה על הקישור). רשימה זו כוללת סקירה היסטורית קצרה של חמשת הניסויים הקליניים שנדונו.לאחר הסקירה ההיסטורית שנתתי נערך דיון מעניין שעסק בהיסטוריה ובפילוסופיה של המדע, ובהשפעות של בייקון ומיל על התפתחות השיטה המדעית והשתקפותם בתהליך התפתחות הניסויים הקליניים. למרבה הצער, לא הצלחתי לארגן את ההערות שרשמתי לעצמי בזמן הדיון לטקסט קוהרנטי שאני יכול לפרסם כאן.

הניסוי הראשון הוא ניסוי הצפדינה של ג'יימס לינד, שנחשב בעיני רבים לנקודת ההתחלה של הרפואה המודרנית. זהו הניסוי הקליני המבוקר המתועד הראשון[1]. לינד ערך ניסוי לבדיקת טיפולים אפשריים למחלת הצפדינה, גורם המוות העיקרי בקרב מלחים עד סוף המאה ה-18.[2]. בניסוי שנערך בהפלגה קצרה יחסית בים התיכון בשנת 1749, חילק לינד את 12 המלחים שחלו בעת ההפלגה לשש קבוצות שוות. כולם שוכנו באותו מקום בספינה וקיבלו תפריט זהה, שנבדל רק בטיפול הניסיוני שניתן להם. הטיפולים היו: שתיית ליטר סיידר ביום, שתיית 25 טיפות חומצה גופרתית 3 פעמים ביום, שתיית שתי כפות חומץ 3 פעמים ביום, שתיית חצי ליטר מי ים ביום, משחה שהוכנה משום, חרדל, צנון ושרף, או  אכילת שני תפוזים ולימון ביום. המטופלים בפירות הדר החלימו כליל, ובמצבם של המטופלים בסיידר חל שיפור קל. ההשוואה בין הקבוצות אפשרה ללינד להעריך את יעילותו של כל טיפול ביחס לאלטרנטיבות הטיפוליות האחרות.

ציון הדרך הבא הוא סדרת הניסויים של וויליאם ווטסון לבחינת טיפולים להפחתת הסיכון במחלת האבעבועות השחורות. כבר במאה ה-11 היה ידוע כי מי שחלה במחלה זו ושרד לא יחלה בה שוב. עקב כך התפתחה פרקטיקה של מעין חיסון למחלה על ידי "הדבקה קלה" של אנשים בריאים במחלה. עם זאת, בין הרופאים היו מחלוקות בדבר אופן ההדבקה האופטימלי ובדבר טיפול נלווה להדבקה. ווטסון ערך סדרה של שלושה ניסויים קליניים בבית החולים לילדים בלונדון בשנת 1767[3]. המתודולוגיה שלו הייתה דומה לזו של לינד: הילדים המשתתפים בכל ניסוי חולקו לקבוצות, ובכל קבוצה בוצעה בנבדקים "הדבקה מבוקרת" על ידי שימוש בשלפוחית משלב מוקדם של המחלה. לכל קבוצה ניתן טיפול נלווה אחר שהיה אמור להפחית את הסיכון בהדבקה. בתכנון הניסויים של ווטסון יש מספר חידושים לעומת הניסוי של לינד. ווטסון דאג כי בכל קבוצת טיפול יהיה מספר שווה של בנים ובנות, כדי למנוע הטיה אפשרית למקרה שהתגובה לטיפול שונה בין המינים. כמו כן, קבוצה אחת בכל ניסוי לא קיבלה טיפול נלווה אלא שימשה כקבוצת ביקורת. והחשוב מכל: ווטסון היה הראשון שהנהיג מדידה כמותית של התוצאות. המדד להצלחת הטיפול היה מספר האבעבועות שהופיעו בכל ילד שהשתתף בניסוי. הוא אף ערך ניתוח סטטיסטי בסיסי ופרסם את ממוצע מספר השלפוחיות לילד בכל קבוצה. מסקנתו של ווטסון הייתה כי הטיפולים המקובלים להפחתת הסיכון, שכללו כספית, צמחים שונים ומיני משלשלים, לא הביאו להקלה בחומרת ההדבקה בהשוואה למודבקים שלא קיבלו טיפול נלווה.

נקודת הציון המשמעותית הבאה היא ניסוי החלב במחוז לאנרקשיר בסקוטלנד בראשית המאה ה-20[4]. מטרת הניסויים היה לבדוק האם הזנה יומית בחלב משפרת את הגדילה של ילדים (וילדות) בהשוואה לילדים שלא שתו חלב על בסיס יומי, וכן לבדוק האם יש הבדל בשיעורי הגדילה בין ילדים שהוזנו בחלב טרי ובין אלה שהוזנו בחלב מפוסטר. הניסוי, שנערך ב-1930 היה רחב היקף וכלל בסך הכל כעשרים אלף ילדים בגילאי 6-12, שלמדו ב-67 בתי ספר. כ-5000 הוזנו בחלב טרי, כ-5000 בחלב מפוסטר, וכ-10000 ילדים שויכו לקבוצת הביקורת. גובהם ומשקלם של הילדים נמדדו בתחילת הניסוי (פברואר 1930) ובסופו (יוני 1930). המסקנה הייתה כי תזונה יומית של חלב משפרת את גדילת הילדים, וכי אין הבדל משמעותי בין חלב טרי לחלב מפוסטר. כמו כן הסיקו החוקרים כי אין השפעה לגיל הילדים על האפקט של קצב הגדילה.

ניסוי זה נכנס לרשימה שלי דוקא בשל הביקורת שהוטחה בו. עם המבקרים נמנו פישר ובארטלט, אולם את הביקורת המקיפה ביותר הטיח "סטודנט", הלא הוא ויליאם סילי גוסט. במאמר שפרסם בכתב העת ביומטריקה[5] קבע למעשה סטודנט כללים שקיומם הכרחי להבטחת התקפות של ניסוי קליני:

  • סטודנט מעיר כי בכל בית ספר בניסוי הוזנו הילדים המטופלים בחלב טרי או בחלב מפוסטר, אך לא הייתה נציגות לשתי הקבוצות יחד באף בית ספר. עקב כך, אין אפשרות להשוות באופן ישיר בין חלב טרי ומפוסטר, עקב הבדלים בין בתי הספר השונים.
  • שיוך התלמידים בניסוי לקבוצת הטיפול (הזנה בחלב או ביקורת) נקבע על ידי המורים בכל כיתה ולא באופן רנדומלי. עקב כך, נוצר מצב בו התלמידים בקבוצת הביקורת היו גדולים יותר במימדי גופם לעומת התלמידים בקבוצות הטיפול.
  • המדידות נערכו בפברואר ויוני. בגדי חורף הינם כבדים יותר מבגדי אביב/קיץ, והבדל המשקל בין הבגדים קיזז את ההבדלים במשקל האמיתי. החוקרים הניחו כי ההבדל במשקל הבגדים יהיה דומה בין הקבוצות, אולם סטודנט טען כי יש ההטיה בחלוקת התלמידים לקבוצות מושפעת ממצבם הכלכלי – תלמידים ממשפחות אמידות הוכללו בדרך כלל בקבוצות הביקורת – הביאה לכך שמשקל בגדי החורף של קבוצת הביקורת יהיה גבוה יותר.

סטודנט הסיק לכן כי התוצאות שהתקבלו לא תומכות בטענה כי אין הבדל בין תזונה בחלב טרי ותזונה בחלב מפוסטר, וגם כי אי אפשר להסיק שאין קשר בין הגיל ובין השינוי בקצב הגדילה. הוא מזכיר גם את הניתוח של פישר וברטלט[6] המראה כי לחלב טרי יתרון על חלב מפוסטר באשר לקצב הגדילה.

סטודנט הביא גם מספר המלצות, ובהן הצעה לערוך את הניסוי באוכלוסיה של תאומים, כאשר אחד התאומים יוזן בחלב והשני ישמש כביקורת (או שאחד מהם יוזן בחלב טרי והשני בחלב מפוסטר לצורך השוואה בין שני סוגי החלב). אני סבור כי תכנון כזה לא מקובל בימינו מבחינה אתית, המלצה יותר מעשית היא לנתח מחדש את הנתונים שנאספו כדי לנסות להתגבר על ההטיה שנוצרה בהקצאה הלא רנדומלית לקבוצות טיפול וביקורת. ההמלצה האוטינטיבית שלו היא לערוך מחדש את הניסוי, תוך כדי הקפדה על רנדומיזציה, לקיחה בחשבון של הטיה עקב משקל הבגדים שלובש כל תלמיד, ותכנון הניסוי כך שבכל בית ספר יהיה ייצוג לשלוש קבוצות הטיפול.

ההמלצה העיקרית של סטודנט, להקפיד על הקצאה רנדומלית של המטופלים לקבוצות, לא התקבלה מייד, שכן רעיון זה נתפש בעיני חלק מהקהילה המדעית כ-"לא אתי". יש לציין כי עקרון הרנדומיזציה רק הוצג על ידי פישר ב-1923, ועדיין לא  הייתה הכרה מספקת בחשיבותו. הניסוי הקליני הראשון עם הקצאה רנדומלית לקבוצת טיפול ולקבוצת ביקורת נערך רק ב-1947, והוא הרביעי ברשימה שלי. מדובר בניסוי לבדיקת היעילות של אנטיביוטיקה מסוג סטרפטומיצין לטיפול בדלקת ריאות[7]. עקב המחסור באנטיביוטיקה, לא הייתה ברירה אלא להחליט על ידי ביצוע "הגרלה" בין החולים מי יקבל טיפול ומי לא, וכך התגבר תכנון הניסוי על המחסום האתי. עם זאת, הניסוי לא היה כפול סמיות (Double Blind), ולא נעשה שימוש בפלסבו כטיפול דמה לקבוצת הביקורת,[8] וזאת למרות שכבר היה תקדים לקיום ניסוי כזה: הניסוי הקליני הראשון שנערך בשיטת הסמיות הכפולה נערך כבר בשנת 1943 לבדיקת היעילות של פניצילין כטיפול להצטננות. החולים המטופלים לא ידעו האם הם שויכו לקבוצת טיפול ואכן טופלו בפניצילין, או שמא שויכו לקבוצת הביקורת וטופלו בפלסבו. גם הרופאים שטיפלו בחולים לא ידעו מהו הטיפול שקיבל כל חולה. תכנון כזה מונע הטיה שעלולה לנבוע מדיעה קדומה של הרופאים לגבי יעילות הטיפול, ולמעשה מכריח אותם לתת חוות דעת אובייקטיבית לגבי המצב הרפואי של החולה המטופל. עם זאת, בניסוי זה לא נערכה הקצאה רנדומלית של החולים לטיפול או ביקורת.

הויכוח בדבר חשיבות העקרונות שהתוו סטודנט ופישר הסתיים סופית בניסוי לבדיקת יעילות החיסון של סאלק נגד נגיף הפוליו, שנערך ב-1954[9]. למעשה נערכו שני ניסויים. הניסוי שבראשו עמד הסטטיסטיקאי פול מאייר היה ניסוי כפול סמיות בהקצאה רנדומלית, והוא הראה ירידה של 70% במקרי השיתוק עקב פוליו בקבוצת הטיפול לעומת קבוצת הביקורת. גודל המדגם הגדול (כ-400 אלף ילדים בגילאי 6-8) סייע לביסוס התקפות החיצונית של התוצאות. במקביל נערך ניסוי נוסף, בו הקצאת הטיפול (חיסון או פלסבו) לא הייתה רנדומלית. 725,000 תלמידי כיתות א ו-ג שהשתתפו בניסוי שימשו כקבוצת ביקורת, ואליהם צורפו גם 125,000 ילדים מכיתות ב' שהוריהם סירבו לחיסון. נתוניהם הושוו עם הנתונים של 225,000 תלמידי כיתות ב' שהוריהם הסכימו לחסנם. סה"כ השתתפו בניסוי מעל מליון תלמידים, כמעט פי 3 מגודל הניסוי של מאייר. ניסוי זה הראה ירידה של 44% בלבד בשיעור מקרי השיתוק עקב פוליו, ואולם התברר כי האפקט הוקטן עקב הטיה הקשורה למצב הסוציו-אקונומי של קבוצת הטיפול. ילדי קבוצת הטיפול הגיעה ממשפחות אמידות יותר, ובשכבת אוכלוסיה זו שיעור מקרי השיתוק עקב פוליו היה גבוה יותר מכיוון ששיעור הילדים המחוסנים טבעית (חלו בפוליו באופן קל והחלימו ללא תיעוד) הינו נמוך יותר עקב רמת הסניטציה הגבוהה יותר בסביבתם. המקרה של ניסוי הפוליו הוכיח כי גודל המדגם אינו בהכרח הפרמטר החשוב ביותר בניסוי הקליני[10], וכי רק הקצאה רנדומלית וסמיות כפולה מבטיחים את התקפות הפנימית של הניסוי.


הערות
  1. 1. אם מתעלמים מפרק א' של ספר דניאל []
  2. 2. 2 מתוך כל 3 מלחים לקו במחלה ומתו. במלחמת 7 השנים בין אנגליה לצרפת, 1512 מלחים אנגלים נהרגו בקרבות, כ-100,000 מתו מצפדינה. []
  3. 3. Boylston, A. W. (2002). Clinical investigation of smallpox in 1767.New England Journal of Medicine, 346(17), 1326-1328. []
  4. 4.  Leighton G, McKinlay P (1930). Milk consumption and the growth of school-children. Department of Health forScotland, Edinburgh and London: HM Stationery Office. []
  5. 5. Student (1931). The Lanarkshire Milk Experiment. Biometrika 23:398-406. []
  6. 6. Fisher RA, Bartlett S (1931). Pasteurised and raw milk. Nature 127:591-592.  []
  7. 7. Medical Research Council Streptomycin in Tuberculosis Trials Committee. (1948). Streptomycin treatment for pulmonary tuberculosis. BMJ2, 769-82. []
  8. 8. Hart, P. D. A. (1999). A change in scientific approach: from alternation to randomised allocation in clinical trials in the 1940s.BMJ, 319(7209), 572-573. []
  9. 9. Meier, Paul. "Polio trial: an early efficient clinical trial." Statistics in medicine 9.1‐2 (1990): 13-16.  []
  10. 10. ראו גם את הרשימה בחירות 1936 – המנצח שלא היה, שעסקה במקרה מפורסם אחר בו מדגם גדול לא הצליח לחזות את המנצח בבחירות לנשיאות ארצות הברית עקב הטיה בתכנונו []

ההיסטוריה של ההתפלגות הנורמלית

המפגש השני של קבוצת הדיון בהיסטוריה של הסטטיסטיקה עסק בתולדות ההתפלגות הנורמלית. הדיון הסתמך בעיקר על פרק 13 מספרו של איאן האקינג, "אילוף הגורל"[1], ובמידה פחותה על מאמרה של לוריין דאסטון[2], שעקבה אחרי תולדות ההתפלגות בין 1770 ל-1870. עם זאת, רשימה זו הולכת בדרך שהתוותה דאסטון. בכתיבת הרשימה נעזרתי גם בפרק  2 מספרו של סטיגלר[3].

ההתפלגות הנורמלית, אותה התפלגות פעמונית מפורסמת, הופיעה ככל הנראה לראשונה כאשר המתמטיקאי הצרפתי-הוגנוטי אברהם דה-מואבר חקר את התפלגות מספר ה-"ראשים" המתקבלים בסדרה של הטלות מטבע, כאשר מספר ההטלות הולך וגדל. ב-1733 הוכיח דה-מואבר כי כאשר מספר ההטלות שואף לאינסוף, אז ההתפלגות הולכת ומתקרבת בצורתה לאותו פעמון מיוחד:

 

פעמון ההתפלגות הנורמלית והנוסחה המאפיינת אותו

אותו פעמון הופיע במפתיע במקום אחר לגמרי – מדידות אסטרונומיות. מי שגרם למהומה הוא האסטרונום הדני טיכו ברהה, שבסוף המאה ה-16 החליט לבצע מדידות מרובות של גרמי שמיים והמרחקים בינם. תוצאות המדידות לא היו זהות. בכך הראה טיכו לא רק כי קיימת אפשרות לטעות במדידה, אלא אף כי טעויות המדידה הן אולי בלתי נמנעות. נעשו נסיונות לשפר את איכות המדידה ודיוק המכשירים, אך הבעיה נשארה. עד אמצע המאה ה-18 הצטברו ערימות של מדידות אסטרונומיות וגיאודזיות, והתגלע ויכוח עז בין האסטרונומים מה לעשות בקשר לכך: האם לקחת ממוצע של התצפיות, לבחור את המדידה ה-"טובה ביותר", או לפטר את עוזר המחקר שחישוביו היו שונים במיוחד מאלה על עמיתיו?

המתמטיקאי הצרפתי פייר סימון לפלס הציע ב-1810 פתרון שיכונה בימינו "בייסיאני"[4] – הוא הניח כי לטעויות המדידה יש התפלגות מסויימת, ובהתאם לכך בנה פרוצדורה לצירוף המדידות כך שטעות המדידה הכוללת תהיה מינימלית. יותר מכך, לפלס הראה כי אם התפלגות טעויות המדידה היא ההתפלגות הפעמונית, אז ממוצע המדידות יביא למינימום את טעות המדידה הכוללת. שנה לפני כן, נקט קרל פרידריך גאוס בגישה הפוכה: הוא הניח כי הדבר הנכון הוא לחשב את ממוצע המדידות, כלומר ממוצע המדידות יביא למינימום את טעות המדידה הכוללת, ועל סמך הנחה זו חישב ומצא כי התפלגות טעויות המדידה צריכה להיות אותה התפלגות פעמונית. ההתפלגות הפעמונית, שהופיעה לראשונה בהקשר של משחקי מזל והטלות מטבע, תפסה לעצמה מקום מרכזי במדע האסטרונומיה. גאוס אף זיהה את הקשר בין ההימורים והטלות המטבע ובין טעויות המדידה האסטרונומיות. הוא הבחין בין טעויות שיטתיות, בהן ניתן לטפל ולהקטין למינימום את השפעתן, ובין טעויות מקריות ("chance errors") שמקורן בחושים לא חדים דיים, תנאים אטמוספריים וכדומה. גאוס וגם לפלס סברו כי יש מספר רב של גורמים לטעויות המקריות האלה, חלקם מטים את המדידה כלפי מעלה וחלקם כלפי מטה. במובן מסויים, לדעתי, הם הבינו את רעיון משפט הגבול המרכזי. עם זאת, הקישור בין ההתפלגות הנורמלית כגבול של תוצאות הימורים/הטלות מטבע, ובין התפלגות טעויות המדידה, נעשה עדיין באופן פורמלי בלבד, על ידי זיהוי הפונקציה המשותפת לשניהם. ההתפלגות הנורמלית מכונה עד היום בשם "התפלגות לפלסיאנית" בצרפת, ובשם "התפלגות גאוסיאנית" בגרמניה ובקרב מספר בעלי מקצוע (פיזיקאים, מהנדסים ועוד), לציון תרומתם של שני מתמטיקאים אלה לגילויה.

 

 מניחי היסודות (משמאל לימין): דה-מואבר, לפלס, גאוס

האקינג מדגיש כי ההתפלגות הנורמלית הופיעה בהקשר של ערכים ממשיים: ההסתברות של מטבע ליפול על ראש, ההסתברות לנצח במשחק מזל מסויים, או המרחק בין שני כוכבים. ההתפלגות עצמה, והפרמטרים שלה (הממוצע וסטיית התקן) נותרו ערכים אידאליים, פרמטרים מתמטיים בלבד. האסטרונום הבלגי אדולף קטלה[5] שינה את כללי המשחק. בתחילת שנות ה-30 של המאה ה-19 פרסם קטלה סדרת מאמרים בה הראה כי עקומת ההתפלגות הנורמלית מופיעה גם כאשר מתבוננים בתופעות ביולוגיות וחברתיות. ב-1835 הוא הציג בפני העולם את "האדם הממוצע", שבוהו 168 ס"מ, התגרש 0.17 פעמים והינו אב ל-2.2 ילדים. קטלה לא טען כי יש אדם כזה, בניגוד לגאוס ולפלס, שאמרו כי אם ממוצע המדידות למרחק בין שני כוכבים הוא 10 שנות אור, אז המרחק האמיתי קרוב מאוד לערך זה. קטלה תיאר באמצעות ערכים אלה מאפיינים כמותיים  של אוכלוסיה, בדיוק כמו שמוצא אתני, למשל, הינו מאפיין איכותי. קטלה הפך את הממוצע מפרמטר מתמטי לערך כמותי ממשי.

ב-1844 צעד קטלה צעד גדול נוסף קדימה: הוא שינה את התיאוריה של מדידת ערך ממשי לא ידוע עם טעויות מדידה, לתיאוריה של מדידת ערך מאפיין של אוכלוסיה. במלים אחרות, הוא הופך את השיטות הסטטיסטיות של תיאור וסיכום תצפיות לחוקים המתייחסים לתופעות בטבע ובחברה, ועוסקים במהותן ובגורמים להן. זה נעשה בארבעה צעדים:

  1. קטלה מזכיר כי אם ימדוד את גובהו של אדם מסויים מספר פעמים, המדידות לא יהיו זהות עקב טעויות המדידה, ותתקבל התפלגות סביב הגובה האמיתי.
  2. הוא משווה את הסיטואציה הקודמת למדידות חוזרות של ערך אסטרונומי, בה מתקבלת התקבלות "גאוסיאנית" סביב הערך האמיתי. אין הבדל עקרוני, טוען קטלה, בין מדידת גובהו של אדם ובין מדידת ערך אסטרונומי.
  3. עכשיו מציע קטלה להתבונן באוסף של מדידות גובה, כאשר אנו לא יודעים האם מדובר במספר מדידות של אותו אדם, או במדידות של מספר אנשים. האם נוכל לדעת באיזה מקרה מדובר? לא נוכל לדעת מכיוון שהתפלגות המדידות החוזרות של אדם אחד היא אותה התפלגות כמו מדידות של אנשים שונים מתוך האוכלוסיה.
  4. ומכיוון שקטלה הראה כי ההתפלגות הנורמלית מופיעה במגוון רחב של מדידות תכונות של אוכלוסיות, הוא מצדיק בכך את המעבר מדיון בערך ממשי בלתי ידוע (כמו גובה של אדם מסויים) לערך שמניחים כי הוא ממשי, המהווה תכונה אובייקטיבית של האוכלוסיה (הגובה הממוצע של האוכלוסיה, שאינו בהכרח ממוצע הגבהים של המדגם שנלקח).

האקינג מנסה להסביר את הלך המחשבה של קטלה שהוביל אותו למסקנה כי אכן ההתפלגויות המופיעות בטבע ובתופעות חברתיות היא אכן פעמונית/נורמלית. אני מודה שלא ירדתי לסוף דעתו של האקינג, ובודאי לא אוכל לתמצת כאן את ההסבר שלו. אומר רק כי למיטב הבנתי, האקינג טוען כי קטלה תפס גם הוא את משפט הגבול המרכזי באופן אינטואיטיבי בדומה ללפלס ולגאוס,[6] ומקור ההתפלגות הוא בהצטברות של סיבות רבות בלתי תלויות אשר כל אחת מהן מושכת את הגובה של אדם אל מעל או מתחת לממוצע האוכלוסיה.

 

 מתווי הדרך (מימין לשמאל): קטלה, גאלטון, מקסוול

החוקר האנגלי פרנסיס גאלטון אימץ את שיטותיו של קטלה במחקריו שלו. גאלטון היה חובב נלהב של מדידות: באפריקה מדד את גופן של בנות השבטים ממרחק בעזרת סקסטנט, הוא אסף נתונים על גיל המוות כדי לבדוק האם כמרים, המבלים זמן רב בתפילות לאל חיים זמן רב יותר מאנשים "רגילים" (הם לא), והמציא מכשירים למדידת רמת השעמום בישיבות. בהיותו מושפע עמוקות מהתיאוריה של בן-דודו, צ'ארלס דארווין, כי מוטציות מקריות הן הכוח המניע של האבולוציה הביולוגית, התעניין גאלטון בפיזור, למעשה בסטיית התקן, של ההתפלגות, בניגוד לקטלה שהתעניין בממוצעים. עבודתו של גאלטון בפיתוח הרגרסיה ומקדם המתאם מתבססת במפורש על ההנחה כי למשתנים המעורבים יש התפלגות נורמלית, ולפי סטיגלר, מנסה ליישב בין הטענה של קטלה להומוגניות של האוכלוסיות (הניתנות לאפיון על ידי פרמטר בודד) ובין מגוון הסיבות המובילות לשונות בין פרטי האוכלוסיה.

גאלטון התעניין גם במדידת אינטליגנציה ובדרך בה היא עוברת בתורשה. אם גובה ומשקל של אדם מפולגים נורמלית, שאל גאלטון, מדוע שהתפלגות האינטליגנציה לא תהיה נורמלית?[7] גאלטון עצמו לא הצליח למדוד אינטליגנציה באופן שהשביע את רצונו, לא כל שכן את מידת ההורשה שלה. מבחני אינטליגנציה החלו להכנס לשימוש בשנות ה-20 של המאה ה-20.

ההתפלגות הנורמלית המשיכה להופיע במקומות מפתיעים. ב-1873 נאם הפיזיקאי ג'יימס קלרק מקסוול הרצאה בפני האגודה הבריטית לקידום המדע, והציג בה את תגליותיו האחרונות בתחום הדינמיקה והקינטיקה של הגזים. מקסוול דיבר גם על הבעיות המתודולוגיות בהן נאבק במחקריו. אין זה אפשרי, הסביר, למדוד את מהירותן של מיליוני מולקולות גז ולחשב את מסלוליהן, כאשר הן נעות במהירות ומתנגשות זו בזו. לכן אימץ מקסוול, יחד עם עמיתיו למחקר, שיטות מתחום מדעי החברה: במקום לדון במהירות ובמסלול של כל מולקולה ומולקולה, חקר מקסוול את התפלגות המהירויות. הוא עשה זאת כבר ב-1859, בגישה דומה לגישתו של לפלס. ההתפלגות, המכונה כיום התפלגות מקסוול-בולצמן, אינה התפלגות נורמלית, אך קשורה אליה קשר הדוק. הסטטיסטיקאים מכירים התפלגות זו בשם "התפלגות חי-בריבוע", והיא מתקבלת על ידי העלאה בריבוע של ערכי ההתפלגות הנורמלית.

בהרצאתו ב-1873 מקסוול סטה סטייה חדה מהדרך שהתוו עד כה לפלס וממשיכיו. לפלס טען כי העולם הינו דטרמיניסטי, והמקריות הנצפית בו (המתבטאת במשחקי מזל, וגם במדידות אסטרונומיות) משקפת למעשה חוסר ידע ויכולת שלנו, בני האדם, לדעת מהם כל הכוחות הפועלים על המטבע המוטל, למשל, ולו ידענו מהם יכולנו לדעת מראש אם יפול על ראש או על זנב. מקסוול טען כי השונות בתופעות פיזיקליות הינה אמיתית, ולא רק שיקוף של הבורות האנושית. הוא אמנם נמנע מלטעון כי קיימת מקריות אמיתית בעולם; טענה זו הועלתה רק בתחילת המאה ה-20, ובקונטקסט של תורת הקוואנטים[8]. עם זאת, מקסוול הראה כיצד ניתן ליישם את התיאוריה הסטטיסטית, שצמחה מניתוח משחקי הימורים, ופותחה ככלי למחקרים סוציולוגיים וביולוגיים, במדע מדוייק יותר כפיזיקה.


הערות
  1. 1. Hacking, I. (1990). The taming of chance (Vol. 17). Cambridge University Press. []
  2. 2. Daston, L. (2008). Analogies and the migration of scientific ideas: the strange career of the normal curve. Nova Acta Leopoldina, N. F, 97(358), 169-185. []
  3. 3. Stigler, S. M. (2002). Statistics on the table: The history of statistical concepts and methods. Harvard University Press. []
  4. 4. על הסטטיסטיקה הבייסיאנית אכתוב, אולי, בפעם אחרת []
  5. 5. אותו קטלה שלכבודו סומן מקדם המתאם של יול באות Q []
  6. 6. משפט הגבול המרכזי הוכח רק בראשית המאה ה-20. גירסה ראשונית הוכחה על ידי ליאפונוב ב-1901, והמשפט כפי שהוא מוכר כיום הוכח על ידי לינדברג ב-1920 []
  7. 7. המונח "התפלגות נורמלית" נטבע ככל הנראה על ידי צ'רלס פירס, פרנסיס גאלטון, ווילהלם לקסיס, באופן בלתי תלוי, בסביבות 1875 []
  8. 8. שבה הבנתי דלה ביותר []

כשפירסון ויול הסירו את הכפפות

לא מכבר התחלתי להשתתף בקבוצת דיון בהיסטוריה של הסטטיסטיקה, ואשתדל לתעד את המפגשים החודשיים של הקבוצה. המפגש הראשון של הקבוצה עסק במחלוקת ביןקרל פירסון ותלמידו אדני יוּל בדבר הדרך הראויה למדוד את עצמת ההקשר ("מתאם") בין שני משתנים איכותיים (כלומר משתנים שסולם המדידה שלהם אינו רציף).  בתחילה אסביר בקצרה את הבעיה הסטטיסטית. לאחר מכן אתאר את הגישות השונות של השניים לפתרון הבעיה, את הרקע שהוביל כל אחד מהם לגישה אחרת, וכמובן, את ההתגוששות בין השניים (חלק זה יסתמך בעיקר על מאמרו של דונלד מקנזי מ-1978[1].  לסיום אביע את דעתי בנושא. לטובת הקוראים שאינם בקיאים בסטטיסטיקה, אשתדל לבדל את הקטעים הטכניים בפסקאות נפרדות. אם תחושו כי אתם הולכים לאיבוד, המשיכו ללא חשש לפיסקה הבאה.

 Yule and Pearson

 אדני יול (מימין) וקרל פירסון

הבעיה הסטטיסטית מאוד פשוטה למעשה[2] . אסביר אותה על ידי דוגמה שיול עצמו הציג. מדובר בנתונים שנאספו במהלך התפרצות מחלת האבעבועות השחורות בעיר שפילד בשנים 1877-1878. בסך הכל נרשמו 4703 מקרים של המחלה. קרוב ל-90% מהחולים קיבלו קודם לכן חיסון נגד מחלה זו ורובם המכריע (כ-95%) החלימו. מבין אלה שלא חוסנו, קרוב ל-50% מתו מהמחלה. יול הציג את הנתונים בטבלה:

החלימו

נפטרו

חוסנו

3951

200

לא חוסנו

278

274

מעניין כמובן לשאול האם החיסון גרם לשיפור סיכויי ההחלמה במקרה של הדבקות, אך לפני כן יש לשאול האם יש קשר בין עצם העובדה שחולה קיבל (או לא קיבל) חיסון מוקדם נגד המחלה ובין מצבו לאחר המחלה (החלים או מת).

אני מניח (ובודאי מקווה) כי רוב הקוראים שיעיינו בנתונים הנ"ל יגיעו למסקה כי אכן קיים קשר בין שני המשתנים. ובכל זאת, עולות מהנתונים מספר שאלות. ניתן למשל לשאול לגבי עצם יעילותו של החיסון – כיצד יותר מ-4000 איש שחוסנו נגד המחלה בכל זאת חלו? לא ניתן לענות על שאלה זו מתוך נתונים אלו. שאלה אחרת לגבי יעילות החיסון עולה מהעובדה שבכל זאת 200 מבין המחוסנים שחלו מתו במחלה. האם זה טוב? כנראה שלא. האם יכלה להתקבל תוצאה יותר טובה? בודאי. עד כמה התוצאה הייתה יכולה להיות טובה יותר? התוצאה הטובה ביותר הייתה אילו כל המחוסנים היו מחלימים. תוצאה זו הייתה מדגימה קשר חיובי חזק ביותר בין שני המשתנים.

התוצאה גם הייתה יכולה להיות גרועה יותר. תוצאה גרועה אפשרית היא שכ-50% מהמחוסנים מתים, כפי שגם כ-50% מהלא מחוסנים מתו. מצב כזה מראה שאין כל קשר בין עצם קבלת החיסון ובין הסיכוי לשרוד את המחלה.

יש תוצאה עוד יותר גרועה: על המחוסנים מתים, כל הלא מחוסנים מחלימים. תוצאה כזו הייתה מעלה מייד את הטענה שיש קשר שלילי בין מתן החיסון וסיכויי ההחלמה.

מה הייתם אומרים על הקשר אילו המספרים בטבלה היו משתנים מעט יחסית? למשל, אם 205 מחוסנים מתו במקום 200 (ו-3946 החלימו), ומבין הלא מחוסנים מספר המחלימים היה 273 במקום 278 (ומספר המתים הוא 279)? האם הקשר בין המשתנים שמראים נתונים אלה חזק יותר מהקשר שמראים הנתונים המקוריים או חלש יותר? איך בכלל מודדים את חוזקו/עוצמתו של הקשר? על שאלה זו ניסו פירסון ויול לענות בתחילת המאה ה-20.

השאלה הדומה, אשר נשאלה לגבי משתנים כמותיים (למשל גובה ומשקל), נחשבה כבר לפתורה. הפתרון התבסס על עבודתו החלוצית של פרנסיס גאלטון בנושא הרגרסיה והמתאם, ופירסון עצמו הוא זה שחתם את הדיון בנושא וסיפק את נוסחת מקדם המתאם הנמצאת השימוש עד עצם היום הזה וידועה בשם "מקדם המתאם של פירסון". מקדם המתאם של פירסון מקבל ערך 1 כאשר יש קשר לינארי מלא וחיובי בין שני המשתנים, ערך 1- כאשר יש קשר לינארי מלא ושלילי בין שני המשתנים, וערך 0 כאשר אין כלל קשר לינארי בין המשתנים (כלומר הם "בלתי מתואמים" בשפת הסטטיסטיסטיקאים). המקדם של פירסון יכול לקבל למעשה כל ערך תחום שבין 1- ל-1. ערכים קרובים ל-1 (או ל-1-)  מעידים כי הקשר הלינארי בין המשתנים חזק, וככל שהערכים מתקרבים ל-0 זה מעיד על החלשות הקשר הלינארי.

בצומת דרכים זו נפרדו דרכיהם של פירסון ויול. פירסון סבר כי תיאוריה למדידת עצמת הקשר בין שני משתנים איכותיים צריכה להתבסס על התיאוריה הקיימת למשתנים כמותיים ולהכליל אותה. יול, לעומת זאת, סבר כי משתנים איכותיים שונים באופן מהותי ממשתנים כמותיים, ולכן יש צורך לפתח עבורם תיאוריה נפרדת.

אפתח בתיאור הגישה של יול. הוא טען כי מדד לעצמת הקשר צריך לקיים שלוש תכונות (בדומה למקדם המצתם של פירסון): ערכו שווה ל-0 כאשר אין קשר בין המשתנים, שווה ל-1 כאשר יש קשר חיובי מלא בין המשתנים, ושווה ל-1- כאשר יש קשר שלילי מלא בין המשתנים.

 כמו כן, יול הבחין כי כאשר אין קשר בין שני משתנים איכותיים, אז השורות בטבלה כגון זו שהוצגה קודם פרופורציוניות זו לזו (כפי שהדגמתי קודם לכן, זה עשוי להיות מקרה בו 50% מהמחוסנים מחלימים מהמחלה, וגם 50% מהלא מחוסנים מחלימים ממנה). קשר חיובי מלא קיים כאשר במשבצת השמאלית העליונה מופיע אפס  (בדוגמא שלנו- איש מהמחוסנים לא נפטר), ו/או כאשר מופיע 0 במשבצת הימנית התחתונה ( כלומר מי שלא חוסן לא החלים, רק למי שחוסן היה סיכוי להחלים). קשר שלילי מלא יתבטא לעומת זאת על ידי הופעת 0  במשבצת השמאלית התחתונה ו/או במשבצת הימנית העליונה (המחוסנים לא מחלימים, הלא מחוסנים דוקא כן)[3] .

מכאן הייתה קצרה הדרך להגדיר מדד שמקיים בדיוק את התכונות האלה: שווה ל-0 כאשר ארבעת המספרים בטבלה יוצרים שתי שורות מספרים פרופורציוניות, שווה ל-1 כאשר באלכסון הראשי מופיע 0 באחד התאים (או שניהם), ושווה ל-1- כאשר מופיע באלכסון המשני מופיע 0 באחד התאים (או שניהם). יול כינה את המדד שלו Q, לכבודו של הסטטיסטיקאי הבלגי אדולף קאטלה.

למדד Q שהציע יול היו גם חולשות, ויול היה מודע להן. אחת החולשות העיקריות הייתה ש-Q אינו המדד היחיד העומד בשלושת הקריטריונים שדרש יול – יש עוד מדדים רבים כאלה. יול עצמו הציע עוד מספר מדדים, וניסה להצדיק כמיטב יכולתו את הצעת Q כמדד הקשר העיקרי.

פירסון כאמור, בחר ללכת בדרך אחרת, וניסה לבנות תיאוריה שתכליל את מקדם המתאם שלו, שנבנה למשתנים כמותיים, כך שישמש למדידת קשר בין שני משתנים איכותיים. אתאר את הגישה שלו בעזרת דוגמה.

נניח שאנו מעוניינים לבדוק האם יש קשר בין גובהו של אדם ומשקלו (באוכלוסיה נתונה). אין בעיה. אם נתונים לנו גובהו ומשקלו של כל אדם באוכלוסיה, אפשר לעבד את הנתונים בעזרת נוסחת מקדם המתאם ולקבל איזשהו מספר. אבל מה קורה אם אין לנו את הנתונים המלאים? נניח שיש לנו רק נתון איכותי לגבי כל אדם. אנו יודעים האם הוא "גבוה" או "נמוך", וכן אם הוא "רזה" או "שמן", ואין אינפורמציה לגבי הגבול המפריד בין גבוה לנמוך ובין רזה לשמן. כל מה שיש לנו זה ארבעה מספרים, מסודרים בטבלה דומה לזו שהוצגה בתחילת הרשימה: יש כך וכך אנשים גבוהים ורזים, כך וכך אנשים גבוהים ורזים, וכולי. מה עושים?

פירסון טען כי הנתונים האלה מקורם בהתפלגות נורמלית ("פעמונית"). ידוע כי התפלגות גובהם של בני אדם היא בקירוב נורמלית, וידוע גם כי התפלגות המשקל היא בקירוב נורמלית. יתר על כן, ידוע כי לגובה ולמשקל יש התפלגות משותפת דו-נורמלית (תחשבו על פעמון תלת מימדי).

להתפלגות נורמלית יש שני פרמטרים – התוחלת וסטיית התקן של ההתפלגות. להתפלגות דו-נורמלית יש חמישה פרמטרים: התוחלת וסטיית התקן של כל אחד מהמשתנים, וכן פרמטר נוסף הקושר את שני המשתנים בהתפלגות המשותפת.

לו היו בידינו נתוני המשקל והגובה המקוריים, אזי מקדם המתאם של פירסון מהווה אמד לפרמטר חמישי של ההתפלגות הדו נורמלית (ופרמטר זה מכונה אכן בשם "מקדם המתאם"). פירסון פיתח שיטה מתמטית לאמידת הפרמטר החמישי של ההתפלגות הדו-נורמלית מהנתונים החלקיים של החלוקה גבוה/רזה/נמוך/שמן. את האמד שקיבל כינה "מקדם המתאם הטטרהכורי" – " Tetrachoric correlation coefficient".  פירסון יישם את השיטה שלו גם כאשר לא היה ברור לחלוטין כי מקורם של הנתונים האיכותיים הוא בהתפלגות נסתרת (בלתי ניתנת לצפיה) דו-נורמלית.

פירסון ידע היטב כי המקדם הטטרהכורי אינו אמד טוב במיוחד עבור מקדם המתאם של ההתפלגות הדו-נורמלית. עם זאת, הוא סבר כי זהו האמדן הטוב ביותר שניתן להגיע אליו כאשר הנתונים הם איכותיים. הוא סבר גם כי מקדם ה-Q של יול הינו אמד למקדם המתאם של ההתפלגות הדו-נורמלית, וטען כי המקדם שהוא פיתח עדיף על Q.

יול, מצידו, טען כי במקרים רבים ההנחה הבסיסית של פירסון לפיה מקורם של הנתונים האיכותיים נמצא בהתפלגות דו-נורמלית שאינה ניתנת לצפיה אינה נכונה. האם ערכים של "מוות ממחלה" ו-"החלמה ממחלה" מקורם במשתנה רציף נורמלי? שאל ולא נענה. יול פיתח שיטות לבדיקת ההנחה של פירסון, ובדק בדקדקנות את כל הדוגמאות שפירסון הביא במאמריו. במקרים רבים הגיע למסקנה כי הנחת הנורמליות של פירסון אינה ניתנת להצדקה.

גם פירסון היה מודע לבעיות של המקדם הטטרהכורי. הוא השקיע עבודה בפיתוחו ושיפורו, וב-1922 הציג את מקדם המתאם הפוליכורי[4] . עם זאת, החליט לנסות ולפתח מקדם קשר אחר, המבוסס על מבחן החי-בריבוע לבדיקת אי תלות בין שני משתנים (שהוא עצמו פיתח מוקדם יותר).

חילוקי הדיעות בין השניים היו ידועים. בדצמבר 1905 תקף יול את מורו וחברו פירסון בפומבי כאשר הרצה בפני החברה הסטטיסטית המלכותית, וטען כי ההנחות שבבסיס המקדם הטטרהכורי אינן תקפות. פירסון השיב ליול במאמר שפרסם בעיתון הבית שלו, ביומטריקה[5]. אולם השניים הקפידו לשמר את הויכוח במסגרת מדעית במידת האפשר.

הכפפות הוסרו כאשר פרסם יול את ספרו "מבוא לתיאוריה של הסטטיסטיקה" ב-1911. יול הציג בספרו את מקדם המתאם של פירסון למשתנים כמותיים, ולמשתנים איכותיים המליץ לקוראיו להשתמש ב-Q או במדד נוסף שאותו פיתח, אך נמנע מלציין את המקדם הטטרהכורי של פירסון כאפשרות נוספת למדידת עצמת הקשר. תלמיד אחר של פירסון, דויד הרון, הגיב על כך במאמר שכותרתו "הסכנה שבנוסחאות מסויימות המוצעות כתחליף למקדם המתאם"[6].

היחסים בינו ובין פירסון הדרדרו במהירות למריבה אישית. בהרצאה נוספת שנשא בפני החברה הסטטיסטית המלכותית ב-1912[7] , יול תקף את גישתו של פירסון ואף את פירסון אישית. "הצגת הנחות בלתי נחוצות שאינן ניתנות לאימות אינה נראית לי כהתקדמות רצויה במחקר המדעי", אמר יול. והעיר כי בכל זאת קיימים מקרים מעטים בהם הנחה זו הינה "פחות בלתי מתקבלת על הדעת" ועדיין לעיתים קרובות יש להטיל ספק, לדעתו, בטענה כי ההתפלגות הבלתי נצפית היא דו-נורמלית.

פירסון והרון לא נשארו חייבים. הם השיבו ליול ב-1913, עת  פירסמו מאמר נוסף בביומטריקה שהשתרע על פני לא פחות מ-157 עמודים[8] . "המחלוקת בינינו", הבהירו פירסון והרון, "היא המחלוקת ארוכת הימים בין הגישה הנומינליסטית והגישה הריאליסטית. מר יול מלהטט בהגדרות מושגים כאילו מדובר בעצמים אמיתיים. ניתוחיו הסטטיסטיטיים הם למעשה סוג של לוגיקה סימבולית. תיאוריות כאלה לא הניבו מעולם שום תועלת מעשית. ייתכן כי יש בתרגילים לוגיים כאלה יש ערך חינוכי עבור סטודנטים, אבל ייגרם נזק גדול לסטטיסטיקה כמקצוע מודרני, אם המתודולוגיות של מר יול ייעשו מקובלות. יש בכך סכנה ממשית[9] , כי קל ללכת בדרך שיול מתווה, ורוב האנשים מתעלמים מהסכנות".

ב-1914 פרצה מלחמת העולם הראשונה והשעתה את הויכוח בין השניים. לאחר המלחמה, תחומי העניין המחקריים של פירסון השתנו, ועימם גם ירדה המוטיבציה שלו לעסוק בבעיית מדידת עצמת הקשר. יתר על כן, גישה חדשה לתיאוריה הסטטיסטית, שהוביל רונלד פישר, הפנתה את תשומת הלב של הסטטיסטיקאים לבעיות אחרות. למרות שהויכוח בין השניים שכך, היחסים בין פירסון ויול לא שבו לקדמותם.

לדעת מקנזי, מקור הסיבה למחלוקת בין פירסון ויול הוא ב-"אינטרסים הקוגניטיביים" השונים שלהם. מטרות המחקר שלהם היו שונות, וכל אחד מהם נקט בגישה המתאימה למטרותיו, אך לא למטרות של חברו/יריבו.

פירסון היה בין החוקרים המובילים בתחום האאוגניקה , ועבודתו בתחום הסטטיסטיקה נעשתה כדי לקדם את מחקריו האאוגניים/ביומטריים[10] . הוא היה מעוניין בעיקר בכלים לחיזוי: אם ידוע ערכו של משתנה אחד, מהי תוחלת ערכו הצפוי של המשתנה האחר? משום כך היה סבור כי יש להכליל את תיאוריית הרגרסיה של גאלטון גם למשתנים איכותיים. ההנחה של ההתפלגות הדו-נורמלית הייתה עבורו רק הנחה. התפלגות זו הייתה חלק מהמודל שלו, לא חלק מהנתונים. התוצאות שקיבל היו די טובות, לדעתו, גם אם ההנחה לא הייתה נכונה. לעומת זאת, שאלות בדבר סיבתיות לא עניינו אותו – אין זה סביר כי תכונה מסויימת של אדם (למשל, רגל גדולה) תגרום לתכונה אחרת (כמו ראש גדול, למשל). שתי התכונות מושפעות מהרקע הגנטי/משפחתי של האדם.

מחקריו של יול, לעומת זאת, היו בתחום מדעי החברה, ושם שאלת הסיבתיות האפשרית הייתה חשובה יותר. לכן, בעיניו של יול, הקשר בין המשתנים היה ביטוי לקשר סיבתי אפשרי בינם, ולא רק תכונה של ההתפלגות המשותפת[11]. העובדה שאדם הוא קבצן, טען יול, אינה תלויה ברקע (ובניוון) הגנטי שלו כפי שטוענים תומכי האאגוניקה.[12] במחקריו הראה יול כיצד רפורמות חברתיות הביאו להקטנה במספר הקבצנים.

מקנזי מרחיק לכת ומעלה השערה כי התיאוריה/אידיאולוגיה האאוגנית ביטאה את ההעדפות החברתיות של חלק מסויים בלבד בחברה הבריטית של סוף המאה ה-19 ותחילת המאה ה-20, המאופיין על ידי רקע מעמדי והעדפות פוליטיות. לדעת מקנזי, ייתכן כי ההבדלים האלה שבין יול ופירסון גרמו לכיווני המחקר השונים שלהם, ומכך נבע הניגוד שבין גישותיהם לנושא מדידת עצמת הקשר בין המשתנים.

מי ניצח בסופו של דבר בויכוח? לדעת מקנזי, הויכוח לא הוכרע עד ימינו, ומסתמך, בין היתר, על מאמרם הקלאסי של גודמן וקראסקל מ-1954.[13], אך מציין כי מדד ה-Q של יול עדיין פופולרי, בעוד שמקדם המתאם הטטרהכורי כמעט ונעלם. אציין כי נתקלתי במהלך לימודי הסטטיסטיקה שלי במקדם המתאם הטטרהכורי. היה זה כאשר קראתי, בהיותי תלמיד שנה ג' לתואר ראשון בסטטיסטיקה, את אותו מאמר של גודמן וקראסקל. הם מציינים בפירוש כי ניתן להשתמש במקדם הטטרהכורי במקרים בהם מקור הנתונים בהתפלגות דו-נורמלית. למען ההגינות, אומר גם כי לא זכרתי זאת במשך השנים שעברו. חזרתי למאמר של גודמן וקראסקל בעקבות הקריאה המאמר של מקנזי, ראיתי כי המקדם הטטרהכורי הוזכר בתחילת המאמר, והסקתי כי נתקלתי בו גם בפעם הראשונה בה קראתי את המאמר.

למיטב הבנתי, גודמן וקראסקל ממליצים בפועל על הגישה של יול, לפיה יש לבחור את מדד הקשר בהתאם לבעיה הנדונה, ואינם מעודדים הנחת התפלגות נסתרת. לכן, לדעתי יול הם למעשה הכתירו את יול כמנצח בקרב הזה. המקדם הטטרהכורי כמעט ונכחד, בעוד שכל תכנה סטטיסטית המכבדת את עצמה מחשבת את Q ומדדים דומים נוספים.

עם זאת, גישתו של פירסון המניחה התפלגות נסתרת/בלתי-נצפית עדיין חיה וקיימת. בסטטיסטיקה המודרנית, סוס העבודה העיקרי לניתוח נתונים איכותיים הוא הרגרסיה הלוגיסטית. בבסיסה של שיטה זו טמונה ההנחה כי מקורו של המשתנה האיכותי הוא במשתנה נסתר/בלתי-נצפה, שמניחים כי התפלגותו היא התפלגות לוגיסטית[14] . אם ערכו של המשתנה הנסתר נמוך מסף מסויים, המשתנה האיכותי מקבל ערך מסויים ("החלים מהמחלה", אם ניצמד לדוגמה של יול שהובאה בראשית הרשימה הזו), וכאשר ערכו של המשתנה הנסתר חוצה את הסף, המשתנה האיכותי מקבל ערך אחר ("מת מהמחלה"). גישה זו ננקטת גם בשיטת סטטיסטיות נוספות, כאשר הסטטיסטיקאי מודע לכך כי המשתנה הנסתר אינו חלק מהנתונים שלו, אלא רק חלק מהמודל. מכאן, למרות שגישתו של פירסון נוצחה בקרב המסויים שתיארתי כאן, היא הוכיחה את עצמה כגישה יעילה לניתוח נתונים איכותיים ונמצאת בשימוש יומיומי במחקר המדעי.


הערות
  1. 1. MacKenzie, D. (1978). Statistical Theory and Social Interests A Case-Study. Social studies of science, 8(1), 35-83. []
  2. 2. יש לציין כי המחלוקת בין פירסון ויול לא הייתה מוגבלת לדיון בבעיה זו בלבד []
  3. 3. יש להגדרה זו ניואנסים שלא פירטתי []
  4. 4. Pearson, K., & Pearson, E. S. (1922). On polychoric coefficients of correlation. Biometrika, 14(1-2), 127-156. []
  5. 5. פירסון יסד את כתב העת ביומטריקה וערך אותו עד מותו ב-1936 []
  6. 6. Heron, D. (1911). The danger of certain formulae suggested as substitutes for the correlation coefficient. Biometrika, 109-122. []
  7. 7. Yule, G. U. (1912). On the methods of measuring association between two attributes. Journal of the Royal Statistical Society, 579-652. []
  8. 8. Pearson, K., & Heron, D. (1913). On theories of association.Biometrika, 9(1-2), 159-315.  []
  9. 9. פירסון והרון השתמשו בבביטוי "grave danger", כלומר סכנת נפשות []
  10. 10. למעשה פירסון לא ראה את עצמו כסטטיסטיקאי, למרות שהיה האדם הראשון שנשא בתואר "פרופסור לסטטיסטיקה". הוא מעולם לא ביקש להצטרף לחברה הסטטיסטית המלכותית, וממילא לא היה חבר בה []
  11. 11. ראו גם Stigler, S. M. (1986). The history of statistics: The measurement of uncertainty before 1900. Harvard University Press. Pages 352-358. []
  12. 12. יול התנגד לתורה זו. במכתב לחברו הטוב, מייג'ור גרינווד כתב: "התיאוריה האאוגנית מעוררת בי סלידה כמו הרעיון לתת זכות הצבעה לנשים". []
  13. 13. Goodman, L. A., & Kruskal, W. H. (1954). Measures of association for cross classifications*. Journal of the American Statistical Association49(268), 732-764.  []
  14. 14. אם מניחים כי התפלגות של המשתנה הנסתר היא נורמלית, הכלי המתקבל הוא "מודל פרוביט" []

פרופ' יוסי הוכברג הלך לעולמו

פרופ' יוסי הוכברג, מהחוג לסטטיסטיקה באוניברסיטת תל אביב, והנשיא השביעי של האיגוד הישראלי לסטטיסטיקה, נפטר אתמול. בשנים האחרונות לחייו פרש הוכברג ממחקר עקב מחלתו. הוכברג היה בין החוקרים המובילים בעולם בתחום בדיקת ההשערות המרובות, והיה שותפו של פרופ' יואב בנימיני לכתיבת מאמרים רבים בתחום, ובכלל זה המאמר פורץ הדרך שהציג את שיטת ה-False Discover Rate משנת 1995, (FDR), מתודולוגיה המאפשרת לשלוט בתוחלת מספר התגליות השגויות במחקרים מדעיים. עבור מחקר זה והישגים אחרים, זכה יואב בנימיני בפרס ישראל בשנת 2012.

לא הכרתי את הוכברג אישית, אולם הייתה לי ההזדמנות להיות נוכח במספר הרצאות שנתן. יהי זכרו ברוך.