חיפוש באתר

קישורים

עמודים

קטגוריות

סטטיסטיקה בבית המשפט – הקלטת מפגש הזום

אשה חפה מפשע הורשעה ברצח, רוצחת מורשעת זוכתה בערעור, אדם הורשע ברצח ללא ראיות הקושרות אותו ישירות למעשה – הכל בגלל טעויות בסטטיסטיקה.

נושא מפגש הזום האחרון של נסיכת המדעים היה “מעבר לספק סביר – סטטיסטיקה בבית המשפט”. ניתן לצפות בהקלטת המפגש בערוץ היוטיוב של נסיכת המדעים. השקפים של המצגת זמינים בעמוד המצגות.

ממתינים לתוצאות הסופיות

אני מניח שכולכם יודעים מה קורה/קרה בבחירות בארה”ב בשנת 2020.  תהליך ספירת הקולות נמשך על פני מספר ימים, וכל מה שאפשר לעשות זה לעקוב אחרי התהליך: מי מוביל הספירה באיזו מדינה ובכמה. דוגמה אקראית מבוקר כתיבת שורות אלה: הכותרת של כלכליסט היא “הדרמה בארה”ב: כמעט שוויון בפנסילבניה ובג’ורג’יה, טראמפ מצמצם הפער באריזונה“.

יש נקודה חשובה שמשום מה מתעלמים ממנה: ההצבעה הסתיימה, ותוצאות הבחירות כבר נקבעו. רק שאנחנו עדיין לא יודעים מי ניצח כי לא סיימו לספור את כל הקולות.[1].

כל הדרמה הזו הזכירה לי בעיה ישנה  מסוף המאה ה-19, שנקראת פשוט “בעיית הבחירות” (The ballot problem). הניסוח מאוד פשוט. שני מועמדים מתחרים בבחירות. אם מוציאים את פתקי ההצבעה מהקלפי זה אחד זה באופן אקראי, מה הסיכוי כי המועמד שקיבל את רוב הקולות יוביל לאורך כל מהלך הספירה?

הקישור שהופיע בפיסקה הקודמת יוביל אתכם לעמוד בויקיפדיה שבו תוכלו לקרוא על ההיסטוריה של הבעיה הזו, ועל כל מיני דרכים שנמצאו כדי לפתור אותה. אפשר למשל לנסות לרשום/לספור את כל המהלכים האפשריים של ספירת הקולות, ואת כל המהלכים האפשריים שבהם המנצח מוביל לאורך כל הספירה. אפשר להשתמש באינדוקציה מתמטית. הפתרון המקורי השתמש בנוסחת נסיגה. אני רוצה להציג כאן פתרון אחר  שמבוסס על הפתרון של המתמטיקאי הצרפתי Désiré André.

סיפורנו מתחיל בעיירה ציורית במרכז אילינוי, שם מתגוררים כמה אלפי אנשים, ויש בה רק קלפי אחת. הם בוחרים באחד משני המתמודדים לנשיאות, בואו נקרא להם ג’ו ודונלד. כל קשר לפוליטיקה מקרי לחלוטין. בחרתי בשם ג’ו מכיוון שכאשר התגוררתי בארה”ב האמריקאים הכירו אותי בשם ג’ו, ובשם דונלד כי בין היתר יש לי אוסף מפואר של כ-150 ברווזים.

נניח שג’ו קיבל A קולות, ודונלד קיבל B קולות, ובאופן מסתורי אנחנו יודעים את הערכים המספריים של A ו-B לפני שהתחילה ספירת הקולות, ואנחנו גם יודעים כי A גדול מ-B, כלומר ג’ו ניצח. מה הסיכויים שג’ו יוביל לאורך כל תהליך ספירת הקולות?

יש מספר תרחישים אפשריים. נתחיל במקרה הכי קל: הפתק הראשון שהוצא מהקלפי הוא של דונלד. דונלד מוביל, ולכן ג’ו לא מוביל לאורך כל הספירה. הסיכוי לתרחיש הזה הוא B/(A+B).

עכשיו בואו נשים לב כי מכיוון שג’ו ניצח, אם דונלד מוביל בשלב מסויים, אז בנקודת זמן כלשהי לאחר מכן ייווצר שיוויון קולות, כי ג’ו קיבל יותר קולות. הנה דוגמה לתרחיש אפשרי שבו זה קורה:

מספר הקולות
שנספרו
למי ניתן הקולהיתרון של ג’ו
1דונלד1-
2דונלד2-
3דונלד3-
4ג’ו2-
5דונלד3-
6דונלד4-
7ג’ו3-
8ג’ו2-
9ג’ו1-
10ג’ו0

מה שקורה אחר כך לא ממש משנה. כל תרחיש שבו הקול הראשון הוא קול לדונלד מגיע בנקודה כלשהי לשוויון בספירה, וההסתברות לתרחיש הזה היא כאמור B/(A+B) . אפשר לתאר את התרחיש הזה בגרף הבא:

מה קורה אם הקול הראשון שנספר ניתן לג’ו? כאן ג’ו מוביל בתחילת הספירה, ולאר מכן יש שתי אפשרויות: או שג’ו ימשיך להוביל לאורך כל הספירה, או שבשלב מסויים ייווצר שיוויון בקולות.

בואו נוסיף לגרף שלנו תרחיש אפשרי שבו ג’ו מתחיל להוביל, אבל לאחר מכן הספירה מגיעה לשוויון:

אני לא בחרתי את התרחיש הזה באופן מקרי! התרחיש השני (הכחול) הוא השיקוף של התרחיש הראשון (האדום). למעשה, לכל אחד מהתרחישים שבהם דונלד מוביל בתחילת הספירה (לאחר שהקול הראשון נספר), יש תרחיש מקביל שבו ג’ו מקבל את הקול הראשון שנספר והספירה מגיעה לשוויון. גם ההיפך נכון: לכל אחד מהתרחישים שבהם ג’ו מוביל בתחילת הספירה (לאחר שהקול הראשון נספר) והספירה מגיעה בשלב כלשהו לשוויון, יש תרחיש מקביל שבו דונלד מקבל את הקול הראשון שנספר ואז הספירה חייבת להגיע לשוויון.

לכן ההסתברויות לשני סוגי התרחישים – תרחיש שבו דונלד מוביל בתחילת הספירה, ותרחיש שבו ג’ו מוביל בתחילת הספירה אך אינו מוביל לאורך כל הספירה – שוות, וכל אחת מהן שווה ל- B/(A+B). אם נחבר אותן נקבל את ההסתברות לתרחיש שבו ג’ו אינו מוביל לאורך כל הספירה, והסתברות זו שווה ל- 2B/(A+B).

מכאן קל לחשב כי ההסתברות שג’ו יוביל לאורך כל הספירה שווה ל-1 פחות ההסתברות שהוא לא יוביל לאורך כל הספירה, כלומר ל- (A+B)/(A-B).

שימו לב כי התוצאה היא בעצם ההפרש בין מספרי הקולות שניתנו למועמדים חלקי סך כל הקולות. מעניין, אבל לא בהכרח אינטואיטיבי.

אתם מוזמנים להמשיך להחזיק אצבעות למען המועמד המועדף שלכם.


הערות
  1. איזה קולות סופרים? זו שאלה אחרת שחורגת מתחומי העניין של הבלוג הזה []

על תבונה, רגישות ודברים אחרים – הקלטת מפגש הזום

הלכתם לקופת החולים וביצעתם בדיקה כלשהי. אמרו לכם שהדיוק של הבדיקה הוא 90%. מה זה אומר בעצם? איזה שאלות אתם צריכים לשאול את הרופא (או לברר עם ד”ר גוגל?) ואם אתם מחפשים בגוגל – מה בדיוק צריך לחפש?

אתמול ערכתי את מפגש הזום שני של נסיכת המדעים שעסק באבחנות רפואיות ובאופנים בהן ניתן להעריך את איכותן ואת המשמעות של התוצאות שהתקבלו.

הקלטת המפגש זמינה לצפיה בלינק https://www.youtube.com/watch?v=08F96yeDUzI

מקווה שתיהנו

ויזואליזציה: מבט לעבר – צילום מפגש זום

ב-16.9.2020 נערך מפגש הזום הראשון של נסיכת המדעים שכותרתו הייתה ויזואליזציה: מבט לעבר.
אומר כי אני מאוד מאוכזב מהאופן שבו המפגש הזה התנהל, ואבהיר כי אני מאוכזב מעצמי, ולא מאף אחד אחר. למדתי, בדרך הקשה, כי זום הוא מדיום מאוד שונה מהרצאה/מפגש פנים אל פנים, והשוני מתבטא גם באופי הקשר עם הקהל, וגם בטכנולוגיה שאני, מה לעשות, לא מכיר מספיק טוב[1]. אני מקווה שבמפגש הבא אצליח לשפר את את אופן השימוש שלי בזום.
בכל אופן, כפי שהבטחתי, המפגש הוקלט והוא זמין לצפיה. מקווה שבכל זאת תיהנו:


הערות
  1. למרות שעברתי הדרכה אצל הבן שלי… []

יום הולדת 100 לק. ר. ראו

ק. ר. ראו

ק. ר. ראו

היום, 10.9.2020, הסטטיסטיקאי ק. ר. ראו, מחשובי הסטטיסטיקאים של המאה ה-20 חוגג את יום הולדתו ה-100.

בפוסט הזה לא תקראו על הביוגרפיה שלו ,עבודתו המדעית ,והפרסים ואותות הכבוד שקיבל. בשביל זה כתבתי לכם ערך בויקיפדיה אודותיו. כאן אני רוצה לספר סיפורים. למעשה אלה סיפורים שראו עצמו סיפר, בשלושה ראיונות שנערכו איתו שנערכו ב-1985, 2003 ו-2016.

ראו, כמו המון סטטיסטיקאים אחרים, הגיע לסטטיסטיקה במקרה. הוא מספר כי לאחר שסיים את לימודי התואר השני במתמטיקה נסע לכלכותה כדי להתראיין למשרה בצבא הוד מלכותו, כלומר להתגייס. הוא מספר כי הם חיפשו מתמטיקאים לכל מיני תפקידים. הוא לא התקבל לצבא בגלל גילו הצעיר. בכל מקרה, הוא פגש מישהו שסיפר לו על המכון לסטטיסטיקה שנמצא בעיר. הוא הגיע למכון ודיבר עם ראש המכון ומייסדו, פ. צ’. מהלנוביס. מהלנוביס קיבל אותו לעבודה במכון כחוקר, ובמקביל שלח אותו ללמוד לתואר שני בסטטיסטיקה באוניברסיטת כלכותה, שזה עתה פתחה תכנית ללימודי סטטיסטיקה. במכון עסק בניתוח נתונים במחקרים אנתרופולוגיים. כאשר מהלנוביס קיבל פניה לעזרה בניתוח נתונים דומים מהמוזיאון האנתרופולוגי של אוניברסיטת קיימברידג’, ראו נשלח לשם. מדובר היה באוסף גדול של עצמות ושלדים בני כאלף שנה שנחפרו בצפון אפריקה.

ראו עם אחד העכברים של רונלד פישר, 1947

במקביל לעבודתו שם, ראו פנה לרונלד פישר כדי שידריך אותו בעבודת דוקטורט. פישר הסכים, אולם התנה זו בכך שראו יערוך ניסויים במעבדה הגנטית שלו, ללא כל קשר לעבודת הדוקטורט. ראו מספר כי לפישר הייתה מעבדה ובה אלפי עכברים, והוא העסיק שם 10 עובדים, חלקם הגדול סטודנטים, שטיפלו בעכברים וערכו ניסויים בהכלאות בין העכברים. ניסויי העכברים לא נכללו לבסוף בעבודת בדוקטורט שלו, שהתבססה על השיטות שפיתח לניתוח נתוני העצמות במוזיאון. חלק לא מבוטל משיטות אלה היו הכללות של שיטות סטטיסטיות שפישר עצמו פיתח. ראו מספר כי פישר היה מאוד מרוצה מעבודתו. עם זאת, ראו מספר כי הציע גישה בייסיאנית לאחת הבעיות שהתמודד איתן. פישר שהיה אנטי-בייסיאני, ביקש מראו לנסות גישה אחרת, אבל ראו מספר בחיוך כי הוא התעלם מהבקשה.[1]

ראו מספר גם על החיים בקיימברידג’, ובעיקר בקינג’ס קולג’. הוא מספר כי באותה עת דווקא היו הרבה סטודנטים ממוצא הודי בקיימברידג’. באופן רשמי ראו למד בקינג’ס קולג’, אבל למעשה בילה את כל זמנו במוזיאון (חוץ מהזמן שבילה במעבדה של פישר, כמובן). הוא מספר כי רק לעמיתי המכללה[2]  מותר לדרוך על המדשאות שם, כלל שקיים עד עצם היום הזה. בסופו שלדבר ראו מונה לעמית במכללה לכל ימי חייו בשנת 1974, וכעת הוא יכול לדרוך שם על הדשא, לאכול משולחן הקולג’ ולשתות יין ככל שיחפוץ.

ראו ובלקוול, 1977

ראו ובלקוול, 1977

שמו של ראו קשור בשתי תוצאות חשובות בחום תורת האמידה: משפט ראו-בלקוול וחסם קרמר-ראו. ראו מספר כי כאשר חזר להודו ולימד באוניברסיטת כלכותה, הוכיח בכיתה משפט של פישר שהתייחס למדגמים גדולים, למעשה אינסופיים[3] . אחד הסטודנטים שאל אותו מדוע הוא לא מוכיח את התוצאה למדגמים סופיים. ראו מספר כי באותו לילה חשב על השאלה של התלמיד ומצא את ההוכחה עבור מדגם סופי. זה היה חסם קרמר-ראו. כאשר הוכיח את התוצאה בכיתה שבוע לאחר מכן, עלה בדעתו דבר נוסף. הדבר הנוסף הזה הוא משפט ראו-בלקוול. ראו פרסם את שתי התוצאות במאמר שהופיע בשנת 1945. קרמר פירסם את החסם שגילה באופן עצמאי בשנת 1946. בלקוול, שגילה את מה שנקרא כיום משפט ראו-בלקוול בכוחות עצמו, פרסם את התוצאה שלו ב-1947.

משפט ידוע נוסף הוא משפט פישר-ראו. כאן ראו מספר כי פישר כתב מאמר מאוד טכני וביקש ממנו לבדוק את החישובים, ואז הוא שיפר את התוצאות של פישר.

מעניין לציין כי כאשר ראו נשאל מהם לדעתו הישגיו החשובים ביותר, הוא לא מציין את שלושת המשפטים שעמם הוא מזוהה יותר מכל, אלא את עבודותיו בתחומים של מערכים אורתוגונליים ואנטרופיה ריבועית[4], וכן את ה-score test שפיתח.

באופן לא מפתיע ראו מספר כי שני האנשים שלהם הייתה ההשפעה הגדולה ביותר עליו הם מהלנוביס ופישר. את מהלנוביס הוא מתאר כאדם קשה, ולדבריו כל אנשי המכון חששו ממנו. איש לא קרא לו בשמו, גם שלא בנוכחותו. מהלנוביס היה “הפרופסור”. כינוי זה נשמר לו גם אחרי מותו. ראו מונה כמנהל המכון, אך לא החליף את מהלנוביס כפרופסור. גם בראיונות שנתן הוא מתייחס אל מהלנוביס כאל הפרופסור.

ראו ופישר, 1960

ראו ופישר, 1960

גם לפישר היה מוניטין של אדם קשה, ולפי מספר סיפורים די בצדק. מעניין לראות כי לראו היו יחסים מאוד טובים עם פישר. הוא משבח את פישר גם כמרצה וגם כמנטור, שהתייחס בכבוד לסטודנטים שלו . הוא מספר כי פישר תמיד דרש ממנו לא להסתפק בפיתוחים מתמטיים אלא גם ליישם אותם על נתונים. לכן, סיפר ראו, שיטת העבודה שלו הייתה לאסוף קודם כל נתונים ולפתח מתודולוגיה לבעיה שמציגים הנתונים. במובן הזה, ראו היה data scientist כבר בשנות הארבעים של המאה ה-20.[5] בראיון שנתן ב-2016 ראו מסביר כי זו למעשה הדרך שבה ה-data science פועל, וכאן אצטט את דבריו:

“Data science … is a scientific discipline because it uses an experiment-oriented scientific approach. Based on empirical evidence, a hypothesis is formulated, and evidence is gathered to perform the hypothesis testing”

ראו, מהלנוביס ואנדריי קולמוגורוב, 1962

ראו, מהלנוביס ואנדריי קולמוגורוב, 1962

ראו סיפר בהרחבה גם על קשרי העבודה שלו עם מתמטיקאים וסטטיסטיקאים מברית המועצות החל משנות ה-60 ועד אמצע שנות ה-80, בשיא המלחמה הקרה, שנמשכו גם כאשר עבר לאוניברסיטת פיטסבורג ב-1979. הוא מציין כי קיבל תמלוגים על ספריו שתורגמו לרוסית, אך הכסף כמובן רובלים שהופקדו בבנק בברית המועצות. כאשר ביקר שם, נהג להשתמש בכסף הזה כדי להזמין את כל חבריו שם למסיבות שערך.

מה מאחלים לאדם בן 100? עד 120? נאחל לו יום הולדת שמח.

מקורות


הערות
  1. כאן יש לציין כי הפעם הראשונה בה הוזכרה המילה “Bayesian” בספרות הסטטיסטית הייתה במאמר של פישר, בו הבהיר כי המתודולוגיה שבה עסק המאמר אינה בייסיאנית. []
  2. חברי הסגל האקדמי []
  3. בשפת המתמטיקה מדובר בתוצאה אסימפטוטית []
  4. לא להיבהל, גם אני לא מבין בזה כלום []
  5. את המונח data science טבע הסטטיסטיקאי ג’ון טוקי במאמר The Future of Data Analysis  שיצא לאור ב-1962 []