נסיכת המדעים

אין כמו ביקור בפריז לשיפור מצב הרוח והנפש. ביום רביעי של השבוע שעבר נסענו זוגתי ואני לחופשה של חמישה ימים בפריז. מועד הנסיעה, שלא במקרה, היה יום הולדתי הראשוני ה-15. זה לא היה ביקורנו הראשון בעיר, ולכן הביקור הנוכחי דילג על "אתרי החובה" השונים של העיר. הפעם בחרנו לסייר בעיקר ברחובות וכיכרות שעדיין לא ביקרנו בהם, בגנים ובשווקים. אמנם תיכננו ביקור במוזיאון האורנז'רי, אך הוא היה סגור עקב שביתה. ביקרנו במוזיאון אחד בלבד – מוזיאון המוזיקה, ואני ממליץ לכולם בחום לבקר בו.

יש מוזיאון אחד בפריז שאני רוצה מאוד לבקר בו, אך מוזיאון כזה אינו קיים: מוזיאון המתמטיקה. אמנם, ב"ארמון התגליות" (Palais de la découverte) יש תערוכה קטנה שעוסקת במתמטיקה, אך היא מאכזבת למדי (ביקרתי בה לפני כמה שנים).

פריז היא המשכן הטבעי למוזיאון מתמטיקה. היא הייתה עיר הבירה של המתמטיקה העולמית במאה ה-18, ובמשך מהמאה ה-19 הייתה עדיין אחד ממרכזי המתמטיקה העולמיים (יחד עם ברלין וגטינגן). בפריז נשא דויד הילברט את נאומו המפורסם בו הציג את 23 הבעיות שיתוו את כיוון המתמטיקה במאה ה-20. בין המתמטיקאים הגדולים שחיו ופעלו בעיר (ואני דולה את השמות מהזיכרון בלבד) ניתן למנות את קושי, לפלס, לגראנז', גלואה, דקארט, האדמר, פואנקרה, ג'רמיין, פורייה, וגם את הרוזן בופון (שמייד אכתוב עליו בהרחבה). אני תמיד מופתע מכך שהעיר פריז די מבליעה את ההיסטוריה המפוארת שלה בתחום הכל כך חשוב הזה.

אחת הדרכיםבהן חולקת פריז כבוד לאנשים היא על ידי קריאת רחובות על שמם. בפריז יש כ-100 רחובות וככרות הנקראים על שם מתמטיקאים, לאו דווקא צרפתיים. יש גם רחובות על שם ברנולי, לייבניץ, ליאונרדו, אך אין רחובות על שם גאוס ורימן. יש כיכר בה נפגשים רחובות ניוטון, גליליאו ואוילר. הנה השלט של רחוב דקארט, ברובע הלטיני:

במרחק מספר דקות הליכה מרחוב דקארט נמצא רחוב בופון, המוביל אל הגנים הבוטניים של פריז (Jardin des Plantes) ובמרכזם ניצב, הפלא ופלא, פסלו של הרוזן בופון!

הרוזן בופון ואני

הרוזן בופון היה איש אשכולות קלאסי של המאה ה-18: הוא היה חוקר טבע, מתמטיקאי, קוסמולוג ועורך אנציקלופדיות. מתברר גם שהוא היה בין מקימי הגנים הבוטניים ומנהלם, ולכן אין זה פלא שפסלו ניצב במרכזם.

לפני כחמש שנים כתבתי כאן על רשימת 100 המשפטים הגדולים של המתמטיקה שהופיעה באחד מאתרי האינטרנט. במקום ה-99 של אותה רשימה הופיעה בעיית המחט של בופון. מהי בעיית המחט של בופון?

תארו לעצמכם דף נייר גדול, עליו משורטטים קווים מקבילים שהמרחק בינם קבוע. נסמן את המרחק בין הקווים באות d. ניקח מחט, שאורכה L, (כאשר L<d), ונטיל אותה על הגליון. מה ההסתברות כי המחט תחצה את אחד הקווים?

בשרטוט שלמעלה מוצגות 7 מחטים, שמתוכן 4 חוצות קווים. הניסוי שתואר למעלה נותן אמדן להסתברות המבוקשת: 4/7.

בופון חישב ומצא כי ההסתברות שהמחט תחצה את אחד הקווים, P, היא

במקרה המיוחד בו אורך המחט שווה למרחק בין הקווים (כלומר L=d), מקבלים כי P=2/π.

π הוא, כמובן, היחס בין היקף המעגל וקוטרו. איך הוא הגיע לכאן? כדי לחשב את ההסתברות נחוצים שני ערכים: מרחק מרכז המחט מהקו הקרוב, והזוית בין המחט ובין הקו. עם הזווית מקבלים כבונוס את הסינוס שלה, והוא מכניס את פיי לתמונה.

נחמד, אבל למה פתרון הבעיה הזו ראוי להמנות בין 100 המשפטים הגדולים של המתמטיקה?

התשובה המפתיעה: בעזרתה ניתן לחשב את ערכו של פיי!

אפשר לבצע את הניסוי של הטלת המחט מספר גדול של פעמים ולאמוד את ההסתברות P על ידי היחס בין מספר הפעמים בהן המחט חצתה את הקו לבין מספר ההטלות. חוק המספרים הגדולים מבטיח כי האמדן קרוב לערך האמיתי של ההסתברות, אם מספר הנסיונות מספיק גדול. כעת, כשיש לנו אמדן טוב ל-P, וידועים לנו ערכי L ו-d, אפשר לחשב את פיי באופן הבא:

או פשוט π=2/P אם d=L.

ב-1901 פרסם המתמטיקאי האיטלקי מריו לזריני קירוב של פיי שהשיג על ידי ניסוי בופון. הוא הטיל מחט שאורכה היה 5/6 מהמרחק בין הקוים 3408 פעמים, והמחט חצתה את הקוים 1808 פעמים. האמדן שקיבל לערכו של פיי היה לכן 355/113, או …3.1415929 בעוד שהערך האמיתי הוא …3.1415926. אמנם, לזריני בחר בקפידה את אורך המחט ואת מספר ההטלות (ויש הטוענים יותר מדי בקפידה), אך התוצאה עדיין מרשימה. מי שמעוניין יכול לנסות בעצמו בבית, או להשתמש באחד מהסימולטורים של הניסוי ברשת.

העקרון לפיו מחושב הערך של פיי מתוצאה של ניסוי מקרי ידוע היום בסטטיסטיקה כ"שיטת מונטה קרלו". כיום יש שימוש נרחב בסימולציה לחישוב ערכים של פרמטרים שונים, הודות ליכולות המחשוב המודרניות. מדהים ששיטה זו מתבססת על עקרונות שהיו ידועים כבר במאה ה-18.

שלום לכולם. הפעם מקבץ ארוך למדי, עקב משך הזמן הארוך מאז המקבץ הקודם.

• השבוע צוינו 100 שנה למותה של פלורנס נייטינגייל.
• בעיית המעטפות (עליה כתבתי לפני כשנתיים)  הרימה שוב את ראשה, הפעם בבלוג של וייאם בריגס, שהקדיש שתי רשימות לנושא. את הרשימה הראשונה אפילו קראתי. (המשך הפריט גולש לפרטים טכניים, אז מי שלא מעוניין מוזמן פשוט לדלג עליו). בתחילה בריגס מציג את החישוב השגוי לפיו החלפת המעטפות תביא לתוחלת רווח של 1.25X (כאשר  X הוא הסכום במעטפה שקיבלת), ולכן מתקבלת המסקנה הפרדוקסלית לפיה כדאי להחליף את המעטפה שוב ושוב ושוב. אולם בריגס אינו מסיק מכך כי יש לנסות לערוך את החישוב בצורה נאותה יותר. המסקנה של בריגס היא שיש להשליך את התוחלת לכל הרוחות בבעיות החלטה (טוב, הוא השתמש במלים קצת יותר מעודנות). וכיוון שכך, הוא פונה מייד אל העולם הבייסיאני (הבייסיאניים לא משתמשים בתוחלת? אלה חדשות אפילו בשבילי), ומתחיל להציג שלל פתרונות מהסוג שגרמו לי לא להתלהב מהענף הזה של הסטטיסטיקה. עלי לציין כי הגבתי לרשימה וציינתי מהיכן מגיע הפרדוקס, ומדוע תוחלת הרווח מהחלפת המעטפות היא אפס (ולכן לא משנה אם מחליפים או לא). בתגובה בריגס דרש ממני "להוכיח" (?!) כי החישוב שלו לפיו התוחלת היא 1.25X אינו נכון. אני לא מבין את זה. הוא הוא יטען כי 2 ועוד 2 שווים ל-5 ואני אטען כי התשובה הנכונה היא 4 (למניעת תשובות מתחכמות – אני מדבר על שדה הממשיים), האם אדרש להוכיח כי התשובה 5 אינה נכונה? בריגס הוסיף וטען כי התוחלת הוא מושג שכיחותי (frequentist) ואילו ניסוי המעטפות נערך פעם אחת בלבד, ולכן מושג התוחלת אינו תקף. אני לא מבין את הטיעון הזה. ואם נערוך סדרה של ניסויים זהים, אז הטיעון שלי יהיה תקף לפתע? אשמח למי שיאיר את עיניי. את הרשימה השניה של בריגס כבר לא קראתי, אבל אתם מוזמנים.
• נתן יאו מהבלוג Flowing Data העוסק בויזואליזציה של נתונים כתב רשימה על 7 הכללים הבסיסיים ליצירת גרפים ותרשימים. 7 הכללים הם: בדוק את הנתונים, הסבר את הקידוד, הוסף תוויות לצירים, ציין את יחידות המדידה, שמור על פרופרציות גיאומטריות נכונות, ציין את מקור הנתונים, וזכור מי קהל היעד שלך. כעת פוצח יאו בסדרה של שבע רשימות שתסביר ביתר פירוט את כל אחד מהכללים. הנה הלינק לרשימה הראשונה בסדרה: בדוק את הנתונים.
• שמוליק הביא בבלוג שלו דוגמא בה הכלל החמישי של יאו מופר בגסות.
• והנה הצגה גרפית יפה (בוושינגטון פוסט) המשווה בין תכניות המס של שני נשיאי ארה"ב האחרונים, בוש ואובאמה.
• רנדום ג'ון מדווח על הרצאה של פרנק הארל בכנס useR!  שעסקה ב"אלרגיה לאינפורמציה". תופעה זו באה לידי ביטוי בהתנגדות להשיג אינפורמציה הדרושה לקבלת החלטה נכונה ובהתעלמות מאינפורמציה חשובה וזמינה. הוא מביא לינק למצגת של גירסה יותר ישנה של ההרצאה.
• ועוד דיווח מכנס: ג'ון ג'ונסון מחברת קאטו מדווח על התובנות שלו מכנס JSM2010 שנערך בואנקובר בתחילת החודש.
• למתעניינים בכריית נתונים (שלאחרונה הצטרפתי לשורותיהם): ג'ון אלדר כותב על עשרת הטעויות האפשריות הגדולות ביתר בדאטה מיינינג. כשערך את ספירת המלאי גילה שיש לו למעשה 11 טעויות ברשימה. הפתרון שלו: הן דורגו החל מ-0 ועד 10. זה לא רעיון מקורי. גם בליגת המכללות הנקראת "Big10" יש 11 מכללות (שימו לב ללוגו).
• וזה לא שייך למקבץ, אבל הפריט הקודם הזכיר לי אנקדוטה על המתמטיקאי נורברט ווינר, אולי האבטיפוס של דמות הפרופסור המפוזר. באחת הפעמים שעבר דירה, ביקשה ממנו אשתו לברר כי אל הדירה החדשה הגיעו 10 מזוודות. ווינר חזר ודיווח לרעייתו כי ספר 9 מזוודות בלבד, והדגים בנוכחותה את הספירה החוזרת: 0, 1, 2,…
• כריסטיאן רוברט (Xian) מאוניברסיטת דופין בפריז החליט להעביר סמינר על המארים הקלאסיים של הסטטיסטיקה. כדי להחליט אלו מאמרים ילמדו בסמינר, הוא ערך סקר בין קוראי הבלוג שלו. בין המועמדים: מאמרם הקלאסי של ניימן ופירסון, מאמרו של ברדלי אפרון (מספר 8 ברשימת 15 הסטטיסטיקאים הגדולים שערכתי), מאמרו של קוקס (מספר 10) על ניתוח השרדות, ועוד רבים וטובים. בולטים בהעדרם מהרשימה  מאמר כלשהו מאת פישר ומאמרו של בייס (עליו כתבתי ברשימה "הכוכב, הסמים והכומר"). כשצפיתי בתוצאות הסקר הופתעתי: המאמר של ניימן ופירסון הגיע רק למקום החמישי, אותו הוא חולק במשותף עם מאמרו של הייסטינגס על שיטת MCMC. למקום הראשון הגיע מאמרו של אפרון על שיטת הבוטסטרפ; במקום השני: דמפסטר, ליירד ורבין במאמרם על שאלגוריתם EM. שלישי היה מאמרו של רוברט טיבשירני על שיטת הלאסו, ובמקום הרביעי – ישראל על המפה: מאמרם של יוסי הוכברג ויואב בנימיני מאוניברסיטת תל אביב על גישת ה-FDR  לבדיקת השערות מרובות.
• תמר בן יוסף כותבת על התייקרות הדירות בישראל, ובפרט על הקשיים והכשלים במדידת מחירי הדירות.
• בבלוג עבודה שחורה כותב יפתח גולדמן על סקר שערך משרד התמ"ת אודות התפלגות השכר בישראל ומסקנתו: התפלגות השכר מוּטה, והשכר הממוצע לא מייצג את התפלגות השכר במשק. קוראי הבלוג הותיקים, שקראו את רשימתי על המנהל והפועלים, בודאי לא מופתעים.

לפני כחודשיים דיווחתי כאן על השעייתו של סופרסטאר הבייסבול  מני רמירז ל-50 משחקים, לאחר שבבדיקת סמים שנערכה לו התקבלה תוצאה חיובית. עם הדיווח העליתי נקודה למחשבה: לאור העובדה שבבדיקה התקבלה תוצאה חיובית, מה ההסתברות כי רמירז אכן השתמש בסמים אסורים? נתתי גם רמז עבה לפתרון: מספר 4 ברשימת 15 הסטטיסטיקאים הגדולים.

הבטחתי רשימה בנושא, והנה אני סוף סוף מקיים. לזירוז העניין תרם דוברמן, שפרסם בבלוג שלו את החידה הזו. ההקשר היה שונה (שפעת החזירים במקום סמים אסורים), אבל העקרון זהה. מי שמעוניין לקרוא את הפתרון של דוברמן יכול לקרוא אותו בלינק הזה, אם כי אני מייד אתן הסבר משלי וגם ארחיב על הנושא.

ובכן, מה ההסתברות כי רמירז אכן השתמש בסמים אסורים אם בדיקת הסמים שלו הייתה חיובית? התשובה האמיתית והכנה ביותר שאני יכול לתת לכם היא שאני לא יודע. חסרים נתונים. אז בואו ונמציא נתונים לצורך התרגיל. בדיקת הסמים יכולה לטעות. יכול להיות שנבדק כלשהו משתמש בסמים אסורים, ובכל זאת מתקבלת תוצאה שלילית בבדיקה. גם יכול להיות שהנבדק לא השתמש בסמים אסורים ותוצאת הבדיקה בכל זאת הייתה חיובית משום מה (רמירז לא טען זאת, דרך אגב). אלה הן שתי הטעויות שעשויות לקרות בכל תהליך קבלת החלטות. אבל באיזה סיכוי עשויה כל טעות להתרחש? אני אניח, כמו דוברמן בחידה שלו, כי לכל טעות יש סיכוי של אחוז אחד, כלומר 0.01. (את הסיכויים האמיתיים יודעים  מן הסתם יצרני ערכת הבדיקה). עדיין אין מספיק נתונים. כדי לענות על השאלה צריך גם לדעת מהו אחוז משתמשי הסמים באוכלוסיה הרלוונטית, ואת האחוז הזה קשה מאוד לברר. אני מעריך את המספר הזה ב-5 עד 10 אחוז. מסמך פנימי של ליגת ה-MLB שהודלף לאחרונה אמר כי בשנת 2003 התקבלו תוצאות חיוביות אצל 104 שחקנים שנבדקו (אשמח ללינק – לא מצאתי את הידיעה המקורית). בליגה יש כ-1000 שחקנים, ולכן אחוז המשתמשים הוא בסביבות 10. יש הסבורים כי "תקופת הסטרואידים" שהחלה לקראת סוף שנות התשעים של המאה הקודמת כנראה חלפה כבר מן העולם. אני סבור כי השחקנים פשוט עברו להשתמש בחומרים חדשים, שבבדיקות הנוכחיות לא מזהות. יש להם תמריץ כלכלי לכך. בואו ניקח את המספר העגול של 10% לצורך התרגיל.

נניח שכל 1000 השחקנים נבדקים. מתוכם 100 משתמשים בסמים אסורים, על פי הנחתנו, ומכיוון שהבדיקה תתן תוצאה חיובית אם הנבדק משתמש בסמים ב-99 אחוז מהמקרים, נקבל (תיאורטית) 99 תוצאות חיוביות ותוצאה שלילית אחת. 900 השחקנים האחרים נקיים, ועבור 99% מהם תוצאת הבדיקה תהיה שלילית. כלומר, יתקבלו 891 תוצאות שליליות , ואילו 9 שחקנים חסרי מזל יקבלו תוצאה חיובית  (ואלי יושעו) הגם שלא השתמשו בסמים אסורים. נרכז את המספרים האלה בטבלה:

מתוך 108 שחקנים עבורם התקבלה תוצאה חיובית, 99 אכן משתמשים בסמים, ולכן ההסתברות כי שחקן שתוצאת הבדיקה שלו חיובית אכן משתמש בסמים היא 99/108 כלומר כמעט 92%.

שימו לב כי התוצאה תלויה בהנחה הראשונית על אחוז השחקנים המשתמשים בסמים, שאינו ידוע לנו. אם האחוז הזה הוא רק 5% ולא 10%, אז ההסתברות כי השחקן "שלנו" אכן השתמש בסמים תהיה "רק" 84%.

עכשיו בואו נעזוב את החישובים, ונעבור לדיון עקרוני בתרגיל שנעשה. אנו התמקדנו בשני מאורעות. צפינו במאורע "בבדיקת הסמים התקבלה תוצאה חיובית" והתעניינו במאורע "השחקן שנבדק משתמש בסמים אסורים". כמו כן היו נתונות לנו מספר הסתברויות. הייתה ידועה לנו, בין היתר ההסתברות כי תוצאת בדיקת הסמים היא חיובית כאשר ידוע כי השחקן הנבדק משתמש בסמים אסורים. אבל ההסתברות שעניינה אותנו באמת הייתה ההסתברות כי השחקן הנבדק משתמש בסמים אסורים כאשר ידוע כי תוצאת בדיקת הסמים היא חיובית. שתי ההסתברויות שתיארתי הן הסתברויות מותנות, אבל מתארות מצבים שונים. אחת מתארת הסתברות של מאורע שקורה בהווה (תוצאת הבדיקה חיובית) בהנתן מאורע שקרה בעבר (השחקן השתמש בסמים אסורים). השניה מתארת הסתברות של מאורע שקרה בעבר בהנתן מאורע שקרה בהווה. החישוב שלנו "הפך" את כיוון זרימת הזמן: מההווה לעבר במקום מעבר להווה. וכזכור, כל התרגיל שלנו לא היה מתאפשר ללא הנחה אפריורית כלשהי על אחוז השחקנים המשתמשים בסמים אסורים. הבדיקה אפשרה לנו לעדכן את ההסתברות האפריורית לכך שהשחקן השתמש בסמים אסורים, ולהחליף אותה בהסתברות אפוסטריורית.

הנה תיאור אפשרי אחר של התהליך: בהתחלה לא היה לנו כל ידע לגבי הרגלי השימוש של השחקן המסוים בסמים אסורים, ולכן הנחנו כי הסיכוי לכך שהוא משתמש בסמים כאלה שווה לפרופורציית השחקנים המשתמשים בסמים. הבדיקה שנערכה ותוצאתה נתנו לנו אינפורמציה חדשה, וממנה למדנו כי ההסתברות שהשחקן משתמש בסמים גבוהה הרבה יותר. החישוב שעשינו הוא מעין ביטוי מתמטי לתהליך למידה.

הראשון שניסח את התרגיל ההסתברותי הזה בכתובים היה כומר אנגלי שחי לו במאה ה-18, ושמו תומאס בייס. בייס היה ידוע כמי שעוסק במתמטיקה, ואף היה חבר החברה המלכותית, אם כי בימי חייו לא פרסם אף לא מאמר אחד שתיעד את עבודתו. המאמר המתמטי היחיד שהתפרסם תחת שמו הופיע רק שנתיים לאחר מותו, וזהו למעשה מכתב ששלח לידידו ג'ון קאנטון. במכתב תיאר בייס את הדרך לחשב "הסתברות מותנה הפוכה" (שתיארתי זה עתה). הדוגמא שהביא בייס עסקה, אגב, בסיכויי הנצחון במשחק ביליארד, במיטב המסורת של התפתחות תורת ההסתברות בהתאם לצרכיהם של המהמרים. למעוניינים לקרוא את המאמר עצמו, הנה קישור לקובץ pdf. עותק מקורי של המאמר, דרך אגב, יעלה לכם כ-4200 דולר, אם תמצאו מישהו שמוכן למכור.

הקוראים הותיקים של הבלוג הזה אמורים לדעת כי הזכרתי את בייס בעבר. הוא מופיע במקום ה-4 ברשימת 15 הסטטיסטיקאים הגדולים שערכתי. בעבר קוננתי על כך שמשפט בייס לא הופיע ברשימת 100 המשפטים הגדולים של המתמטיקה שערך מישהו. במסגרת התחקיר לרשימה זו הגעתי ל"פרוייקט מילניום" שנערך על ידי המרכז למדעים קוגניטיביים אוניברסיטת מינסוטה, שניסה לבחור ולדרג את 100 העבודות המשפיעות ביותר על המדעים הקוגניטיביים. מאמרו של בייס היה בין 306 העבודות המועמדות, אך פאנל המומחים שביצע את מלאכת הדירוג לא חשב שהעבודה ראויה דיה כדי להכלל ב-Top 100.

כפי שציינתי כאן בעבר, על הבסיס שהניח בייס צמח ענף שלם של הסטטיסטיקה שנקרא כמובן "סטטיסטיקה בייסיאנית". לסטטיסטיקה הבייסיאנית שימושים מרחיקי לכת. היא עומדת בבסיסן של מערכות הבינה המלאכותית למינהן, ומיושמת במגוון תחומים, החל בגנטיקה וכלה בסינון דואר זבל. אני מסתפק כאן בהפניה למאמר שפרסם פרופ' ישראל בנימיני ב-Ynet לפני מספר שנים, בו יש סקירה נאה של המשפט ושימושיו.

שמחה גדולה אחזה בעולם האסטרונומיה בשנת 1781, עם גילויו של כוכב הלכת אוראנוס. לאחר שכוכב לכת זה נצפה, מסלולו חושב ומרחקו מהשמש הוערך, התברר כי מרחקו מהשמש מתאים לתחזית של "חוק טיטיוס-בודה", מעין להטוט חשבוני (שגוי, כך התברר בדיעבד) המתאר את מרחקו של כוכב לכת מהשמש כפונקציה של מספרו הסידורי. החוק תיאר בצורה טובה את מרחקיהם של כל כוכבי הלכת שהיו חדועים עד אז, אך השאיר "חור" בין מאדים לצדק. לפי החוק, "צריך" היה להיות שם עוד כוכב לכת, שלא נתגלה עדיין.

האסטרונומים הפנו את מאמציהם לגילוי כוכב הלכת האבוד. המאמץ נשא פרי כעבור 20 שנה. באחד בינואר 1801 גילה האסטרונום האיטלקי ג'וזפה פיאצי גוף שמימי שנע במסלול המיועד לכוכב הלכת האבוד. הוא כינה כוכב לכת חדש זה בשם צרס, לכבוד אלת החקלאות הרומית.

שמחתם של פיאצי ועמיתיו הייתה קצרה. לאחר שצפו בצרס במשך 41 לילות, "התקרב" מסלולו אל השמש, ובשל אורה החזק לא יכלו המשיך ולצפות בו. כמובן, כאשר יסיים צרס את הקפתו ויופיע מצידה השני של השמש יוכלו לצפות בו שוב, אבל, היכן בדיוק יופיע בשמי הלילה? הנתונים המועטים שנצברו (רק 22 תצפיות בפועל נאספו במשך 41 הלילות) לא אפשרו חישוב מדוייק של מסלולו.

מספר מלומדים ניסו לחזות את מסלולו של הכוכב הסורר. אחד מהם היה קרל פרידריך גאוס, מתמטיקאי ואסטרונום מהאוניברסיטה של גטינגן (אני מניח שכבר שמעתם עליו אי אלו פעמים). גאוס פרסם את תחזיתו למסלול של צרס בספטמבר 1801. צרס ציית לתחזיותיו של גאוס, והופיע בשמים בהתאם. עם גילוים של אסטרואידים נוספים שנעו במסלול בין מאדים לצדק, חזר גאוס על התרגיל וחישב את מסלולם של רבים מהם.

שרטוט המסלולים של האסטרואידים צרס ופאלאס על ידי גאוס (מקור: http://www.math.rutgers.edu/~cherlin/History/Papers1999/weiss.html)

מה היה הסוד של גאוס? רק ב-1809 פרסם גאוס ברבים את שיטתו, הידועה כיום כשיטת הריבועים הפחותים. ככל הנראה, גאוס נכנע ופרסם את השיטה רק לאחר שהמתמטיקאי הצרפתי לז'נדר פרסם בשנת 1806 את שיטתו לחישוב מסלולי שביטים, ולמעשה הוא שטבע את שם השיטה :"Méthode des Moindres Quarrés ". עם זאת, ידוע כי גאוס הכיר את השיטה כבר ב-1795, והוכיח ב-1798 כי אמד הריבועים הפחותים הוא אמד נראות מירבית – Maximum Likelihood Estimator (כמובן, המושגים האלה, שלקוחים מתחום התיאוריה הסטטיסטית,  עדיין לא היו ידועים בימיו). ב-1823 הוכיח גאוס כי השיטה אכן מספקת את האמד הלינארי הטוב ביותר במובן שזהו האמד הלינארי חסר ההטיה ששונותו מינימלית. מכאן הופיע הביטוי "אמד כחול" בכותרת הרשימה. כחול – BLUE- הם ראשי התיבות של Best Linear Unbiased Estimator. אין צורך להבהל מהמונחים הטכניים האלה, שלא אסביר בפירוט. אומר רק כי במלים פשוטות, גאוס הוכיח כי השיטה אופטימלית בשלושה מובנים שונים – גם נראות מירבית, גם שונות מינימלית וגם חסר הטיה.

גאוס (משמאל) ומרקוב חולקים בתהילה של שיטת הריבועים הפחותים

המתמטיקאי הרוסי אנדריי אנדרייביץ מרקוב, שידוע בעיקר בזכות תרומתו לחקר התהליכים המקריים, תיאר בפירוט את שיטת הריבועים הפחותים בספר שפרסם ב-1912, וניסח אותה מחדש באופן ברור יותר, ובכך תרם את תרומתו להפצתה של השיטה ולפיתוחה. בזכות תרומתו זו זכה לחלוק בתהילה עם גאוס, והמשפט המוכיח את האופטימליות של שיטת הריבועים הפחותים נקרא משפש גאוס-מרקוב.

השיטה והכללותיה משמשות עד היום ככלי מרכזי לניתוח סטטיסטי של נתונים, ונמצאת בשימוש גם במדעים המדוייקים וגם במדעי החברה, בעיקר בתחום הכלכלה. סטיבן לויט, מחבר הספר רב המכר "פריקונומיקס", כתב בספרו כי השימוש בשיטה הוא "יותר אמנות מאשר מדע". אני חולק על דבריו. זוהי שיטה מדעית, המבוססת על תיאוריה מתמטית. יש לה יתרונות עצומים, כמובן, אך גם מגבלות. המשתמש בה חייב תמיד להיות מודע למגבלות האלה, ולא, מסקנותיו יהיו שגויות.

עד כאן ה"ציונות". אבל מהי בעצם שיטת הריבועים הפחותים? אנסה כעת לתת הסבר שווה לכל נפש.

נניח כי יש בידינו קבוצת נתונים, שנאספה ממדגם כלשהו. לכל פרט במדגם יש שני נתונים כמותיים. לדוגמא, אם אנו מסתכלים על מדגם של כפרים, נתון אחד יכול להיות מספר החסידות שקיננו בכפר באביב, והנתון השני יכול להיות מספר הלידות שהיו בכפר בקיץ שלאחר מכן. כלכלנים יעדיפו אולי להסתכל על מדגם של מדינות, כאשר נתון אחד הוא גובה המס שמטילה ממשלת המדינה על העסקים בתחומה, והנתון השני הוא הכנסות הממשלה ממסים באחוזים מהתמ"ג. חוקרים בחברת תרופות יסתכלו על מדגם של חולים, ויאספו נתונים על מינון התרופה הנסיונית שניתן לכל חולה ועל השינוי במצבו. בכל מקרה, אפשר לשרטט את הנתונים שהתקבלו על מערכת צירים, ומתקבלת דיאגרמת פיזור (scatterplot). בשרטוט אנו רואים מדגם בגודל עשרה כפרים. הנקודה המסומנת בחץ, לדוגמא, מייצגת כפר במדגם בו קיננו עשר חסידות ונולדו שני תינוקות (הנתונים לא אמיתיים, כמובן, אלא נדגמו ממוחי הקודח):

נניח שאנו רוצים לגלות האם קיים קשר קווי בין שני המשתנים. במלים אחרות, אנו שואלים את עצמנו האם ניתן לשרטט על מערכת הצירים קו שיתאר את הקשר בין המשתנים? כמובן שאי אפשר לשרטט קו ישר שיעבור דרך כל 10 הנקודות, אבל ישנם הרבה (אינסוף) קוים שעוברים דרך "ענן" הנקודות שלנו.  שרטטתי כמה מהם על פני מערכת הצירים. איזה מהם מתאר את הקשר בין שני המשתנים בצורה הטובה ביותר?

הנה הרעיון של גאוס. הוא בחר קו ישר אחד, ומדד את המרחק האנכי מכל נקודה אל הקו. סימנתי את המרחק האנכי מכל נקודה אל הקו על השרטוט שלנו. בכפר הראשון, בו קיננו 2 חסידות והיו 10 לידות, המרחק האנכי (כלומר אורך הקו האדום) הוא בערך 5. בכפר השני, בו קיננו 3 חסידות והיו 5 לידות, אורך הקו האדום הוא בערך 0.5, אבל כיוון שהנקודה נמצאת מתחת לקו, המרחק האנכי הוא 0.5-.

הקו האידיאלי הוא זה שעבורו כל המרחקים האנכיים שוים לאפס, אבל קו כזה לא קיים בדרך כלל. לכן אין ברירה אלא לחשב את הקו האופטימלי. אפשר, למשל, לחפש את הקו שעבורו סכום המרחקים בערכיהם המוחלטים הוא מינימלי. גאוס הבין כי עדיף לחפש את הקו שעבורו סכום ריבועי המרחקים הוא מינימלי (מכאן השם "ריבועים פחותים" – "Least Squares"). גאוס גם הראה כיצד ניתן למצוא את הקו האופטימלי. כל קו ישר ניתן לאפיון מלא על ידי שני פרמטרים – שיפועו ונקודת החיתוך שלו עם הציר האנכי. לכן ניתן לרשום את סכום ריבועי המרחקים האנכיים כפונקציה של שני הפרמטרים האלה, ולמצוא את נקודת המינימום של הפונקציה. ניתן לעשות זאת על ידי שימוש בחשבון דיפרנציאלי או תוך כדי שימוש בשיקולים גיאומטריים/אלגבריים. אפשר לחשב ולמצוא כי הקו האופטימלי לנתונים שבדוגמא הוא:

ניתן לפרש זאת בערך כך: גם ללא חסידות יהיו בממוצע 6.8 לידות, וכל חמש (בערך) חסידות נוספות יביאו ללידת תינוק נוסף. אינטרפרטציה מפתה נוספת היא אינטרפרטצית הניבוי: מה יקרה בכפר בו יקננו 20 חסידות? אם נציב 20 בנוסחא, קו הריבועים הפחותים ינבא כי יהיו בכפר זה 10.6 לידות.

אבל, אבוי, קו הריבועים הפחותים אינו מאפשר ניבוי אמיתי. הפרמטרים הנאמדים (שהם כזכור שיפוע הקו ונקודת החיתוך שלו עם הציר האנכי) תלויים ישירות במקדם המתאם בין שני המשתנים. קו הריבועים הפחותים מתאר קשר אפשרי בין המשתנים, אבל לא סיבה ותוצאה. גם אם היינו מחליפים את תפקידי המשתנים, כמספר הלידות הוא המשתנה ה"מסביר" את מספר החסידות (כמשתנה ה"מוסבר"), מקדם המתאם בין שני המשתנים לא היה משתנה, וההסבר לפיו מספר החסידות מנבא את מספר הלידות הגיוני בדיוק כמו ההסבר לפיו מספר הלידות מנבא את מספר החסידות.

זאת ועוד: קו הריבועים הפחותים מתאר רק את מה שקורה בתחום הערכים בו צפינו. הוא לא יכול לומר לנו שום דבר על מהות הקשר בין המשתנים מחוץ לטווח הזה. במלים אחרות: קו הריבועים הפחותים הוא מודל תיאורי של הנתונים, וככזה הוא מוגבל להסברה של הנתונים המתוארים ותו לא. המציאות עשויה להיות שונה. באיור הבא מובאות ארבע דיאגרמות פיזור שמצאתי באינטרנט, עם קוי הריבועים הפחותים שהיו עשויים להתקבל לו הייינו מסתכלים רק על טווח חלקי של הנתונים:

קו הריבועים הפחותים מול המציאות - ארבע דוגמאות

גאוס הצליח בניבוי המסלול של צרס בעזרת קו הריבועים הפחותים כיוון שהסתבך על מודל מוצק, לפיו צרס (כמו שאר כוכבי הלכת) מקיף את השמש במסלול אליפטי. לאחר שיש מודל, הכלים הסטטיסטיים יכולים לאפשר את אמידת הפרמטרים שלו. ההיפך לא בהכרח נכון. ניתן להשתמש בכלים הסטטיסטיים כדי לתאר את הנתונים, אך אין די בכך כדי לבנות ולאשר מודל. לצערנו, ישנם אנשים שבכל זאת בונים מודל סביב הנתונים הסטטיסטיים שלהם, מבלי להתחשב במגבלות של כלי הרגרסיה.

במצפה הכוכבים שבגטינגן ישב קרל פרידיריך גאוס ועמל על חישוב מסלוליהם של גרמי השמיים. גאוס, גדול המתמטיקאים של המאה ה-17 (ואולי גדול המתמטיקאים אי פעם), היה מודע לטעויות המדידה של תצפיותיו. הוא הבחין כי להתפלגות של הטעויות המצטברות יש צורה פעמונית – רוב הטעויות מתרכזות סביב ערך מרכזי, אבל לעיתים ערכי הטעויות מצטברים לסכום גבוה או נמוך במיוחד. גאוס הצליח למצוא את הנוסחה המתמטית המאפיינת את ההתפלגות הפעמונית הזו ופרסם אותה במאמר בשנת 1809. אבל האם הבחין כי מדובר בחוק כללי הניתן ליישום גם לגבי תופעות אחרות? ייתכן שכן, אך הוא לא טרח לתעד זאת.

אברהם דה-מואבר - הראשון שהוכיח את קיומו של הגבול המרכזי

אברהם דה-מואבר, צרפתי הוגנוטי שגלה לאנגליה בסוף המאה ה-17, לא הצליח למצוא משרה אקדמית בארצו החדשה, ולכן נאלץ לעסוק בהוראה פרטית ובייעוץ למהמרים. הוא חקר את פרופורציית ההצלחות בסדרות של הימורים, וגילה כי להתפלגות הפרופורציות יש צורה פעמונית – בדרך כלל פרופורציית הזכיות קרובה לסיכוי הזכיה בהימור, אך לעתים פרופורציית הזכיות גבוהה במיוחד או נמוכה במיוחד. דה-מואבר הצליח למצוא את הנוסחה  המתמטית המאפיינת את ההתפלגות הפעמונית הזו, ואף הוכיח כי כאשר מספר ההימורים גדל, הולכת ההתפלגות ומתקרבת אל הנוסחה התיאורטית. הוא פרסם תוצאה זו בספר שהופיע בשנת 1718. למרבה הצער, ספרו של המתמטיקאי האלמוני לא היה לרב מכר, למרות שהופיע במספר מהדורות.

פייר סימון לפלס לא היה מתמטיקאי אלמוני כלל וכלל כאשר הופיע ספרו "התיאוריה האנליטית של ההסתברות" בשנת 1812. לפלס התעניין גם בהימורים וגם בתנועות הכוכבים, ולכן הכיר גם את עבודתו של גאוס בנושא, וגם את המשפט של דה-מואבר. לכן הבחין לפלס בקשר בין שתי העבודות, ויצר מהן משפט חדש – משפט הגבול המרכזי. עבודתו של לפלס הושלמה על ידי מתמטיקאים שבאו אחריו – פואסון, צ'ביצ'ב, מרקוב, ליאפונוב, לינדברג, פלר ולוי – כולם תרמו לניסוח ההוכחה המדוייקת של משפט זה.

על פי משפט הגבול המרכזי (בניסוח רשלני) – ההתפלגות של ממוצע תצפיות מקריות ובלתי תלויות שואפת לגבול מרכזי – וגבול זה הוא ההתפלגות הפעמונית המפורסמת. התפלגות זו ידועה בגרמניה בשם "התפלגות גאוסיאנית", בצרפת בשם "התפלגות לפלס" ובכל מקום אחר בשם "ההתפלגות הנורמלית". גרמניה הביעה את הערכתה לגאוס כאשר הדפיסה את דיוקנו על השטר של 10 מרק (שכבר אינו בשימוש). על השטר ניתן לראות את הפעמון המפורסם של העקומה הנורמלית ואת הנוסחה המתמטית המאפיינת אותה.

המשפט הזה מקל עד מאוד את חייהם של הסטטיסטיקאים – במקרים רבים מאוד אין צורך לחשב הסתברויות מדוייקות – כיוון שעל ידי שימוש במשפט ניתן לערוך חישוב מקורב שהינו מדוייק דיו לכל צורך מעשי. שיטתו של גאוס להערכת שגיאות המדידה (שהוזכרה בראשית רשימה זו) משמשת עד היום כל חוקר במדעי הטבע והחברה – פשוט אין בנמצא שיטה טובה ממנה (על כך אכתוב ברשימה אחרת) ועקרונות המשפט המקורי שניסח דה-מואבר עומדים ביסודותיהם של כל סקרי הדגימה ומספקים פרנסה לכל מכוני הסקרי למינהם.

פורסם לראשונה באתר "רשימות" בתאריך 11 בספטמבר 2005

בית קזינו מוכן להכפיל את כספו של כל מי שינחש נכונה את הצבע שיעלה בסיבוב הבא של גלגל הרולטה – שחור או אדום. חברות ביטוח משפות את לקוחותיהן על הנזקים שנגרמו להם. סטטיסטיקאי מודיע על תוצאת הבחירות מייד  לאחר סגירת הקלפיות, ורשויות הבריאות מאשרות תרופות חדשות לשימוש (ולפעמים גם מורות על הפסקת השימוש בתרופות מסוימות). קבוצת ספורט מחליטה לחתום על חוזה שמן עם שחקן כוכב. כל אלה הם שימושים של חוק המספרים הגדולים.

מבין המשפטים הגדולים של הסטטיסטיקה – חוק המספרים הגדולים הוא ככל הנראה הבסיסי ביותר. ניסוח מעט רשלני של החוק אומר כי אם אתה צופה בסדרה אינסופית של תצפיות מקריות שאינן תלויות זו בזו, אשר כולן מתארות את אותה התופעה, אזי ממוצע הסדרה ילך ויתקרב לערך קבוע. ערך זה הוא התוחלת של התופעה המקרית הנצפית.

למתמטיקאים יש ניסוחים מדויקים לטענה הזו, וכמובן שגם הוכחה. המתמטיקאי השוויצי יעקב ברנולי הוכיח את הגרסה הראשונה של החוק בסוף המאה ה-17, וגרסאות מורחבות וחזקות יותר שלו הוכחו מאוחר יותר.

יעקב ברנולי הונצח על בול שוויצי. ברקע הניסוח המתמטי של חוק המספרים הגדולים, אותו הוכיח ברנולי לפני יותר מ-300 שנה, ותיאור גרפי של החוק.

מדוע החוק הזה חשוב כל כך? אנסה להסביר זאת באמצעות דוגמא פשוטה יחסית – גלגל הרולטה.

 גלגל הרולטה בקזינו של מונטה קרלו מחולק ל-37 גזרות שוות, ועל כל גזרה רשום אחד מבין המספרים 0, 1,2,… ועד 36. 18 מבין המספרים מסומנים בצבע אדום, 18 בשחור, ואילו המספר אפס מסומן בצבע ירוק. ההימור הפשוט ביותר מאפשר לך לבחור את אחד הצבעים, אדום או שחור. אם הימרת על סכום של יורו אחד כי בסיבוב הבא של הרולטה יעלה מספר המסומן באדום, ואכן כך קרה, היורו שלך יוחזר לך יחד עם יורו נוסף בו זכית. אם לא עלה בגורל מספר "אדום"… אתה יכול לנסות שוב את מזלך.

אם הסיכויים של כל המספרים לעלות בגורל שווים, הרי שהסיכוי כי יעלה בגורל מספר מסויים (7, למשל) הוא 1/37. הסיכוי כי יעלה מספר אדום בגורל הוא לכן 18/37, והסיכוי כי יעלה מספר שאינו אדום בגורל הוא 19/37. גם בהימור על שחור הסיכויים לזכות הם 18/37 ולהפסיד – 19/37. כלומר, בכל הימור על אדום/שחור הסיכוי לזכיה הוא 18/37 והסיכוי להפסד הוא 19/37.

אבל כל זה רק תיאוריה – תיאוריה המבוססת על מודל הסתברותי. האם התיאוריה עומדת במבחן המציאות? דרך אפשרית לבחון את התיאוריה היא לנסות אותה במציאות. הבה נבצע המון (אבל ממש המון) סיבובים של גלגל הרולטה, ונבדוק מהי פרופורציית הפעמים בהן עלה בגורל מספר "אדום" מתוך כלל הסיבובים. נשמע הגיוני.

אבל ההגיון של מתמטיקאים מוזר למדי. כדי שהניסוי המוצע יניח את דעתם, עליו להסתמך על משפט מתמטי כלשהו. חוק המספרים הגדולים מקשר בין המודל ההסתברותי – ובין הניסוי הסטטיסטי, ולכן מהווה את הבסיס המתמטי לניסוי הזה. אם המודל המתמטי אכן מתאר נכונה את התנהגות גלגל הרולטה, אז חוק המספרים הגדולים אומר כי פרופורציית הפעמים בהן יעלה בגורל מספר "אדום" תהיה בקירוב 18/37.

ומה יוצא לקזינו מכל זה? כסף, הרבה כסף. ב-18/37 (או 48.6%) מההימורים יפסיד הקזינו יורו, וב-51.4% מההימורים ירוויח הקזינו יורו. הרווח הממוצע להימור כזה הוא לכן 0.027 יורו להימור. אבל אם סך כל ההימורים האלה בערב אחד הוא 100,000 יורו (סתם זרקתי מספר) הרווח מהימור פשוט כזה הוא כ-2700 יורו. לא רע. כמובן שיש הימורים בהם הסיכויים של המהמר להרוויח נמוכים יותר (וסיכויי הקזינו לזכות גבוהים יותר), ואז גם הרווח של הקזינו גדל בהתאם. תראו את הרווחים של חברות הביטוח.

כשמשתמשים בחוק המספרים הגדולים – חשוב מאוד להיות מודעים למגבלות שלו. הבה ונראה מה עלול לקרות אם לא עושים זאת.

קודם כל, רצוי מאוד כי התנאים של המשפט יתקיימו. אם שחקן כדורסל קולע בממוצע 30 נקודות למשחק במשך 5 עונות בהן שיחק כ-450 משחקים, זה באמת הישג ראוי לציון. אבל לפני שתחתימו את הכוכב על חוזה שמן, עצרו וחשבו: האם באמת אנו צופים בסדרה של תצפיות בלתי תלויות? (הדעות חלוקות). האם הסדרה תימשך עד אינסוף? סביר להניח שלא.

גם אם התנאים של המשפט מתקיימים, איזה מודל הסתברותי משקפות התצפיות? אם המודל שלכם הוא לא המודל הנכון, אתם עלולים למצוא את עצמכם מכריזים על ניצחון בבחירות של מועמד שדווקא הפסיד, כמו שלמשל קרה לעיתון ה-Literary Digest ב-1936.

גם אם תנאי המשפט מתקיימים, והמודל הוא המודל נכון, יש עוד בעיה קטנה. המשפט מדבר על התנהגות סדרת התצפיות באינסוף. באופן מעשי, אפשר להסתפק במספר סופי של תצפיות, אם המספר הזה מספיק גדול. זהו "גודל המדגם" המפורסם. מהו מדגם גדול מספיק? תנו לי מספר, ואתן לכם דוגמא בה המספר הזה אינו מהווה גודל מדגם מספיק גדול. חוק המספרים הגדולים אינו אומר דבר על "קצב ההתכנסות" של סדרת הממוצעים. לכן כדי לקבוע את גודל המדגם יש להשתמש בכלים אחרים, ועל כך אכתוב ברשימה אחרת.

פורסם לראשונה באתר "רשימות" בתאריך 19 ביולי 2005 23:07 שם התקבלו 8 תגובות

גילי נחום  בתאריך 7/20/2005 12:39:52 AM

מעניין מאוד

עוד לפני כמה שנים חשבתי להרוויח 200 דולר ללילה בעזרת הטכניקה הבאה:
(נניח שההימור הוא הוגן p=0.5)
להמר 200 דולר, אם הרווחתי אז לסגור את הבסטה וללכת לבית שמח ומאושר, במידה והפדסתי אז אהמר שוב בסכום הנדרש לזכות ב- 400 דולר (בכדי לכסות על ה- 200 הפסד ולהרוויח 200) אם הפסדתי שוב אז להמר על סכום שיכסה את ה- 600 הפסד ויביא לי רווח נטו 200 וכן הלאה…
בהנחה שאני לא יכול להפסיד לנצח אני ארוויח מתישהוא את ה- 200 דולר הללו ואפרוש מהקזינו עם 200 דולר רווח באותו הלילה (לא רע).
השאלה היא מה הסיכוי שיגמר לי הכסף לפני שאצליח להרוויח את ה200 דולר (נאמר שיש לי מגבלה של 20000 דולר).

lior  [אתר]  בתאריך 7/20/2005 6:24:15 AM

גילי

בו נבדוק.
ב 20,000 הדולר שלך אתה יכול להשתמש (20,000/100) פעם להימור של 200 דולר. בגלל שאתה מתכוון להכפיל את הסכום ב 2 בכל שלב, אתה יכול להמר רק
log2(20000/200) פעמים. אם נעלה קצת את הסכום הכולל שאתה מוכן להשקיע זה יוצא 7.
הסיכוי שתזכה בפעם הראשונה הוא 0.5^1. הסיכוי שתזכה בפעם השניה הוא 0.5^2, וכן הלאה. מתקבל כאן טור הנדסי מ 1 עד 7 שאת סכומו ניתן לחשב על ידי:
0.5*)0.5^7-1(/)0.5-1(
כלומר, הסיכוי שתזכה ב 200 דולר הוא 0.99218.
אם השקעת ב 7 סיבובים סכום של 25,600 דולר, תוחלת ההפסד שלך שווה ל:
)1-0.99218(*25,600(=~200
תוחלת הרווח גם היא 200 דולר. לכן, כצפוי, לא הרווחת ולא הפסדת.

lior  [אתר]  בתאריך 7/20/2005 6:25:49 AM

טעות קטנה

ב 20,000 דולר אפשר להמר 20,000/200 שזה 100 פעמים.

yoav  בתאריך 7/20/2005 1:28:40 PM

שיטה מוצלחת, אבל:

מהסיבה הזו, בתי הימורים מגבילים את הסכום המקסימלי שמותר להמר, וכך חוסמים את יעילות השיטה.

יוסי לוי  [אתר]  בתאריך 7/20/2005 10:32:27 PM

בעניין שיטת ההכפלה

אני ממליץ לכל מי ששוקל להשתמש בשיטה זו בביקורו הקרוב בקזינו, לקרוא את מה שנכתב במדור השאלות הנפוצות של פורום המתמטיקה של תפוז על הנושא הזה:
http://www.tapuz.co.il/tapuzfo….mFAQAnswer.asp?id=457&QID=2033

גילי נחום  בתאריך 7/26/2005 5:03:12 AM

אנסה לסכם:

לינק מעולה, תודה יוסי.
1. הסכומים שצריך לשריין על מנת להיות בטוחים באחוזים גבוהים שלא יגמר לנו הכסף הם אדירים.
2. גם אז תמיד ישנו הסיכוי (גם אמנם קטן) שנפסיד את הסכומים ששריינו (שלהזכירכם הם סכומים אדירים) מכיוון שנגמר לנו הכסף. האם אנו מוכנים לסיכון זה?
3. בפועל לא עומד לרשותנו סכום כל כך גדול לשריין לצורך הפרוייקט ולכן הוא לא בר ביצוע, ובמידה וכן עומד לרשותנו הסכום הנ"ל אז אנו עשירים דה פקטו ולמה להתעסק בשטויות במקום לקחת חופשה בקנקון?!
הדגמה קטנה!
נצהיר שמטרתנו היא לסיים את הערב עם 200 רווח.
סדר ההימורים וסכומם:
1. 200
2. 400 (מכסה הפסדים 200 ורווח 200)
3. 800
4. 1,600
5. 3,200 (מכסה הפסדים 3000 ורווח 200)
6. 6,400
7. 12,800
8. 25,600
…
נניח ומגבלת התקציב שלנו היא 12600, לכן נאלץ לעצור לאחר ההימור ה- 6 (כי 6400+3200+1600+800+400+200= 12,600)
ההסתברות שנגיע למצב זה היא 0.5 בחזקת 6 (בערך אחוז וחצי) ולכן בממוצע נפסיד כל ערב
196.875.
ההסתברות שנרוויח 200 בסוף הערך היא 1 מינוס ההסתברות של פשיטת רגל ובממוצע נרוויח כל ערב
בדיוק 196.875.
ולכן בסך הכל לאורך זמן לא הפסדנו ולא הרווחנו (כי ההימור הוא הוגן)
אם ההימור לא יהיה הוגן אז באותה צורה בדיוק לאורך זמן נצפה להפסדים.
כלומר תוחלת הרווח תשאר שלילית.

יניב  בתאריך 1/28/2008 1:45:19 AM

מה עם האפס

נראה לי ששכחתם פרט קטן, בנוסף לשחור ואדום יכול לצאת "0" שבו הבית זוכה, כלומר לא אדום ולא שחור….

יוסי לוי  [אתר]  בתאריך 1/28/2008 12:59:10 PM

ליניב

זה לא משנה את העקרון…

אתה נוהג ברכבך בכביש צר, בו יש נתיב אחד לכל כיוון. לפניכם נוסעת משאית באיטיות מרגיזה. אתה רוצה לעקוף את המשאית, אך היא חוסמת את רוב שדה הראיה שלך. נוסף לכך, משאיות נעות מדי פעם גם בכיוון הנגדי. לעקוף או לא לעקוף?

אם לא תעקוף תאחר למחוז חפצך. זה מרגיז, כי מדי פעם אתה רואה כי היית יכול להספיק לעקוף בביטחה. לעומת זאת, אם תצא לעקיפה אתה עלול למצוא את עצמך בהתנגשות חזיתית עם משאית שנוסעת בכיוון הנגדי. מה עושים? איך מחליטים?

יצאתם לטיול ביער וגיליתם פטריות. אתם מאוד אוהבים פטריות, אבל גרועים בזיהויין. האם תאכלו את הפטריות? אולי אלה הן פטריות רעילות? אם הפטריות ראויות למאכל ותחליטו לוותר על אכילתן, הפסדתם ארוחה טעימה. לעומת זאת, אם תאכלו פטריות רעילות, מצבכם עדין.

אבל, מה תעשו אם הגעתם לאי בודד לאחר שספינתכם נטרפה, ותגלו כי המאכל האפשרי היחיד באי הוא פטריות?

רופא בודק חולה שמצבו חמור. יש שני גורמים אפשריים למצבו של החולה, ולכל אחד מהגורמים קיים טיפול יעיל. אולם, מתן הטיפול לגורם אחד יהיה קטלני אם המחלה נגרמה עקב הגורם השני. אי אפשר לתת את שני את שני הטיפולים ביחד. כאן, לשתי הטעויות האפשריות יש תוצאה מרה אחת.

נאשם עומד למשפט. ייתכן כי הנאשם חף מפשע, ובכל זאת העדויות ישכנעו את השופט כי הוא אשם. אדם חף מפשע יישלח במקרה זה לכלא. ייתכן גם כי הנאשם אמנם ביצע את הפשע המיוחס לו, אך הראיות שיוצגו במשפט לא יספיקו כדי להרשיעו. במקרה זה, הפושע "יחזור לרחובות". זוכרים את הסקר הזה?

איזו טעות עדיפה?

איך יכריע השופט את הדין כך שיקטין את הסיכוי להרשיע חף מפשע וגם את הסיכוי לשלח פושעים מסוכנים לחפשי?

נניח שהשופט אדם בעל עקרונות הרואה בשליחת חף מפשע לכלא טעות בלתי נסבלת. שופט כזה ידרוש ראיות רבות יותר ובעלות משקל רב יותר לצורך הרשעה, ולכל ספק שיינטע בליבו לגבי אשמתו של הנאשם הוא ייתן משקל נכבד. השופט כמובן ידרוש ראיות כאלה מכל תובע המופיע בפניו, שכן הוא שופט את כולם ללא משוא פנים, וכל נאשם הריהו בחזרת חף מפשע עד שלא תוכח אשמתו. שופט זה עדיין עלול לטעות לעיתים ולהרשיע נאשם חף מפשע, אך הסיכוי לכך הוא קטן.

אבל אין ארוחות חינם. המחיר שמשלם שופט זה הוא בסיכויים גבוהים יותר לזיכוי נאשמים שאינם חפים מפשע, כי כאמור, גם מתובעיהם של נאשמים אלה דורש השופט ראיות רבות ומוצקות.

חברו של השופט, היושב בדין באולם הסמוך, סבור לעומת זאת כי יש להמנע ככל האפשר מזיכוי מוטעה של אשמים. הוא מסתפק בראיות קלות יותר כדי להשתכנע כי הנאשם העומד מולו אכן אשם. רק לעתים רחוקות יזכה שופט זה בטעות אדם אשר אכן ביצע את הפשע המיוחס לו. אבל בלהטו לשלוח את הפושעים אל מאחורי סורג ובריח, שולח שופט זה גם חפים מפשע אל הכלא, ובתדירות גבוהה יותר מאשר חברו המקשה על התובעים.

בואו נחזור אל הדוגמה שפתחה את המאמר. אני, למשל, אעדיף להמשיך ולנסוע מאחורי המשאית, ולא לקחת סיכון של עקיפה כאשר שדה הראיה חסום. ואם אפשר היה לעקוף? טוב, אז טעיתי ולא עקפתי. קצת איחרתי. לא נורא. העיקר שלעולם לא אמצא את עצמי דוהר לתוך משאית הנוסעת מולי. הסיכוי שאעשה את הטעות הראשונה – לא לעקוף כאשר אפשר – הוא 1, אבל בתמורה הקטנתי את הסיכוי לעשות את הטעות האפשרית השניה – עקיפה בנתיב לא פנוי – ל-0.

אבל השופט לא יכול להרשות לעצמו מדיניות כזו. אי אפשר לשלוח את כל הנאשמים לכלא, למרות שזה מבטיח כי אף פושע לא יסתובב חופשי ברחובות, וגם אי אפשר לזכות את כל הנאשמים, למרות שכך מובטח כי לא תשלל חירותו של אף אדם חף מפשע. השופט חייב לאמץ כלל החלטה לפיו יקבע לגבי כל נאשם האם הוא אשם או חף מפשע.

בכל מצב של קבלת החלטות חוזרת הסיטואציה הזו – כל החלטה עשויה להיות מוטעית, ונסיון להקטין את הסיכוי לטעות מסוג אחד מגדיל את הסיכוי לטעות מהסוג השני, ולהיפך. יש שתי אפשרויות להתמודד עם הבעיה הזו. הדרך הראשונה היא לאסוף יותר אינפורמציה. כאשר הצגתי את בעיית המשאית בקורס "מבוא לסטטיסטיקה" אותו לימדתי, טענו הסטודנטים, ובצדק, כי אפשר לסטות מעט שמאלה, לראות מה מצב התנועה בנתיב הנגדי, ואז לקבל את ההחלטה אם לעקוף או לא. עדיין יש סיכויים לקבלת החלטה מוטעית, אולם סיכויים אלה קטנים יותר בזכות האינפורמציה הנוספת שהושגה. באופן דומה, אפשר לקחת את הפטריות לבדיקה, לבקש חוות דעת מרופא נוסף, ולזמן עוד אנשים לעדות. אבל כל זה מקטין את ממדי הבעיה העקרונית, ולא פותר אותה. האפשרויות לטעות עדיין קיימות, וכך גם הסיכויים. ומה עושים כאשר לא ניתן לאסוף עוד אינפורמציה או שאיסוף אינפורמציה נוספת פשוט יקר מדי (במונחי זמן או כסף או בכל אופן אחר)?

שני סטטיסטיקאים, גרז'י ניימן ואגון פירסון, הציעו גישה אחרת לבעיה. הבה נקבע עבור אחת הטעויות האפשריות סיכוי לטעות שניתן "לחיות איתו", נניח 5%. עכשיו נסתכל על כל כללי ההחלטה האפשריים שבהם הסיכוי לטעות הוא 5%. האם יש בינהם כלל החלטה עבורו הסיכוי לטעות את הטעות מהסוג השני הוא מינימלי? בודאי. האם ניתן לאפיין את הכלל הזה? ניימן ופירסון הוכיחו שכן. האפיון של כלל ההחלטה האופטימלי ידוע בשם המתחייב "הלמה של ניימן ופירסון".

גרז'י ניימן (מימין) ואגון פירסון. בין השנים 1928 ל-1933 פרסמו השניים סדרת מאמרים שעיצבה מחדש את הסטטיסטיקה המודרנית.

כדי להסביר את הלמה של ניימן ופירסון אגדיר מחדש את המושגים שבבסיסה.

שני המצבים האפשריים (הכביש פנוי או לא פנוי לעקיפה, הנאשם חף מפשע או אשם) נקראים "השערות". אחת ההשערות היא "ההשערה הבסיסית" או "השערת האפס", וההשערה השניה היא "ההשערה האלטרנטיבית". אציין כי בדרך כלל ההשערה הבסיסית היא המצב בו מקובל להאמין. כך למשל, מקובל כי כל נאשם העומד לדין הינו בחזקת חף מפשע עד שיוכח אחרת, ולכן בבית המשפט ההשערה הבסיסית אומרת כי הנאשם חף מפשע.  כיוון שכך, על המחליט למצוא כלל החלטה לפיו ידחה את ההשערה הבסיסית (ואז יקבל את ההשערה האלטרנטיבית) או שלא ידחה את ההשערה הבסיסית (ואז לא יקבל את ההשערה האלטרנטיבית), וכל זאת בהסתמך על אינפורמציה נתונה.

דחיה מוטעית של ההשערה הבסיסית מכונה לכן בפי הסטטיסטיקאים "טעות מהסוג הראשון", וההסתברות לדחיה מוטעית של ההשערה הבסיסית נקראת רמת המובהקות של כלל ההחלטה. קבלה מוטעית ¹ של ההשערה הבסיסית נקראת בפי הסטטיסטיקאים "טעות מהסוג השני". בדרך כלל מעניינת ההסתברות לא לטעות טעות זו, כלומר ההסתברות לא לטעות את הטעות מסוג השני. הסתברות זו לכן זכתה לשם מיוחד משלה: העצמה של כלל ההחלטה.

ובכן, הלמה של ניימן ופירסון מאפיינת את כלל ההחלטה האופטימלי – שהוא כלל ההחלטה בעל העצמה המקסימלית מבין כל כללי ההחלטה ברמת מובהקות נתונה.

ניימן ופירסון מציעים לחשב את ההסתברות P0 כי נצפה באינפורמציה שיש בידנו לו המצב האמיתי הוא מצב ההשערה הבסיסית, וכן את ההסתברות P1 לצפות באינפורמציה זו לו המצב האמיתי הוא מצב ההשערה האלטרנטיבית. כלל ההחלטה מורכב מהיחס של שתי הסתברויות אלה. אם היחס P1/P0 גדול מסף מסויים, נחליט כי המצב האמיתי הוא המצב המתואר כל ידי ההשערה האלטרנטיבית, כלומר נדחה את ההשערה הבסיסית. אם לא, אזי לא נדחה את ההשערה הבסיסית. את ערך הסף נקבע כך שלכלל ההחלטה שלנו תהיה רמת המובהקות (כלומר, הסתברות לדחיה מוטעית של ההשערה הבסיסית) הרצויה לנו. על פי הלמה של ניימן ופירסון, מובטח לנו כי כלל ההחלטה הינו בעל עצמה מקסימלית (כלומר ההסתברות לקבלה מוטעית של ההשערה הבסיסית היא מינימלית).

הלמה של ניימן ופירסון היא ככל הנראה המשפט השימושי ביותר בסטטיסטיקה. זה לא מפתיע, כיוון שתפקידה המרכזי של הסטטיטיקה הוא לאפשר קבלת החלטות בתנאי אי ודאות. ניימן ופירסון נתנו בידנו את הכלי לבניית כלל ההחלטה הטוב ביותר האפשרי.

פורסם לראשונה באתר "רשימות" בתאריך 6 באוגוסט 2005 22:25, שם התקבלה תגובה אחת

חיים פ  בתאריך 5/29/2006 11:48:16 PM

לא ברור

לא הדגמת את הישום האחרון (שופט)
הבא נניח שאני יכול לבצע עקיפה מוצלחת בהסתברות של 99%
או בהסתברות של 98%
מהם פתרונות שמציעה הלמה?