חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור 'הממ… מעניין…'

בעיית ימי ההולדת

שוב פירסמתי סקר בטוויטר שמאחוריו מסתתרת רשימה על בעיה מעניינת בהסתברות – והפעם בעיית ימי ההולדת. הנה השאלה והתפלגות התוצאות:

בואו ננסה להבין ביחד מה קורה כאן. לשם כך, כרגיל, צריך להניח הנחות.

ההנחה הראשונה היא שאין תלות בין תאריכי הלידה של שני אנשים שונים. כלומר, אם אתם יודעים, למשל, שאני נולדתי ב-13 באוקטובר[1], זה לא אומר לכם כלום על תאריך ההולדת של דונלד טראמפ, וגם לגבי תאריך ההולדת של כל אדם אחר. שימו לב שבהנחה הזו אנו מוציאם מהמשחק אפשרות של תאומים, שלישיות וכולי.

ההנחה השנייה היא שיש בשנה 365 ימים, ויש לכן 365 ימי הולדת אפשריים. ההנחה הזו מאפשרת לי להתעלם מכל האנשים המעצבנים שנולדו ב-29 לפברואר.

ההנחה השלישית היא שהתפלגות ימי ההולדת היא אחידה. פירוש הדבר הוא שהסיכוי כי אדם שבחרתם באופן מקרי נולד ב-1 בינואר שווה לסיכוי שהוא נולד ב-35 במאי, או בכל יום אחר בשנה, והסיכוי הזה הוא 1/365.

כרגיל, אפשר להתווכח על ההנחות, ולהחליף כל הנחה בהנחה אחרת, אבל זה רק יגרום לחישובים יותר מסובכים, בעוד שהתשובות המהותיות לא ישתנו. אם החישובים לא מדברים אליכם, דלגו עליהם, והתרכזו בעקרונות ובתוצאות. כדאי לכם להגיע עד הסוף, כי יש גם סרט.

ועכשיו נענה לשאלות. אם יש 23 אנשים באוטובוס, מה ההסתברות שלשניים מהם יש יום הולדת באותו יום?

אפשר לשאול את השאלה הזו בצורה אחרת: מה המספר המינימלי של אנשים באוטובוס כדי שההסתברות שלשניים מהם יש יום הולדת באותו יום תעלה על 50%?

קודם כל אסביר מדוע יש מספר אנשים שבו ההסתברות שלשניים מהם יש יום הולדת באותו יום עולה על 50%.

ובכן, אם יש באוטובוס רק בן אדם אחד (הנהג, אני מקווה), ההסתברות כי יש באוטובוס שני אנשים שנולדו באותו יום היא כמובן 0.

אם יש באוטובוס שני אנשים, ההסתברות ששניהם נולדו באותו יום היא 1/365. אסביר: ההסתברות ששניהם נולדו ב-1 בינואר היא 1/365 כפול 1/365. ההסתברות ששניהם נולדו ב-2 בינואר היא שוב 1/365 כפול 1/36, וכן הלאה. נחבר 1/365 כפול 1/365 לעצמו 365 פעמים, ונקבל 1/365.

אם יש באוטובוס 3 אנשים ההסתברות ששניים מהם נולדו באותו יום גבוהה יותר. ההסתברות שהנהג והנוסע הראשון נולדו באותו יום היא כאמור 1/365, אבל יש לקחת בחשבון גם את האפשרות שהנהג והנוסע השני נולדו באותו יום, וגם את האפשרות ששני הנוסעים נולדו באותו יום. התוצאה אמנם אינה חיבור פשוט של כל שלושת ההסתברויות[2], אבל אני מקווה שברור כי היא גבוהה יותר.

אם נוסיף עוד נוסע ועוד נוסע ועוד נוסע ההסתברות שיש באוטובוס שני אנשים שנולדו באותו יום תלך ותגדל.

אם יהיו באוטובוס 366 איש[3], ההסתברות שבאוטובוס יש שני אנשים שחולקים יום הולדת מגיעה ל-100%: במקרה הכי גרוע יש 365 אנשים שכל אחד נולד ביום אחר בשנה, ואז יום ההולדת של האדם ה-366 חייב להיות זהה ליום הולדת של אחד מהאחרים[4]. הטיעון הזה, אגב, מבוסס על טענה מתמטית המכונה "עקרון שובך היונים".

ובכן, ההסתברות של המאורע שלנו מתחילה ב-0, גדלה ככל שנוספים אנשים לאוטובוס ומגיעה בסוף ל-100%. לכן חייבת להיות נקודה בה ההסתברות הזו תעבור את ה-50%. הנקודה הזו היא, באופן מפתיע, כאשר מספר האנשים באוטובוס מגיע ל-23. אני לא מתכוון לעבור כאן על כל החישוב, אבל  יש ברשת מחשבון לחישוב ההסתברויות , שם גם יש הסבר כיצד ההסתברות מחושבת. 23 הוא מספר יחסית קטן של אנשים, והאינטואיציה של רוב בני האדם[5] אומרת להם כי זה מספר קטן מדי של אנשים, יחסית למספר ימי ההולדת האפשריים. מסיבה זו בעיית ימי ההולדת מכונה "פרדוקס ימי ההולדת", למרות שאין כאן שום סתירה לוגית.

אם תביטו שוב בתוצאות הסקר, אתם עלולים לחשוב כי כמעט מחצית מהמשיבים (49%) ענו את התשובה הנכונה. אבל זה לא נכון. זו התשובה הנכונה לשאלה שדנתי בה עד עתה, אבל זו לא התשובה לשאלה ששאלתי.

אני שאלתי מה ההסתברות כי בין 22 הנוסעים האחרים יש אדם שחולק איתי יום הולדת. במילים אחרות, מה ההסתברות שיש באוטובוס עוד אדם שנולד ב-13 באוקטובר. התשובה לשאלה הזו היא בערך 5%. כדי שההסתברות שמישהו באוטובוס חולק איתי יום הולדת תהיה בערך 50%, צריכים להיות עליו 253 אנשים. החישוב כאן יותר פשוט מהחישוב של השאלה הקודמת, ולכן אסביר אותו במפורט. מי שלא מתעניין בחישובים יכול לדלג פיסקה.

ההסתברות כי הנוסע הראשון מבין 22 הנוסעים האחרים נולד ב-13 באוקטובר היא 1/365, ולכן ההסתברות כי לא נולד ב-13 באוקטובר היא 364/365. באופן דומה, ההסתברות כי הנוסע השני לא נולד ב-13 באוקטובר גם היא 364/365, וכך הלאה לכל שאר הנוסעים. בגלל אי התלות בין ימי ההולדת, ההסתברות כי אף אחד מבין 22 הנוסעים האחרים היא לכן המכפלה של 364/365 בעצמו 22 פעמים. זה יוצא 0.941. מכאן שההסתברות כי לפחות אחד מבין ה-22 נולד ב-13 באוקטובר היא 1-0.941=0.058, או, בקירוב טיפה גס, בערך 5%. שליש מהמשיבים לסקר בחרו את התשובה הנכונה.[6]

יש הרבה פולקלור מסביב לבעיית ימי ההולדת. בספר הקלאסי Lady Luck מספר המחבר, המתמטיקאי וורן וויבר, כי השתתף בארוחה עם מספר גנרלים בזמן מלחמת העולם השנייה. הוא סיפר להם על בעיית ימי ההולדת, וכצפוי, הטענה כי אם יש בחדר 23 אנשים אז הסיכוי ששניים מהם חולקים יום הולדת היא כ-50% לא תאמה את האינטואיציה של חלק מהנוכחים. מכיוון שבארוחה השתתפו 22 איש, הם החליטו להעמיד את הטענה למבחן: כל אחד מהמשתתפים אמר מהו יום הולדתו, ולא נמצאו שני סועדים עם יום הולדת משותף. אז התערבה בשיחה המלצרית שנכחה בחדר ואמרה "סלחו לי, אבל אני האדם ה-23 בחדר, ויום הולדתי הוא ה-17 במאי, כמו יום ההולדת של הגנרל היושב שם".

מבין 45 הנשיאים של ארצות הברית, הנשיאים פולק והרדינג נולדו שניהם ב-2 בנובמבר. הנשיאים פילמור וטאפט מתו שניהם ב-8 במרץ, ושלושת הנשיאים אדמס, ג'פרסון ומונרו מתו ב-4 ביולי. אף נשיא לא חולק איתי יום הולדת.

ג'וני קארסון, המנחה ההמיתולוגי של ה-Tonight Show, התעמק גם הוא בבעיה. בשידור ב-6.2.1980 הוא סיפר לאורח שלו כי מספיק שיהיו 35-40 אנשים בחדר, כדי שיימצאו ביניהם שני אנשים שחולקים יום הולדת משותף.  (אם יש בחדר 35 אנשים, ההסתברות היא כ-85%. כשיש 40 אנשים ההסתברות היא כמעט 90%). המרואיין לא השתכנב וקארסון החליט לערוך הדגמה. הוא שאל גברת מהקהל מה תאריך הלידה שלה, והיא ענתה שיום הולדתה הוא ב-9 לאוגוסט. התברר כי אין עוד אדם בקהל שזהו יום הולדתו. קארסון החליט לנסות שוב. הוא בחר מישהו אחר מהקהל, ויום הולדתו היה ה-9 באפריל. שוב התברר כי אין בקהל אדם נוסף שזהו יום הולדתו. קארסון המתוסכל ניסה שוב, הפעם עם יום ההולדת של עצמו, ה-23 באוקטובר. שוב לא היה בקהל אדם נוסף שזהו יום הולדתו. הפעם היו בקהל שני אנשים שחלקו עימו יום הולדת.[7] מי שהגיע עד לכאן כבר הבין כי קארסון חיפש תשובה לשאלה הלא נכונה. בקהל, אגב, היו כ-500 איש, מה ששמבטיח בודאות כי היו שם לפחות שני אנשים עם יום הולדת משותף. אתם מוזמנים לצפות בהקלטת השידור.


הערות
  1. אל תשכחו לציין את זה בלוח השנה שלכם []
  2. כי יש חפיפה בין המאורעות []
  3. זה אוטובוס ממש גדול []
  4. כי הנחנו שאין 29 בפברואר []
  5. כן, כן, גם שלי []
  6. ומי שענה "אחר" בגלל שהתוצאה יותר קרובה ל-6% מאשר ל-5%, גם זה סבבה []
  7. תודה לגיל גרינגרוז ששהפנה את תשומת ליבי []

איך להמר (אם אתה מוכרח)

איך להמר (אם אתה מוכרח)

אתם חייבים 100 אלף דולר לשוק האפור, אבל יש לכם רק 50 אלף, וצריך לשלם בערב. זה לא משנה אם יהיו לכם 50 אלף דולר, או 90 אלף, או 99,999. כל סכום קטן מ-100 אלף יגרום לתוצאות הרות אסון. הסיכוי היחיד שלכם נמצא בקזינו. אתם ניגשים לשולחן הרולטה, שם אפשר להמר על אדום-שחור. אם הימרתם בדולר אחד על אדום, והתוצאה היא אדום, תקבלו בחזרה את הדולר שלכם ודולר אחד נוסף. אם התוצאה אינה אדום[1] הפסדתם את הדולר. יש לציין כי הסתברות הזכיה כאשר מהמרים על אדום היא קצת פחות מ-50%. מה הכי כדאי לעשות? מהי האסטרטגיה שתביא למקסימום את ההסתברות שתצאו מהקזינו ובכיסכם 100 אלף דולר?

שאלה דומה לזו הוצגה בעמוד הראשון של הספר הקלאסי How to gamble if you must מאת Lester E. Dubins, ‎Leonard J. Savage, andb ‎William Sudderth. כותרת המשנה של הספר היא Inequalities for Stochastic Processes, ומעידה על כך שזהו בהחלט ספר מתמטי. ההוכחה לתשובה שמייד אציג נמצאת בפרק החמישי של הספר, למי שמתעניין. כאן אנסה לתת הסבר אינטואיטיבי לתשובה.

אבל לפני כן קצת שעשועים. בסקר שערכתי בטוויטר השתתפו 46 צייצנים. הדיעות התחלקו פחות או יותר שווה בשווה בין ארבע התשובות האפשריות שהוצעו:

לפני שנדון בתשובות קצת היסטוריה, על קצה המזלג. משחקי הימורים היו נפוצים כבר בזמנים קדומים, ויש תיעוד שלהם בכל התרבויות העתיקות. מחקרים אודות הימורים ומשחקי מזל שערכו מלומדים כקרדנו במאה ה-16, כריסטיאן הויגנס במאה ה-17, ואברהם דה-מואבר ויעקב ברנולי במאה ה-18, ואחרים, הניחו את היסודות לתורת ההסתברות. למעשה, הפתרון שאציג מייד נובע מעבודה של דה-מואבר משנת 1711.

ועוד אנקדוטה (אולי משעשעת): בראשית ימיה, עמדה חברת FedEx בפני משבר. היה עליה לשלם חוב של 24,000 דולר, כשבקופתה היו 5000 דולר בלבד. יו"ר החברה ומייסדה, נטל את הכסף שבקופה, טס ללאס וגאס, הימר בשולחן הבלאק ג'ק וזכה ב-27,000 דולר. כך ניצלה החברה, והשאר, כמו שאומרים, היסטוריה. תודה לשי אלקין שהסב את תשומת ליבי לסיפור.

למתעניינים בהיסטוריה של חקר ההימורים והנחת יסודות תורת ההסתברות, אמליץ לקרוא את הספר נגד האלים מאת פיטר ברנשטיין, או את הספר הקלאסי
Games, Gods and Gambling מאת פלורנס נייטיגייל דייויד[2] .

ועכשיו לתשובות.

תשובה אפשרית אחת היא שלא משנה מה עושים כי ממילא נפסיד הכל. זה נכון. ההימור נוטה לטובת הקזינו. ההסתברות לזכיה ברולטה בהימור על אדום (או על שחור) היא 18/38, בערך 47%. מי שיהמר לאורך זמן יצבור אט אט הפסדים, ומי שימשיך להמר עוד ועוד יפסיד בסופו של דבר את כל כספו.  את זה הוכיח כריסטיאן הויגנס. מי שענה את התשובה הזו בסקר צדק.

אבל חדי העין ישימו לב כי השאלה כפי שנוסחה כאן שונה מעט מהניסוח בטוויטר, גם בגלל מגבלת התוים בטוויטר ואולי גם בגלל חוסר דיוק מצידי. בואו נדון באסטרטגיה שתביא למקסימום את ההסתברות לצאת מהקזינו עם 100 דולר, כאשר מגיעים אליו עם 50 אלף דולר. כאן בגדול יש שתי אפשרויות. אפשרות אחת היא להמר מייד על כל הסכום, בתקוה שתזכה בהימור אדום-שחור וכספך יוכפל. ההסתברות לכך היא, כאמור, בערך 47%.

מה קורה אם מהמרים כל פעם על חלק מהסכום? בואו ניקח לדוגמא את האסטרטגיה הבאה: להמר על 25 אלף דולר, לקוות לזכות ועל ידי כך להגדיל את הונך ל-75 אלף דולר, ואחר כך להמר שוב על 25 אלף דולר, כאשר זכיה תביא אותך אל הסכום הנכסף של 100 אלף דולר. במקרה הטוב ביותר תגיע למטרה על ידי שתי זכיות רצופות של 25 אלף דולר כל אחת. ההסתברות לכך היא 0.47 כפול 0.47[3] , כלומר בערך 22.4%.

יש כמובן אפשרות שתפסיד בהימור הראשון את 25 אלפי הדולרים עליהם הימרת. עכשיו יהיה עליך להכפיל את הונך פי 4, וזה ידרוש שוב לפחות שתי זכיות רצופות[4] , וההסתברות לכך היא שוב כ-22.4%.

אם מהמרים על סכומים קטנים יותר, יש צורך ביותר זכיות, וההסתברות להגיע ל-100 אלף דולר צונחת בהתאם.

זו האינטואיציה שעומדת מאחורי הקביעה כי האסטרטגיה האופטימלית היא להמר מייד על כל הסכום בתקווה להכפילו. ברנולי ודה-מואבר הבינו זאת כבר בראשית המאה ה-18. הוכחות מתמטיות מלאות לטענות קרובות הופיעו בתחילת המאה ה-20.

רק רגע, יש עוד אפשרות: לעשות משהו אחר. אפשר להמר בשיטת ההכפלות, הידועה גם בשם  שיטת המרטינגייל.

הנה הרעיון: אתה מתחיל בהימור אדום שחור על דולר. אם זכית – קיבלת את הדולר שלך בחזרה ועוד דולר אחד כרווח. אם הפסדת, לא נורא. המר כעת על שני דולר. אם זכית, אתה מקבל את שני הדולרים שלך בחזרה, ועוד שני דולרים כרווח, בסך בכל ארבעה דולרים. אבל הימרת רק על שלושה דולרים! מכאן שהרווחת דולר.

ומה קורה אם הפסדת גם בהימור השני? אין בעיה. הכפל את סכום ההימור והמר כעת על ארבעה דולר. אם זכית, תקבל שמונה דולר, אבל הימרת רק על שבעה דולר (1+2+4). הרווחת דולר.

ומה אם הפסדת בהימור על ארבעת הדולרים? אין בעיה. הכפל את סכום ההימור ל-8 דולר. אם תזכה תקבל בחזרה 16 דולר, כשהימרת רק על 15 דולר – כלומר שוב הרווחת דולר.

ומה יקרה אם הפסדת בהימור על שמונת הדולרים? אולי עדיין אין בעיה, אבל בקרוב תהיה לך בעיה.

קודם כל נתייחס לבעיה הספציפית שלנו – להגיע מ-50 אלף דולר ל-100 אלף דולר. בשיטה הזו זה ייקח קצת זמן, ותצטרך לזכות בהרבה הימורים בדרך.

כמובן, אם עומד לרשותך סכום כסף בלתי מוגבל, השיטה הזו תוביל אותך לזכיה בהסתברות 1. אבל, הסכום שעומר לרשותך[5] מוגבל, וייתכן מאוד שתגיע למצב בו אין בידיך מספיק כסף כדי להכפיל את ההימור. למעשה, אפשר להוכיח כי אם תהמר בשיטה זו לאורך זמן, תגיע למצב בו אין בידיך די כסף כדי להכפיל את ההימור בהסתברות 1.

שלישית, ברוב בתי הקזינו יש הגבלה על גובה ההימור. שיטת ההכפלות תביא אותך בסופו של דבר אל המחסום הזה ואז לא תוכל למשיך ולהכפיל את ההימור גם אם יש בכיסך את הסכום הדרוש.

באופן אישי, אם היה לי קזינו, לא הייתי מתנגד לכך שיהמרו נגדי בשיטת ההכפלה. אדרבא. אמנם מדי פעם אפסיד דולר, אך ההפסד הזה יכוסה על ידי ההפסדים של כל המכפילים שיגיעו לגבול ההימור שלהם, והפסדים אלה יהיו יותר נפוצים ויותר גדולים מדולר אחד.

אז אם אתם רוצים להמר בשביל הכיף – סבבה. אם אתם רוצים להרוויח כסף מהימורים, כדאי שיהיה לכם קזינו. והכי חשוב, אל תסתבכו עם השוק האפור.


הערות
  1. יש עוד שתי אפשרויות – שחור וירוק []
  2. שאין לבלבל בינה ובין פלורנס נייטינגייל []
  3. בהנחה הסבירה לגמרי שאין תלות בין ההימורים []
  4. להמר על 25, לזכות, ואז להמר על 50 ושוב לזכות []
  5. ולרשות כל אחד, בעצם []

האם כל תוצאה מובהקת היא משמעותית (ולהיפך)?

בכל מחקר כמותי בו נערך ניתוח סטטיסטי של הנתונים, מגיע הרגע הנכסף בו מחושב ה-P-value הנכסף. האם הוא קטן מ-0.05? שואל החוקר את עצמו בהתרגשות. אם כן – הידד! אפשר לפרסם את המאמר, או לרוץ ל-FDA להגיש לאישור תרופה חדשה, או להכניס מוצר חדש ל-production.

אבל, לפני שרצים, יש שאלה נוספת שצריך לשאול: האם התוצאה משמעותית?

נניח שערכנו ניסוי בו השתתפו 1000 איש, מחציתם נשים ומחציתם גברים. ערכנו לכל אחד ואחת מנבדקים מבחן IQ. התברר כי ה-IQ הממוצע של הנשים הוא 100, בעוד שה-IQ הממוצע של הגברים הוא 99. התוצאה מובהקת, עם פי-ואליו של 0.0016. [1] . לפני שתרוצו לפרסם מאמר סנסציוני בכתב העת המדעי החביב עליכם[2] ראוי שתעצרו ותשאלו את עצמכם: אז מה? ההבדל הוא כל כך קטן, האם יש לו משמעות? אם אתם חושבים שלהבדל יש משמעות, עליכם לנמק זאת.

בואו ניקח דוגמה קצת יותר מציאותית. מדען בילה ימים ולילות במעבדה, ופיתח תרופה חדשה לטיפול בטרשת נפוצה  התקפית[3]. התרופה מקטינה את תדירות ההתקפים ב-10%. הוא רושם פטנט, ומנסה למכור את התרופה לחברת תרופות. הסטטיסטיקאי של חברת התרופות יכול בקלות לתכנן ניסוי קליני, שיזהה את האפקט של התרופה בעוצמה של 90%[4] או אפילו 95% או 99%. האם החברה תקנה את התרופה ותפתח אותה? לא ולא. יש כבר תרופות לטיפול בטרשת נפוצה התקפית שמקטינות את תדירות ההתקפים ב-30, 40, ואפילו ב-50%. במצב זה, לתרופה עם אפקט של 10% אין משמעות, לא קלינית ולא מסחרית.

דוגמה שלישית: למשפחה נולד בשעה טובה בן בכור. האם הסיכוי כי הילד השני במשפחה זו יהיה (אם וכאשר יוולד) גם הוא בן, גדל? הנה מאמר שטוען שייתכן שכן. עיקרי הדברים: בדנמרק נאספו נתונים לגבי סדר הלידה ויחס המינים של כ-1.4 מיליון ילדים, בכ-700 אלף משפחות, במשך תקופה של כ-35 שנה. 51.2% מהבכורים היו בנים. בקרב המשפחות שבהן היו 3 בנים, והיה הבן ילד רביעי, 52.4% מקרב הילדים הרביעיים היו בנים. ההבדל מובהק, כמובן (p=0.009). בואו נתעלם מ-cherry picking אפשרי[5]. כמה משפחות בנות 4 ילדים יש בדנמרק? מחיפוש ראשוני שערכתי עולה כי מדובר בפחות מ-10%מהמשפחות. בואו נניח שזה 10%. אז עכשיו אנחנו מדברים על 70 אלף משפחות בנות 4 ילדים. ההסתברות ששלושת הילדים הראשונים הם בנים היא בעךך 0.013. נעגל את זה ל-0.02. זה מותיר לנו 1400 משפחות בנות ארבעה ילדים שבהן שלושת הילדים הראשונים הם בנים. 51.2% מקרב הילדים הצעירים היו "צריכים" להיות בנים, בפועל היו 52.4% – הפרש של 1.2%.  1.2% מ-1400 זה , 16.8, בואו נעגל ל-17, וזאת בתקופת זמן של 35 שנה, כלומר כל שנה נולדו 0.48 יותר בנים ממה שהיה "צריך" להיות. מי חושב שזה משמעותי?

דוגמה רביעית: חברת אינטרנט עושה AB testing, בה היא בודקת את השפעתו של פיצ'ר חדש במוצר שלה על ההסתברות שלקוח המשתמש במוצר יקנה את גירסת ה-PRO, בתשלום. מסתבר כי אחוז המשלמים יגדל מ-24.6% ל-24.8%, והתוצאה מובהקת [6]. האם זה משמעותי?[7] ובכן, אם נניח שהתשלום לגירסת הפרו הוא 5$ ויש 100000 משתמשים, הרי שמדובר בתוספת הכנסות של 100$. שווה? אם לעומת זאת יש מיליון משתמשים והתשלום הוא 50$, מדובר בתוספת הכנסה של 10000 דולר. 30 מיליון משתמשים ותשלום של 500$ יביאו את תוספת ההכנסות ל-3 מיליון דולר, וזה בהחלט משמעותי. תגידו: אם כבר השקענו את הכסף בפיתוח, אז ניקח את מה שיצא. יש בזה משהו. אבל אני מקווה שעושים קודם כל הערכה של עלויות הפיתוח ושל ההכנסות הצפויות מהפיצ'ר החדש.[8]

נחזור לרגע לגודל המדגם הדרוש, כ-728 אלף נבדקים. אולי ענקית כמו גוגל יכולה להרשות לעצמה מדגם כזה. אני מניח שחברות קטנות יותר צריכות להסתפק בגודל מדגם קטן יותר. הן עומדות לכן בפני הברירה הבאה: אפשרות אחת היא לערוך מבחן סטטיסטי ואז רוב הסיכויים הם שאפקט כזה (ואפילו אפקט גדול יותר) לא יזוהה כמובהק. הן כמובן יכולות לשחק בסוגי הטעות, ולאפשר טעות מסוג ראשון (false positive) גבוהה יותר כדי להשיג עוצמה גבוהה יותר. אפשרות אחרת היא לוותר מראש על בדיקת המובהקות, ולסמוך ידיהם על האפקט הנומינלי. יש לכך תומכים, הבולט בהם הוא הסטטיסטיקאי אנדרו גלמן מאוניברסיטת קולומביה.[9]

מסקנות: לפני שרצים לחקור, צריך להעריך מראש איזה תוצאה תיחשב למשמעותית, ולחשוב מה דרוש לעשות כדי לבדוק האם התוצאה אכן מתקיימת. יש להעריך מראש מה ההסתברות לכל אחת משתי הטעויות האפשריות, שכן ההסתברויות האלה קיימות וחיוביות גם אם לא משתמשים במבחנים סטטיסטיים.


הערות
  1. בהסטיית התקן של כל קבוצה היא 5.  תבדקו בעצמכם  []
  2. למשל Nature או סיינטיפיק טמקא []
  3.  Relapsing Remitting Multiple Sclerosis  []
  4. כלומר ההסתברות לתוצאת False Negative  תהיה 10% []
  5. מה קרה במשפחות בנות שני ילדים? ומשפחות בנות 3 ילדים? למה זה לא מדווח? אם זה לא באבסטרקט של המאמר, כנראה שזה לא היה מובהק []
  6. כדי לזהות הבדל כזה כמובהק, יש צורך בגודל מדגם של כ-728000 נבדקים, אבל נעזוב את זה כרגע []
  7. נתקלתי בחברה שמעדכנת גירסת תכנה כאשר ביצועי הגירסה החדשה גבוהים נומינלית ב-0.2% מביצועי הגירסה הישנה, על סמך מדגם בגודל 1000, כמובן בלי בדיקת מובהקות []
  8. אפשר למשל לערוך סקר משתמשים, או לכנס focus group []
  9. אני מתכוון לסקור את הגישה של גלמן ואת הגישה הנגדית, שמוביל ג'ון יואנידיס ברשימה קרובה []

בעיית המטריות: איך לא להירטב?

השבוע שוב פרסמתי בטוויטר חידה הסתברותית: לבנאדם יש המון מטריות, חלקן בבית וחלק במשרד. אם יורד גשם הוא לוקח איתו מטריה מהמלאי. אם לא, הוא הולך לדרכו בלי לקחת מטריה. האם הוא יירטב? מספר המשיבים היה קטן יחסית, אבל רובם ידעו את התשובה הנכונה: בסופו של דבר הוא יירטב.

פתרון החידה מתבסס על מודל הסתברותי הנקרא שרשרת מרקוב. בויקיפדיה יש הסבר פורמלי טוב של המושג ההסתברותי. כאן, כהרגלי, אנסה להסביר את המושג באופן יותר אינטואיטיבי. לאחר ההסבר הבסיסי אסביר מדוע שרשרת מרקוב היא מודל טוב עבור החידה, ואראה כיצד מגיעים לפתרון.

שרשרת מרקוב היא תהליך מקרי. לשרשרת יש מספר מצבים (שיכול להיות סופי או אינסופי), ובכל צעד בשרשרת, נמצאים באחד המצבים האפשריים, ובצעד הבא עוברים ממצב זה למצב אחר, או נשארים במקום. המעבר נקבע באופן מקרי על סמך הסתברויות קבועות.

לדוגמא, נניח שיש לנו שרשרת מרקוב שבה יש שלושה מצבים אפשריים. נסמן אותם בספרות 0, 1, ו-2. השרשרת יכולה להראות כך: 0, 2, 1, 0, 0, 2, 1, 2, … וכן הלאה. פירוש הדבר הוא שהתחלנו במצב 0, משם עברנו למצב 2, משם עברנו למצב 1, וכן הלאה.

התכונה החשובה של המודל ההסתברותי הזה היא שלא משנה באיזה מצב נמצאים, המעבר למצב הבא לא תלוי בהיסטוריה של השרשרת, אלא רק במצב הנוכחי. אם השרשרת נמצאת במצב 2, למשל, ההסתברות שהיא תעבור למצב 1 היא אותה הסתברות גם במקרה שהשרשרת הגיע למצב הנוכחי ממצב 0 וגם במקרה שהיא הגיע למצב הנוכחי ממצב 1 או 2. כלל המעבר הוא אותו כלל.

כלל מעבר אפשרי כאשר נמצאים במצב 0, הוא שעוברים ממנו למצב 1 בהסתברות 1/2, עוברים למצב 2 בהסתברות 1/3, או שנשארים במצב 0 בהסתברות 1/6.[1]. באופן דומה יש לנו כללי מעבר דומים כאשר נמצאים במצב 1 או במצב 2.

עכשיו נראה איך המושג של שרשרת מרקוב עוזר לנו לפתור את בעיית המטריות.

בואו נסתכל תחילה על מקרה פרטי, בו לאיש שלנו יש רק מטריה אחת. נגדיר את המצבים של השרשרת להיות מספר המטריות שעומדות לרשות האיש. זה פשוט: או שיש לו מטריה במקום שבו הוא נמצא, או שאין לו. לכן המצבים האפשריים יהיו 0 ו-1.

איך הוא עובר ממצב למצב? זה תלוי בהסתברות שירד גשם. ההסתברות הזו לו נתונה לנו, ולכן אניח כי ההסתברות שירד גשם במקום בו הוא נמצא ועומד לצאת לדרכו היא קבועה ושווה ל-P כאשר P הוא מספר כלשהו בין 0 ל-1 (לא כולל את 0 ו-1). בכך הגדרנו מודל המתאר את תנאי החידה.[2]

אם האיש שלנו נמצא במצב 1, כלומר יש לו מטריה בהישג יד, ויורד גשם, הוא ייקח עימו את המטריה למחוז חפצו, ושם שוב תעמוד המטריה לרשותו, כלומר הוא יישאר במצב 1. זה קורה בהסתברות P. אם לעומת זאת יש לו מטריה ולא יורד גשם, הוא הולך לדרכו בלי המטריה, ואז, במחוז חפצו, לא תעמוד לרשותו המטריה, כלומר הוא עובר ממצב 1 למצב 0 בהסתברות 1-P.

לעומת זאת, אם הוא נמצא במצב 0, אז הוא יעבור למצב 1 בהסתברות 1, כי לא משנה אם יורד גשם או לא יורד גשם, אין לו ברירה אלא לצאת לדרכו בלי מטריה, והמטריה תחכה לו במחוז חפצו.

כמובן, אם הוא נמצא במצב 0 ויורד גשם, אז הוא יירטב.

כעת אטען כי אם נסתכל על כל הפעמים שהוא נמצא במצב 1, בסופו של דבר הוא יעבור בודאות למצב 0. תחשבו על קוביה. אם תטילו אותה פעם אחת, ההסתברות שהיא תראה 6 היא 1/6. אבל ככל שתטילו אותה יותר ויותר פעמים גדל הסיכוי ש-6 יופיע בסופו של דבר. יתרה מזאת, אם נמשיך להטיל את הקוביה עוד ועוד, המספר 6 יופיע עוד ועוד פעמים. אם נטיל את הקוביה אינסוף פעמים, המספר 6 יופיע אינסוף פעמים, וזאת בהסתברות של 100%.[3].

באופן דומה אפשר להוכיח כי אם נסתכל על כל הפעמים שהוא נמצא במצב 0, ואם השרשרת תרוץ עד איסוף הוא יהיה במצב 0 איסוף פעמים, בסופו של דבר ירד שם גשם, ולכן הוא יירטב.

מה קורה אם יש לו יותר ממטריה אחת?

כעת המצבים הם 0, 1 , ו-2.

אם יש לו מטריה אחת (מצב 1), הוא יעבור למצב 2, בו יש לו שתי מטריות, בהסתברות P (יורד גשם, והוא לוקח איתו את המטריה למקום שיש בו כבר מטריה אחת) או שיישאר במצב 1 (לא יורד גשם, ולכן הוא הולך בלי מטריה למקום ששיש בו מטריה אחת).

אם יש לו 2 מטריות הוא נמצא במצב 2, ויכול לעבור משם למצב 0 (כאשר לא יורד גשם, ולכן הוא הולך למקום בו אין לא אף מטריה) או לעבור למצב 1 (יורד גשם, הוא לוקח עימו מטריה למקום בו אין מטריות, ולכן תעמוד שם לרשותו מטריה 1.

אם הוא במצב 0 ויורד גשם הוא יירטב.

אם השרשרת תרוץ מספיק זמן היא תגיע בסופו של דבר למצב 0, ובסופו של דבר ירד גשם כאשר הוא במצב 0, אז הוא יירטב.

ומה אם יש לו המון מטריות? 4, או 50 או 1000? זזה לא משנה. הטיעון עדיין עובד. בסופו של דבר הוא יגיע למצב 0 כאשר יורד גשם, כלומר בסופו של דבר הוא יירטב.

מסקנה: תמיד תקחו אתכם את המטריה.


הערות
  1. ודאו ששלושת ההסתברויות שציינתי מסתכמות ל-1! []
  2. אני סבור שגם כאשר P משתנה ואינו קבוע כל הזמן אפשר להגדיר שרשרת מרקוב מתאימה, עם מספר אינסופי של מצבים, ולהגיע לאותה תשובה, אך לא אכנס לזה כאן, או בכלל []
  3. אפשר להוכיח זאת באופן מתמטי []

אחד מהם הוא בן

לפני יומיים ערכתי סקר בטוויטר. שאלת הסקר הייתה: במשפחה יש שני ילדים. אחד מהם הוא בן. מה הסיכויים שגם הילד האחר הוא בן? הוצעו 4 תשובות אפשריות: חצי, רבע, שליש, או שאף תשובה אינה נכונה. בסקר השתתפו 205 צייצנים (שבשום אופן אינם מדגם מייצג), ולהלן התוצאות:

 

 

 

 

 

 

 

 

לאחר שהעליתי את הסקר נזכרתי כי העליתי בעבר רשימה שהציגה את החידה הזו ובנוסף הציגה ווריאציה קשה יותר של החידה, תחת הכותרת "ילדה ושמה יוספה". אתם מוזמנים לעיין ברשימה שעסקה בפתרון שתי החידות. ברשימה זו אדון שוב בפתרון החידה שהוצגה בסקר והתוצאות  מפתיעות. מתברר שיש יותר מתשובה נכונה אחת.

בואו נדון בתשובות.

התשובה הנפוצה ביותר היא חצי. איני יודע מה הוביל 131 איש לענות "חצי", אך מנסיוני אני סבור כי רובם שקלו את השיקול הבא: ילד אחד הוא בן. הילד השני יכול להיות בן או בת, וההסתברות לכך היא 50:50. הבעיה בתשובה הזו: התשובה מתעלמת מהנתון שאומר כי אחד מהילדים הוא בן. לא נאמר האם הילד הראשון הוא בן, או האם הילד השני הוא בן. צריך לקחת את זה בחשבון.

איך ניקח זאת בחשבון? צריך לשים לב כי יש ארבעה סוגי משפחות בנות שני ילדים:

  • הבכור בן, הצעירה בת
  • הבכור בן, הצעיר בן
  • הבכורה בת, הצעיר בן
  • הבכורה בת, הצעירה בת

לכל אחד מסוגי המשפחות יש הסתברות של 0.5*0.5=0.25 (תחת הנחות מסויימות, שמייד אדון בהן). המשפחה שלנו אינה משפחה עם שתי בנות (כי ידוע לנו שאחד מהילדים הוא בן). זה מותיר אותנו עם 3 סוגי משפחות אפשריות: בן-בן, בן-בת, ובת-בן. מתוכן ישש רק מבנה משפחה אחד עם שני בנים. לכן ההסתברות כי במשפחה יש שני בנים היא 1/3. וזו התשובה הנכונה (או שלא?)

כל זה נכון, בתנאי שמניחים מספר הנחות:

  1. כל ילד הוא בהכרח בן או בת
  2. הסיכוי ללידת בן שווה לסיכוי ללידת בת
  3. אין קשר בין מין הילד הבכור ומין הילד השני.

אפשר לטעון, ובהחלט בצדק כי ההנחות (או חלקן) אינן תקפות. ב-2017 כבר מכירים בעובדה שמגדר אינו הכרח בינארי[1], ולכן הנחה מספר 1 אינה בהכרח נכונה[2]. ידוע כי הנחה מספר 2 אינה נכונה. נולדים יותר בנים מבנות[3]. יש לכך סיבות רבות שלא יידונו כאן. אחת הצייצניות העלתה טענה כי אם במשפחה הילד הבכור הוא בן, אז יש סיכוי גבוה יותר כי הילד השני יהיה בן.[4]

אם מקבלים את הביקורת על תקפות ההנחות (או חלק מהביקורת) אז התשובה 1/3 אינה בהכרח נכונה, ואז התשובה ש-"אף תשובה אינה התשובה הנכונה" היא התשובה הנכונה, ותשובה זו קבילה בעיניי.

מכאן הדברים מתחילים להסתבך.

הנה טוויסט בעלילה: התשובה 1/2 יכולה להיות נכונה! אפנה אתכם לניתוח המפורט של ד"ר גדי אלכסנדרוביץ, או שאולי תעדיפו את ההסבר בויקיפדיה. ההסבר בקצרה: לא ידוע לנו איך נבחר הבן עליו נאמר לנו כי הוא בן. אם יש בן אחד במשפחה – ברור מיהו הבן עליו נמסרה האינפורמציה. אם זו משפחה עם שני בנים – אז יכול להיות שהבן עליו דיברו הוא הבכור, ויכול להיות כי הבן עליו דיברו הוא הבן הצעיר. בהנחה (שוב הנחה!) שבמקרה של שני בנים הבן עליו דיברה החידה נבחר באופן מקרי ואחיד (כלומר בהסתברות 1/2) מבין שני הבנים, החישוב ההסתברותי (שלא אפרט כאן) מראה כי ההסתברות שבמשפחה יש שני בנים היא 1/2.

אבל רגע: אם לוקחים בחשבון את אופן בחירת הבן שמדברים עליו (למרות שלא נאמר על כך דבר בניסוח החידה), למה שלא ניקח בחשבון משהו אחר שלא נזכר בחידה, נניח אם הילד שעליו מדובר נולד ביום שלישי או לא נולד ביום שלישי? תשאלו מה זה משנה. ובכן, זה משנה. הראיתי כבר כי אינפורמציה נוספת משנה את התמונה[5] אסביר. ההסבר טכני, ומי שלא מעוניין יכול לדלג על הדיון והנוסחאות..

ובכן יש לנו משפחה בה שני ילדים, ידוע לנו כי אחד הילדים הוא בן, אבל לא ידוע לנו אם נולד ביום שלישי, או שלא.  מכאן שיש 9 סוגי משפחות, אך כעת לכל סוג משפחה יש הסתברות שונה. אם נסמן את ההסתברות לכך שהבן נולד ביום שלישי באות היוונית ϵ (מסיבות שיובררו בהמשך). לדוגמא, ההסתברות שילד הוא בן וגם שהוא נולד ביום שלשי היא 0.5ε, כי אין תלות בין מין הילד והיום בו הוא נולד.תשעת סוגי המשפחות וההסתברויות שלהם הן[6]:

אז מה?

נחבר את ההסתברויות של סוגי המשפחות עם שני בנים שלפחות אחד מהם נולד ביום שלישי (מספר 1, 2, ו-4 ברשימה), ואחר כך נחבר את ההסתברויות של כל המשפחות שבהן יש לפחות בן אחד שנולד ביום שלישי (מספר 1, 2, 3, 4, ו-7 ברשימה) ונקבל, נחלק את ההסתברות הראשונה בהסתברות השנייה ונקבל כי ההסתברות שבמשפחה יש שני בנים אם ידוע שאחד מהם הוא בן שנולד ביום שלישי היא:

 

 

אם נציב במקום ϵ שביעית, נקבל כי ההסתברות היא 13/27.[7]

באופן דומה, נוכל לחשב כי ההסתברות  שבמשפחה יש שני בנים אם ידוע שאחד מהם הוא בן אבל אף בן לא נולד ביום שלישי היא:

 

 

בעזרת נוסחת ההסתברות השלמה נוכל לצרף את שתי ההסתברויות יחד ולמצוא את ההסתברות שבמשפחה יש שני בנים. הנוסחה משקללת את שתי ההסתברויות שחישבנו בהסתברויות התנאי: ההסתברות שלפחות אחד מהילדים הוא בן שנולד ביום שלישי (סכום ההסתברויות של מספרי 1, 2, 3, 4, ו-7 ברשימה)  וההסתברות המשלימה – של המאורע שאומר כי אין המשפחה ילד שנולד ביום שלישי.

על ידי סיכום ההסתברויות  1, 2, 3, 4, ו-7 נקבל כי ההסתברות שלפחות אחד מהילדים הוא בן שנולד ביום שלישי היא

 

 

ומכאן נקבל (על ידי הפחתת ההסתברות הזו מ-1) כי הסתברות המאורע המשלים (אין במשפחה בן שנולד ביום שלישי) היא 

 

כעת נוכל לשקלל את ההסתברויות ולקבל כי ההסתברות שבמשפחה יש שני בנים היא

 

 

עד כאן הנוסחאות.

 

נציב בנוסחה האחרונה שקיבלנו שביעית במקום ϵ ונקבל כי ההסתברות שבמשפחה יש שני בנים היא בערך 0.457. זה אומר שגם במקרה הזה תשובה ד בסקר היא התשובה הנכונה.

אבל למה לעצור כאן? לא ידועים על הילד עוד פרטים. למשל, לא ידוע לנו אם הילד נולד בין ה-1 בינואר ובין הארבעה בספטמבר, או שלא. אם נחליף את המאורע הזה במאורע "נולד ביום שלישי" נקבל כי ϵ הוא 248/365 או בקירוב 0.682. נציב 0.682 בנוסחה ונקבל כי ההסתברות שבמשפחה יש שני בנים היא 0.2501, כלומר גם תשובה ב נכונה!

מבולבלים? גם אני.[8] .

המסקנה שלי מכל הסיפור הזה היא שאסור לעשות שטויות. כשניצבת מולכם בעיה שכוללת נתונים מסויימים, עליכם להתמקד בנתונים של הבעיה, לבחון היטב את ההנחות, ולוודא כי מספר ההנחות שמניחים הוא קטן ככל האפשר.

 


הערות
  1. לא מצאתי מקור אמין הסוקר נושא זה. אשמח להפניות []
  2. היא אולי נכונה כשמדובר בשני ילדים קטנים, אבל הם יכולים להיות גם ילדים גדולים, בני 30 ו-32, למשל []
  3. קישור לנתוני הלשכה המרכזית לסטטיסטיקה – קובץ pdf []
  4. מצאתי מאמר אחד התומך בטענה הזו, אולם יש לי ביקורת עליו, ולדעתי התוצאה שלו חסרת משמעות. ראו כאן: http://www.sci-princess.info/archives/2055 []
  5. ילדה ושמה יוספה, זוכרים? []
  6. תחת שלוש ההנחות שצויינו למעלה, והנחה נוספת האומרת כן אין קשר בין מין הילוד ליום בשבוע בו נולד []
  7. זוהי, אגב, התשובה לחידה שפירסמתי כאן, ללא פיתרון []
  8. יכול להיות שיש לי טעות, ואם כן, אשמח אם מי מכם יגלה אותה ויספר לי מהי []