חיפוש באתר

קישורים

RSS סטטיסטיקה ברשת

עמודים

קטגוריות

תגיות

כמה הערות על "מכונת האמת המוחלטת"

בעתון דה מרקר הופיעה אתמול כתבה שכותרתה:הסטארט-אפיסט שבונה את מכונת האמת המוחלטת: "זדורוב חף מפשע".מדובר בראיון עם הסטאראפיסט המצליח סער וילף. לאחר מספר שאלות מתבקשות על הצלחותיו עד כה, איך עשה את כספו, וכדומה, מגיעים לחלק המעניין, בו הוא מספר על הסטארטאפ הנוכחי שלו, ותוך כדי כך הוא מביע את דעתו על מערכת המשפט שלנו.

ובכן, הסטארטאפ הנוכחי "רוצה לשנות את האופן שבו אנחנו מבינים את העולם סביבנו, את האופן שבו אנחנו מתקשרים מידע ותובנות ומשתפים פעולה", מטרה אולי קצת יומרנית אבל בהחלט ראויה. "אנשים אינטליגנטים ורציונלים", אומר וילף, "מסתכלים על אותו מידע מגיעים למסקנות הפוכות לחלוטין, וכל אחד משוכנע בוודאות גמורה שהמסקנה שלו נכונה. מה חדש? זה העולם. זה לא אמור לקרות במערכת שמסיקה מסקנות בצורה מכוילת. למעשה, כל אחד מאתנו מחזיק במספר לא קטן של אמונות על העולם, שהוא בטוח שהן נכונות". הדרך להגיע לאמת מוחלטת על העולם היא "לאסוף נתונים, לבנות מודלים מתמטיים מורכבים, לחשב הסתברויות. הדיון הציבורי הוא נונסנס. המוח לא מסוגל להתמודד עם כזאת כמות של מידע ואי־ודאויות, ולכן כל אחד נותן משקל אחר לעובדות ומסנן את המידע בצורה שנוחה לו — ואז יוצאות מסקנות שונות". כך, טוען וילף, יוכל למשל להעריך האם להתנתקות הייתה השפעה חיובית או שלילית, "בוודאות של 90%". (בניגוד לדיון הציבורי שהוא, לדברי וילף, נונסנס) אני אמנם קטונתי מלהבין כיצד יעשה זאת, אבל עד כאן אני מוכן לפרגן.[1] יש לו, לדעתי, סיכוי טוב להצליח למכור קופסה שחורה למקבלי החלטות.

בשלב הזה הראיון עובר לדיון על מערכת המשפט שלנו. אביא שוב דברים בשם אומרם: "מערכת המשפט היא אחד המקומות שבהם המגבלות בתפישת הסתברות גורמות נזקים עצומים…למרות הניסיון וההכשרה, המוח של השופטים מוביל אותם פעם אחר פעם לקבל החלטות לא סבירות…נסים חדד, שבית המשפט המחוזי קבע שהוא אשם "מעבר לספק סביר" באונס תינוק. בחישוב של דקה אפשר היה להראות שההסתברות שהוא אשם קטנה מ–1%…מדובר בכשל ידוע בהסקה האנושית שנקרא "כשל התובע". זה כשל שבו אנחנו מתמקדים רק בעוצמת הראיות ומתעלמים מהשכיחות הכללית של התופעה. מבחינה הסתברותית, ככל שההשערה שאנחנו בוחנים יותר נדירה או לא סבירה, כך צריך ראיות יותר חזקות כדי להשתכנע שדווקא הפעם היא כן נכונה…אונס תינוק הוא עבירה נדירה ביותר. ברמה של אחד לעשרות מיליונים. השופטים התמקדו בראיות — דו"ח פתולוגי שלפיו התינוק סבל מפגיעה שיכולה להתאים לאונס…הם שכחו להתייחס לנדירות של העבירה. הסיכוי שהיתה כאן טעות אנוש בבדיקה הפתולוגית גבוה בהרבה מהסיכוי שחדד רוצה לאנוס תינוקות. וזה עוד לפני שהתייחסנו לכך ששום דבר בעברו של חדד לא מצביע על סטייה חמורה כל כך" "מחשב", אומר וילף, "לא צריך להיות שופט, אבל הוא יכול לסייע בקבלת ההחלטות. ואם זה יקרה, הרבה פחות חפים מפשע יישבו בכלא והרבה פחות אשמים יסתובבו חופשי ובאופן כללי יהיו הרבה פחות טעויות".

הטענה שעולה מדבריו של וילף כי יש בכלא הרבה חפים מפשע וכי הרבה אשמים מסתובבים חופשי היא בעייתית, לדעתי. יש טרייד אוף בין שני סוגי הטעויות. הצבת רף ראיות גבוה גורמת לזיכוי אשמים, אבל גם לרמה גבוהה של זיכויים, וכתוצאה מכך לא יהיו הרבה זכאים שיורשעו. באופן דומה, הצבת רף ראיות נמוך תגרום לשיעור גבוה יותר של הרשעת זכאים, אבל גם לשיעור נמוך של זיכוי נאשמים. המצב שוילף טוען שהוא קיים (הרבה הרשעות שוא והרבה זיכויי שוא) יכול לקרות כאשר בפני זכאים מוצב רף ראיות נמוך ובפני אשמים מוצב רף ראיות גבוה. אבל השופט לא יודע מראש האם הנאשם אשם זכאי, והוא אמור להחליט מראש מה רף הראיות הדרוש. המצב שויף מתאר יכול גם לקרות כאשר השופטים מגבשים את דעתם לפני שהוצגו בפניהם כל הראיות. אם זה המצב, ההאשמה שוילף מטיח במערכת המששפט היא חמורה. אבל, וזה אבל גדול, וילף לא מביא נימוקים לטענתו.

הדברים שאומר וילף בהמשך הם הרבה יותר חמורים. אני לא רוצה להתייחס ספציפית לפרשת ניסים חדד, שהורשע בפשע חמור ביותר בבית המשפט המחוזי וזזוכה אחר כך בערעור בבית המשפט העליון. אני תוהה איזה חישוב יכול להראות כי ההסתברות שהוא אשם קטנה מ-1%. אם מישהו מהקוראים יודע, אשמח אם יסביר לי את זה. גם הנפנוף בכשל התובע((רושם לעצמי לכתוב על כך רשימה ביום מן הימים)) מוזר לי, כיוון שוילף לא מתייחס כלל לכשל תובע שאירע אולי באחת הדוגמאות האחרות שהביא.((התחושה שלי היא שכשל התובע משמש כאן כבאזוורד ותו לא))

החומרה בדבריו של וילף נמצאת באופן שבו הוא חושב שמערכת המשפט צריכה לפעול. במקרה חדד, אומר למעשה וילף, הייתה לדעתו הסתברות אפריורית של פחות מ-1% לכך שחדד אשם בפשע שביצע. לכן, אמר וילף, על התביעה היה להציג ראיות חזקות במיוחד כדי להרשיעו. מה שנובע מדבריו של וילף הוא שאם יש נאשם שההסתברות האפריורית לאשמתו היא 99%, אזי גם בדל ראיה צריך להיות מספיק להרשעתו. מי יקבע את ההסתברות האפריורית הזו? הקופסה השחורה של וילף? השלטון? וילף לא מספק תשובה.

אני טוען שאין דבר כזה "הסתברות אפריורית לאשמה". נאשם הוא אשם או זכאי. זה שאנחנו לא יודעים אם הוא אשם או זכאי לא הופך את עצם האשם למשתנה מקרי. ומשום כך, אין דבר כזה "הסתברות כי הנאשם אשם". יבוא הבייסיאני ויגיד כי ההסתברות הזו משקפת למעשה את מידת האמונה באשמתו של הנאשם. ובכן, האם אנחנו רוצים כי השופט יבסס את החלטתו על סמך אמונות, או על סמך ראיות אובייקטיביות?

וכאן טמונה חומרת הדברים. וילף מציע לשנות כליל את הדרך בה מערכת המשפט פועלת. מערכת המשפט שלנו מניחה כי הנאשם שמובא למשפט זכאי, ועל התביעה להוכיח את אשמתו. וילף מציע להניח כי יש אמונה מסויימת בכך שהנאשם אשם, וכי רמת האמונה הזו תקבע את תוצאת המשפט. אם השופט מאמין מראש כי הנאשם אשם, עליו להרשיע אותו, ולעזאזל הראיות. יש מדינות כאלה. האם אנחנו רוצים לחיות במדינה כזאת?


הערות
  1. אני גם מוכן להתערב שאיש לא ישנה את דעתו על ההתנתקות גם לנוכח חוות דעת עם וודאות של  90%, אבל זה סיפור אחר []

10 תגובות ל“כמה הערות על "מכונת האמת המוחלטת"”

  • תגובה מאת יריב
    תאריך 14 באוקטובר 2017 20:15

    המצב בו אשמים רבים מזוכים וזכאים רבים מורשעים יכול לקרות כאשר לשופטים יש שגיאות גדולות (סימטריות, בקירוב) בהערכת חוזק הראיות, במיוחד אם הרף נמצא בערך במקום הנכון. אני מניח שזו הטענה.

    כמו כן, הטענה לגבי "1% שהוא אשם" מתבססת על ההנחה שאונס תינוקות הוא תופעה נדירה ביותר. סביר שהאשמת אדם בכך שהשיג מכונית נוסעת בריצה ואז ירה פנימה, לעומת האשמתו במעשה דומה בעזרת אופנוע, תדרוש ראיות חזקות יותר. מנגד, האשמת אדם בעבירות נפוצות מאוד, למשל מהירות מופרזת, באמת דורשת סף ראיות נמוך יותר.

    כל זה בלי לקרוא את הכתבה ובלי להביע כל עמדה על הפרויקט של וילף.

    • תגובה מאת רוטקליים
      תאריך 20 באוקטובר 2017 17:31

      רוטקליים אינה קופסה שחורה. האנליזות שלנו מתפרסמות באתר ופתוחות לביקורת ולשינוי – אנחנו מעוניינים שהקהל יאתגר את הראיות והחישובים ויתרום בעצמו. כבר ביצענו שינויים באנליזות בעקבות הערות משתמשים. אנחנו מפרטים בשקיפות את כל החישובים באתר, ואפשר גם להוריד את הרשת הבייסיאנית של כל אנליזה לחישוב עצמי.

      בנוגע למערכת המשפט: חשוב להבהיר שסער לא טען ששופטים נוטים להכריע הפוך מהאמת (דורשים יותר ראיות מזכאים, ופחות מאשמים), אלא פשוט שניתן להוריד משמעותית את מספר הטעויות משני הסוגים. בנוסף, רוטקליים לא מנסה להחליף את מערכת המשפט, או לקבוע מה צריך להיות רף הראיות הדרוש להרשעה. המדינה היא זו שמחליטה מהו הרף שבו יש מספיק ראיות כדי לקבוע שהנאשם אשם מעבר לספק סביר. אנחנו כן טוענים שישנן טעויות שמשפיעות על הדרך בה בני אדם מקבלים החלטות והתמודדות עם טעויות האלה יכולה לשפר את קבלת ההחלטות במערכת המשפט. אחת הטעויות האלו היא חוסר התחשבות בהסתברות "ההתחלתית" – הפריור ("כשל התובע"). https://en.wikipedia.org/wiki/Prosecutor%27s_fallacy במקרה של נסים חדד, למשל, הפריור הוא ההסתברות שאדם יאנוס תינוק, כלומר איזה אחוז מהאוכלוסייה אונס תינוק (במשך שנה, למשל). להערכתנו, על סמך מחקר קצר, זה דבר שקורה לעתים מאוד רחוקות, סדר גודל של אדם אחד מעשרות מיליונים. כדי שההיפותזה שהוא אשם "תנצח" למרות הפריור הנמוך מאוד, צריך שיהיו ראיות חזקות שיתמכו בה. אחרי שמחשבים את השפעת הפריור והראיות ביחד, מסיקים את ההסתברות שהיפותזה מסוימת נכונה, עבור כל היפותזה. את ההסתברות הזו אפשר להשוות לרף, ומכאן להסיק אם להרשיע את החשוד.

      אכן, אם הסתברות הפריור לאשמת חשוד היא 99%, אזי מספיק שאין ראיות לחפותו כדי להצדיק הרשעה. במציאות, אין מצבים של הסתברות פריור כל כך גבוהה (לדוגמה, הסתברות פריור מציאותית גבוהה היא ההסתברות שבן זוג של אשה שנרצחה אשם – בסביבות ה-20%). https://www.bjs.gov/content/pub/pdf/htus8008.pdf כדי לקבוע שסביר שתרחיש לא נפוץ קרה צריך ראיות רבות וחזקות, אבל אם התרחיש נפוץ מאוד – לא צריך הרבה ראיות כדי לקבוע שסביר שהוא קרה. למשל, אם חבר היה אומר לך שהוא פגש חייזר בדרך הביתה, כנראה שהיית דורש ממנו ראיות חזקות כדי להאמין. לעומת זאת, אם הוא היה מספר לך שהוא פגש את השכנה שלו, היית דורש ממנו פחות ראיות לכך כדי להשתכנע. כאמור, חישוב הפריור בכל אנליזה באתר שקוף ופתוח לביקורת הציבור ואפשר תמיד לשפר אותו.

      לגבי הטענה שאין הסתברות אפריורית לאשמה – בהחלט אפשר לבחון אירועי עבר באופן הסתברותי. ההסתברות לא מתייחסת לעצם התרחשות האירוע, אלא לחוסר הוודאות של המתבונן בנוגע לאירוע. יש הסבר מפורט לכך באתר. https://www.rootclaim.com/faq#question_6

      סער גם לא טען ששופט צריך לבסס את החלטתו על סמך אמונות קודמות. אנחנו מציעים בדיוק את ההפך: להשתמש בכל הידע הקיים לנו על המקרה, כולל דמיון למקרים בעבר, סטטיסטיקות, עצמת ראיות, אמינות ראיות וראיות תלויות, ולחבר אותם באמצעות מודלים שמוכחים כעדיפים מהמוח האנושי. הפריור הוא כאמור חשוב, אבל הוא רק חלק מאנליזה שכוללת הרבה ראיות.

      אין גם טענה שהרשעת חפים מפשע זו טעות חמורה יותר משחרור אשמים, אלא רק ששיפור כלי ההסקה יכול להוביל לצמצום טעויות משני הסוגים.

      מעבר לראיון עם סער, אנחנו ממליצים למי שמעוניין לבחון את המתודולוגיה שלנו להתעמק בניתוחים באתר.

  • תגובה מאת Gil Kalai
    תאריך 15 באוקטובר 2017 17:39

    ברכות על הפוסטים החדשים.

    אכן הניתוח של וילף מוטעה. מה שקובע היא ההסתברות אפריורית מותנית במציאות הרפואית ואין שום סיבה להניח שמדובר ב 1%. כאשר התבצע פשע יש להתנות את כל החישובים ההסתברותיים בכך שהתבצע פשע. כאשר יש נזק גופני ויש ספק אם התבצע פשע, שוב יש להתנות את החישובים בקיום הנזק הרפואי.

    שני קישורים: אחד לדוגמה של כשל באינטאיציה לגבי הסתברויות מותנות
    https://gilkalai.wordpress.com/2017/09/08/elchanan-mossels-amazing-dice-paradox-answers-to-tyi-30/

    והשנייה לגבי השאלה: מהו ספק סביר?
    https://gilkalai.wordpress.com/2012/06/13/what-does-beyond-a-reasonable-doubt-practically-mean/

    • תגובה מאת רוטקליים
      תאריך 18 באוקטובר 2017 21:53

      החישובים אכן משתמשים בהסתברות מותנית, והמצב הרפואי בו נמצא התינוק הינו ראיה. ישנן שתי ההיפותזות:

      היפותזה 1: חדד אנס את התינוק.
      היפותזה 2: חדד לא אנס את התינוק.

      הערכת הסתברות פריור להיפותזה 1: איזה אחוז מכלל האוכלוסייה אונס תינוק (במשך שנה, למשל).
      פריור 2: המשלים.

      המצב הרפואי בו נמצא התינוק הינו ראיה. נחשב שתי הסתברויות מותנות:

      בהנתן שחדד אכן אנס את התינוק (היפותזה 1) מה ההסתברות שהתינוק יהיה פצוע בצורה בו נמצא?
      בהנתן שחדד *לא* אנס את התינוק (היפותזה 2) מהסתברות שהתינוק יהיה פצוע בצורה בו נמצא?

      כך צריך להמשיך עם שאר הראיות, תוך כדי בחינת תלויות, ועדכון הרשת הביסיאנית. בסוף התהליך מקבלים הסתברות נמוכה מאד לאשמתו של חדד.

      • תגובה מאת יוסי לוי
        תאריך 20 באוקטובר 2017 19:34

        אתם מתייחסים למשתנה "חדד אנס, כן או לא" כאל משתנה מקרי, אבל זה לא משתנה מקרי.
        אני מקווה שברור לכם כי אם הטלתם קוביה ויצא 6, המשתנה "בהטלת הקוביה שזה עתה הטלנו יצא 6" גם הוא אינו משתנה מקרי.
        האונס כבר התרחש, ולכן המשתנה "X הוא האנס" אינו מקרי, כי או ש-X הוא האנס או שלא, ולא משנה אם אתה יודע את ערכו של המשתנה או אינך יודע אותו.

        • תגובה מאת רוטקליים
          תאריך 22 באוקטובר 2017 06:26

          יש אי ודאות בקשר להתרחשות "אונס" וזה אכן משתנה מקרי. יש ראיה שהיא מצבו של התינוק. ההסתברות לא מתייחסת לעצם התרחשות האירוע, אלא לחוסר הוודאות של המתבונן בנוגע לאירוע. יש הסבר מפורט לכך באתר. https://www.rootclaim.com/faq#question_6

          ישנן שתי היפותזות וראיה (אחת מתוך רבות). שתי שאלות מרכזיות נשאלות: בהנתן שחדד אנס את התינוק כמה סביר שהתינוק ימצא במצב כזה לעומת בהנתן שחדד *לא* אנס את התינוק מה הסיכוי שהתינוק ימצא במצב כזה.

  • תגובה מאת דודי
    תאריך 16 באוקטובר 2017 11:45

    הרבה אשמים מסתובבים חופשי – לאו דווקא בגלל זיכויי שווא במשפט, אלא מכיוון שלא נשפטו ואולי אף לא נחקרו, כי המערכת התבייתה במלוא העוצמה על קורבן חף מפשע.

  • תגובה מאת דודי
    תאריך 16 באוקטובר 2017 11:48

    לגבי רוטקליים בכלל, מפריע לי (בתחושה) שהם משתמשים באותו מושג, "הסתברות", גם לאירועים חוזרים ("מה הסיכוי שבמחשבו של אדם מסוים יימצא חומר המחשידו ברצח, כאשר אינו רוצח") וגם לאירועים חד-פעמיים במהותם ("מה ההסתברות המוקדמת שהמורדים הם אלה שהשתמשו בגז בהתקפה מסוימת בסוריה").

    • תגובה מאת רוטקליים
      תאריך 22 באוקטובר 2017 06:33

      כיצד אפשר להעריך הסתברות למאורע "מיוחד במינו"? למעשה כל מאורע בעולם הוא מיוחד במינו – גם אירועים שלמוח שלנו מאד קל להכליל ולהבין את האקראיות שלהם כמו הטלות מטבע למשל. עם זאת, כל אירוע ניתן לנסות להכליל תוך שמירה על המהות, וכך להשוות אותו לאירועים דומים אחרים. הכללה נכונה היא בעיה מוכרת בהסתברות, וחשוב לבצע אותה בזהירות ומקצועיות. https://en.wikipedia.org/wiki/Reference_class_problem

  • תגובה מאת רוטקליים
    תאריך 18 באוקטובר 2017 21:51

    רוטקליים אינה קופסה שחורה. האנליזות שלנו מתפרסמות באתר ופתוחות לביקורת ולשינוי – אנחנו מעוניינים שהקהל יאתגר את הראיות והחישובים ויתרום בעצמו. כבר ביצענו שינויים באנליזות בעקבות הערות משתמשים. אנחנו מפרטים בשקיפות את כל החישובים באתר, ואפשר גם להוריד את הרשת הבייסיאנית של כל אנליזה לחישוב עצמי.

    בנוגע למערכת המשפט: חשוב להבהיר שסער לא טען ששופטים נוטים להכריע הפוך מהאמת (דורשים יותר ראיות מזכאים, ופחות מאשמים), אלא פשוט שניתן להוריד משמעותית את מספר הטעויות משני הסוגים. בנוסף, רוטקליים לא מנסה להחליף את מערכת המשפט, או לקבוע מה צריך להיות רף הראיות הדרוש להרשעה. המדינה היא זו שמחליטה מהו הרף שבו יש מספיק ראיות כדי לקבוע שהנאשם אשם מעבר לספק סביר. אנחנו כן טוענים שישנן טעויות שמשפיעות על הדרך בה בני אדם מקבלים החלטות והתמודדות עם טעויות האלה יכולה לשפר את קבלת ההחלטות במערכת המשפט. אחת הטעויות האלו היא חוסר התחשבות בהסתברות "ההתחלתית" – הפריור ("כשל התובע"). https://en.wikipedia.org/wiki/Prosecutor%27s_fallacy במקרה של נסים חדד, למשל, הפריור הוא ההסתברות שאדם יאנוס תינוק, כלומר איזה אחוז מהאוכלוסייה אונס תינוק (במשך שנה, למשל). להערכתנו, על סמך מחקר קצר, זה דבר שקורה לעתים מאוד רחוקות, סדר גודל של אדם אחד מעשרות מיליונים. כדי שההיפותזה שהוא אשם "תנצח" למרות הפריור הנמוך מאוד, צריך שיהיו ראיות חזקות שיתמכו בה. אחרי שמחשבים את השפעת הפריור והראיות ביחד, מסיקים את ההסתברות שהיפותזה מסוימת נכונה, עבור כל היפותזה. את ההסתברות הזו אפשר להשוות לרף, ומכאן להסיק אם להרשיע את החשוד.

    אכן, אם הסתברות הפריור לאשמת חשוד היא 99%, אזי מספיק שאין ראיות לחפותו כדי להצדיק הרשעה. במציאות, אין מצבים של הסתברות פריור כל כך גבוהה (לדוגמה, הסתברות פריור מציאותית גבוהה היא ההסתברות שבן זוג של אשה שנרצחה אשם – בסביבות ה-20%). https://www.bjs.gov/content/pub/pdf/htus8008.pdf כדי לקבוע שסביר שתרחיש לא נפוץ קרה צריך ראיות רבות וחזקות, אבל אם התרחיש נפוץ מאוד – לא צריך הרבה ראיות כדי לקבוע שסביר שהוא קרה. למשל, אם חבר היה אומר לך שהוא פגש חייזר בדרך הביתה, כנראה שהיית דורש ממנו ראיות חזקות כדי להאמין. לעומת זאת, אם הוא היה מספר לך שהוא פגש את השכנה שלו, היית דורש ממנו פחות ראיות לכך כדי להשתכנע. כאמור, חישוב הפריור בכל אנליזה באתר שקוף ופתוח לביקורת הציבור ואפשר תמיד לשפר אותו.

    לגבי הטענה שאין הסתברות אפריורית לאשמה – בהחלט אפשר לבחון אירועי עבר באופן הסתברותי. ההסתברות לא מתייחסת לעצם התרחשות האירוע, אלא לחוסר הוודאות של המתבונן בנוגע לאירוע. יש הסבר מפורט לכך באתר. https://www.rootclaim.com/faq#question_6

    סער גם לא טען ששופט צריך לבסס את החלטתו על סמך אמונות קודמות. אנחנו מציעים בדיוק את ההפך: להשתמש בכל הידע הקיים לנו על המקרה, כולל דמיון למקרים בעבר, סטטיסטיקות, עצמת ראיות, אמינות ראיות וראיות תלויות, ולחבר אותם באמצעות מודלים שמוכחים כעדיפים מהמוח האנושי. הפריור הוא כאמור חשוב, אבל הוא רק חלק מאנליזה שכוללת הרבה ראיות.

    אין גם טענה שהרשעת חפים מפשע זו טעות חמורה יותר משחרור אשמים, אלא רק ששיפור כלי ההסקה יכול להוביל לצמצום טעויות משני הסוגים.

    מעבר לראיון עם סער, אנחנו ממליצים למי שמעוניין לבחון את המתודולוגיה שלנו להתעמק בניתוחים באתר.

תגובה