חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור תגית קבלת החלטות

"המחשב טעה. שלא תדעו עוד צער."

האם מקצוע הרדיולוג עומד להיכחד? האם אלגוריתמים של בינה מלאכותית, כגון רשתות נוירונים, יחליפו את הרדיולוגים, ובהמשך את שאר הרופאים? ואיך כל זה קשור למכוניות אוטונומיות?

כל השאלות האלה עלו בעקבות פוסט בבלוג  Toward Data Science שפרסם יו הארווי, רופא המתמחה ברדיולוגיה. הארווי טוען כי האלגוריתמים לא יחליפו את הרדיולוגים בעתיד הנראה לעין, אם בכלל. בדיון בקבוצת Machine & Deep learning Israel בפייסבוק הופיע הפניה לפוסט של לוק אוקדן-ריינר, גם הוא רופא המתמחה ברדיולוגיה.  הפוסט של אוקדן-ריינר מתייחס למאמר שפורסם ממש לפני כמה חודשים (נובמבר 2017), מאת רג'פורקאר ועמיתיו, שתיאר אלגוריתם לפענוח תצלומי רנטגן. בין העמיתים החתומים על המאמר זה נמנה אנדרו אנג, מה שמחייב התייחסות רצינית ביותר למאמר.

ברשימה זו אביא את דבריהם של הארווי ואוקדן-ריינר, ואתייחס למאמר של רג'פורקאר. כמו כן, אומר מה לדעתי צריכים להיות הקריטריונים לפיהם יהיה ניתן לקבוע כי אלגוריתם כזה יכול להחליף רופא מומחה. בנוסף אענה באופן מסודר לטענות (הטובות) שהועלו בקבוצת הפייסבוק.[1]

זוהי רשימה ארוכה במיוחד. חילקתי אותה למספר פרקים כשלכל פרק כותרת נפרדת, כדי שתוכלו לדלג על הפרקים שלא מעניינים אתכם.

הארווי: אינטליגנציה מלאכותית לא תחליף את הרדיולוגים

ד"ר הארווי, שכנראה לא היה מודע למאמר של ראג'פורקאר כשכתב את דבריו[2] משיב לטענתו של ג'פרי הינטון, מומחה לרשתות נוירונים, שאמר כי "ברור שצריך להפסיק להכשיר רדיולוגים". הוא מביא שלושה טיעונים כתשובה להינטון.

ראשית, טוען הארווי, כי בניגוד לאלגוריתם, הרדיולוג עושה יותר מאשר להביט בהדמיות[3]. הארווי מתאר בפירוט את תפקידיו של הרדיולוג בתהליכי האבחון, שאמנם מתבססים על הדמיות, אך גם על אינפורמציה נוספת. הוא אמנם מסכים כי אלגוריתמים למיניהם עשויים לסייע ולשפר כמה תחנות בתהליך האבחוני, אך אינם יכולים להחליף את שיקול הדעת של הרופא.

הנימוק השני של הארווי הוא שבסופו של דבר מי שנושא באחריות הסופית הם בני אדם. הארווי מציג אנלוגיה בין התעופה ובין הרפואה (לא מוצלחת, לדעתי), אולם בסופו של דבר מדגיש את הנקודה המהותית: כשהרופא טועה, ורופאים אכן עלולים לטעות, הרופא אחראי. מי יהיה אחראי במקרה שבו האלגוריתם טעה? האם החברה שמכרה לבית החולים את המערכת שמפענחת תצלומי רנטגן תהיה מוכנה לקחת אחריות על מקרה שבו חולה ימות כי האלגוריתם טעה ולא זיהה כי הפציינט חולה בדלקת ריאות? אולי החולה שהסכים להפקיד את בריאותו בידיו של האלגוריתם (בהנחה שהייתה לו ברירה) אחראי? הרי אף אחד לא יעלה בדעתו שהרופא ששלח את החולה הבייתה כי האלגוריתם אמר שהוא בריא יהיה אחראי. או שכן? הארווי טוען שאף מערכת AI לא תהיה מדוייקת ב-100%. זה נכון, אבל לדעתי הטענה הזו מחלישה את הטיעון שלו. הרי גם רופאים טועים. עם זאת טוען הארווי כי רופאים עשויים לתפקד טוב יותר מאלגוריתם במקרי קצה, וכאן אני נוטה להסכים איתו.

הטענה השלישית של הארווי פחות רלוונטית לנושא של השוואת הביצועים של רופאים ואלגוריתמים רפואיים. הוא טוען כי כאשר יוכנסו מערכות AI למיניהן ויחליפו חלק מהשלבים בתהליך האבחוני, התהליך אכן יתייעל, אולם זה רק ייצור יותר ביקוש לשירותי רדיולוגיה, הביקוש לרדיולוגים יעלה ויגבר הצורך בהכשרת רדיולוגים נוספים.

ראג'פורקאר: האלגוריתם יכול לאבחן דלקת ריאות יותר טוב מהרופאים

הפוסט של אוקדן-ריינר מתייחס למאמר של רג'פורקאר. לכן אסקור בקצרה את הרעיון הכללי של מאמר, ואחר כך אביא את דבריו.

ראג'פורקאר ועמיתיו (שמכאן והלאה אכנה בשם "החוקרים") נעזרו בבסיס נתונים שהכיל יותר מ-100 אלף תצלומי רנטגן של החזה, של כ-38 אלף חולים ב-14 מחלות שונות, וביניהן דלקת ריאות. כל חולה סווג כחולה בדלקת ריאות, או כלא חולה בדלקת ריאות. הנתונים חולקו לפי כל כללי הטקס[4] לשלושה קובצי נתונים נפרדים.

ראשית הם השתמשו בנתונים של כ-29 אלף חולים, ובסך הכל כ-99 אלף תצלומים לצורך "אימון המודל"[5], כ-3.5 תצלומים לחולה, בממוצע.

לאחר שאימנו את המודל, עברו לקובץ השני, בו היו כ-6400 צילומים של כ-1700 חולים (3.8 צילומים לחולה, בממוצע). בעזרת קובץ זה הם ביצעו תיקוף (ולידציה) של המודל.

לסיום, בחנו את ביצועי המודל על הקובץ השלישי, שהכיל 420 צילומים של 389 חולים (כ-1.08 תצלומי רנטגן לחולה, בממוצע).[6]

בתהליך הבחינה 420 התצלומים נבדקו על ידי ארבעה רדיולוגים מאוניברסיטת סטנפורד שסיווגו את החולים לאחת מ-14 המחלות שהיו בקובץ המקורי, וכמובן שגם האלגוריתם אמר את דברו. לרדיולוגים לא היה כל מידע רפואי על החולים מעבר לתצלומי הרנטגן, וכמו כן הם לא ידעו את השכיחויות של כל אחת מ-14 המחלות בקובץ המקורי. במילים אחרות, היה להם בדיוק את אותו המידע שהיה לאלגוריתם.

החוקרים חישבו לכל אחד מהרדיולוגים, וגם עבור האלגוריתם, מדד ביצוע מקובל בשם F1. [7]  הם הראו כי ההפרש בין המדד שהתקבל לאלגוריתם גבוה ב-0.051 מהמדד הממוצע של ארבעת הרדיולוגים, וכי ההפרש הזה מובהק סטטיסטית (רווח הסמך להפרש ברמת סמך של 95% הוא 0.005-0.084).

החוקרים מודים כי למודל שלהם יש שלוש מגבלות, אך מציינים רק שתיים[8]. ראשית, הנתונים כללו רק צילומי חזה פרונטליים, בעוד שבכ-15% מהמקרים של דלקת ריאות יש צורך גם בתצלומי צד כדי לבצע אבחנה מדוייקת. שלישית[9] , החוקרים מודים כי העובדה שהמודל והחוקרים לא נעזרו בנתונים נוספים, כגון היסטוריה רפואית, פוגעת בביצועים של הרופאים (ושל המודל כמובן).

אוקדן-ריידר: אלגוריתמים הם מגניבים, אבל…

ד"ר אוקדן-ריינר אכן סבור כי נוכל להגיע למצב בו לאלגוריתם יהיו ביצועים שווים לביצועים של רופא אנושי ואף יעלו עליו. עם זאת, הוא טוען כי האלגוריתם של רג'פורקאר אינו מתאים לבצע אבחון רפואי. הסיבה לכך נעוצה, לדבריו, בנתונים של ואנג ועמיתיו, בהם רג'פורקאר ועמיתיו השתמשו לצורך פיתוח המודל.

אוקדן-ריינר טוען  כי יש בעייתיות בסיווגים של התצלומים בקובץ הנתונים המקורי של ואנג. לא ברור עד כמה הסיווגים מדוייקים, מה המשמעות הרפואית של הסיווגים, ועד כמה הסיווגים שימושיים לצרכים של ניתוח הצילומים. הוא מציין כי קובץ הנתונים והדוקומנטציה שלו עודכנו מספר פעמים מאז הפרסום המקורי. המאמר שמתאר את בניית הקובץ כמעט ואינו מתייחס להיבטים הקליניים של הנתונים, ומכיל רק פיסקה אחת שמתייחסת לרמת הדיוק של האבחונים שהותאמו לכל סט של תצלומים של חולה אחד.

עד כמה מדויקים הסיווגים? הם התקבלו בשיטות של text mining. הם לא התבוננו בתצלומים. אוקדן-ריינר טוען שרמת הדיוק של הסיווגים בקובץ אינה מספקת. הוא קבע זאת על ידי התבוננות בתצלומים. אמנם לא בכולם, אלא רק במדגם. הסיווגים שלו, כרדיולוג מומחה, היו שונים באופן מהותי מהסיווגים שבקובץ הנתונים.

השאלה השנייה היא מה המשמעות הרפואית/קלינית של הסיווגים. הנה הבעיה: הקביעה האם לחולה יש או אין דלקת ריאות היא קביעה קלינית. צילום רנטגן של החזה הוא נתון התומך באבחון (surrogate measure) ואינו מספיק לבדו לקבוע האם לחולה יש דלקת ריאות, או שה-"עננים" הנראים בצילום הם סימפטום לבעיה רפואית אחרת. המצב בו רואים "עננים" נקרא קונסולידציה. למעוניינים בהסבר רפואי מפורט יותר אני מפנה לפוסט אחר שלו. השורה התחתונה היא שהסיווג של ואנג ועמיתיו במקרה של "עננים" הוא סיווג של יש קונסולידציה או יש דלקת ריאות. אולם, מבחינה רדיולוגית קשה מאוד להחליט מתי קונסולידציה היא דלקת ריאות או משהו אחר. דלקת ריאות היא סוג של קונסולידציה. ההיפך לא נכון. כאשר ואנג ועמיתיו מציינים בנתונים שיש קונסולידציה, יכול להיות שלחולה יש דלקת ריאות. גם יכול להיות שלא. אוקן-ריינר טוען כי הנתונים שבדק מראים שהבעיה הזו קיימת.

וכאן עולה השאלה שלישית, והחשובה ביותר: אם הסיווגים של הנתונים בעייתיים, והמשמעות הקלינית שלהם מוטלת בספק, מה המודל באמת לומד? מה הערך של מודל המתבסס על נתונים בעייתיים?

מה הבעיה במאמר של רג'פורקאר?

אני סומך ב-100% על העבודה שעשו רג'פורקאר ועמיתיו. ההבנה שלי בתחום בו עוסקים היא בסיסית, ומבוססת בעיקר על לימוד עצמי. לצורך הדיון, אני מוכן להתעלם מהביקורת של אוקדן-ריידר על טיב הנתונים. זה לא משפיע על האיכות של המודל, שהרי התחרות בין ארבעת הרדיולוגים ובין המודל התבססה על אותם נתונים, והמודל ניצח. החוקרים מצאו כי במונחי F1, המודל היה יותר טוב מהרדיולוגים בשר ודם ב-0.051, וההבדל הזה מובהק סטטיסטית.

יש לי רק שאלה אחת: מה המשמעות הקלינית של ההבדל הזה? מה הערך המוסף הקליני של המודל? לצערי, אין לי מושג, ואני לא בטוח שלמישהו יש מושג. ברור שהשאלה הזו לא עלתה כלל על דעתם של החוקרים, כי אחרת הם היו לפחות מזכירים אותה  בדיון המסכם. המילה clinical הופיעה במאמר רק פעמיים, שתיהן בפרק המבוא. זהו אחד משבעת החטאים של הסטטיסטיקה: אי הבחנה בין תוצאה מובהקת לתוצאה משמעותית.

מה הבעיה המרכזית במודל של רג'פורקאר?

הבעיה המרכזית במודל של רג'פורקאר היא אבחון חלקי. כשהמודל קובע שלחולה אין דלקת ריאות, הוא לא אומר מה כן יש לו. כאן יש לרדיולוג יתרון ברור על המודל. יש לו ידע קליני שמאפשר לו לקבוע מה מצבו של החולה.

נכון שזה רק מודל, ואנחנו בתחילת הדרך. אין לי ספק שהמודל הזה הוא צעד בכיוון הנכון, אבל זהו צעד קטן מאוד. כדי נגיע למצב בו מודל כזה יהיה ראוי להישקל לשימוש, הוא יהיה צריך לסווג את תצלומי החזה ל-15 קטגוריות לפחות. מישהו יכול להעריך עד כמה אנחנו רחוקים ממודל כזה?

איך צריך להעריך את הביצועים של מודל רג'פורקאר? (וגם את ביצועי הרופא)

תסלחו לי, אבל אני לא מבין מה המשמעות האינטואיטיבית של מדד F1, ומה זה אומר אם הוא שווה ל-0.435. אני ביוסטטיסטיקאי. אחד מתפקידיי הוא לתקשר את התוצאות לצוות הקליני, כדי שהם יוכלו להעריך את המשמעות שלהם. כשהמטרה היא להעריך כלי דיאגנוסטי[10] אני בהחלט מציג בפניהם מדדים כמו accuracy, specificity, ו-sensitivity, למרות שבמקרים רבים גם להם אין משמעות אינטואיטיבית ברורה[11]. אבל כל המדדים האלה לא מספיקים. אלוהים נמצא בפרטים הקטנים, ולכן צריך להתעמק בהם.

מה יקרה אם המודל של רג'פורקאר ישמש ככלי אבחון עיקרי או יחיד למחלת ריאות? בואו נניח לצורך הדיון, כי המודל משמש כשלב הראשון בתהליך האבחוני, ויסווג את החולים כסובלים מדלקת ריאות, או לא סובלים מדלקת ריאות אלא ממשהו אחר, שהמודל לא יודע לזהות, ובמקרה כזה התהליך האבחוני יימשך. נניח גם כי זהו גם התהליך הרדיולוגי.

כאשר מודל או רדיולוג צופים בצילום חזה, יש ארבע אפשרויות.

קודם כל, יש מצב שבו המודל או הרדיולוג מאבחנים כי לחולה יש דלקת ריאות, ולחולה אכן יש באמת דלקת ריאות. זה מצויין. נותנים לחולה את הטיפול המתאים ושלום על ישראל. כאן יש תועלת.

ייתכן כי לחולה אין דלקת ריאות, והמודל או הרדיולוג יקבעו כי לחולה אין דלקת ריאות. זה אכן טוב, אבל לא יותר מדי טוב. החדשות הטובות הן שלא נעשה משהו רע. הבעיה היא שלא התקדמנו. אדם נשלח לביצוע צילום חזה כי הוא חולה במשהו. אם אין לו דלקת ריאות אז יש לו משהו אחר. מה? ובכן, יש צורך בבדיקות נוספות. כאן אין תועלת וגם אין נזק.

נמשיך. יכול להיות כי לחולה יש דלקת ריאות והמודל או הרדיולוג יקבעו כי אין לו דלקת ריאות. הרופאים ימשיכו בתהליך האבחוני. הטיפול בחולה מתעכב. כאן יש קצת נזק. במקרה הטוב, בחינה נוספת של הרופאים תעלה כי בכל זאת יש לו דלקת ריאות, והנזק מינימלי. במקרה הפחות טוב, אם כי לדעתי יותר נדיר, החולה יאובחן כסובל מבעיה אחרת, יקבל טיפול רפואי בלתי מתאים, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (ותמיד יש תופעות לוואי ונזקים בריאותיים), והבעיה הרפואית האמיתית שלו לא תטופל. עלול להיגרם נזק משמעותי.

ועכשיו נגיע למצב הגרוע ביותר: לחולה אין דלקת ריאות והמודל או הרדיולוג אומרים כי יש לו דלקת ריאות. החולה יקבל טיפול רפואי לדלקת ריאות, (אנטיביוטיקה, למשל) שאינו מתאים למצבו הרפואי, וכאמור לעיל, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (השגוי). שוב, החולה לא יקבל טיפול מתאים לבעיה הרפואית האמיתית שלו, שאינה דלקת ריאות, אלא ככל הנראה משהו יותר חמור. כאן נגרם נזק משמעותי. עד כמה הנזק משמעותי? זה כבר תלוי בהרבה גורמים, כמו למשל המצב הבריאותי האמיתי של החולה, ומשך הזמן שיעבור עד שיבחינו כי הטיפול הנוכחי שהחולה מקבל אינו יעיל ויבצעו הערכה מחדש של האבחון.

השאלה הגדולה היא: האם המודל והרדיולוג טועים את אותן הטעויות?

מדדים כגון F1 לא אומרים לנו מה השכיחות של כל מצב מארבעת המדדים שתיארתי, ובוודאי לא מספקים לנו הערכה של סך הנזק הפוטנציאלי, סך התועלת הצפויה, והערכה האם התועלת עולה על הנזק, ואם כן, עד כמה. אפשר לבצע את ההערכה הזו. אפשר לכנס צוות רופאים שיבחנו אחד לאחד את 389 התיקים ששימשו לבחינת המודל. סטטיסטיקאי טוב יוכל להקל עליהם את העבודה באמצעות הצגה בהירה של הנתונים. בסופו של דבר, תהיה לנו הערכה לגבי הביצועים הקליניים של המודל.

באותו אופן, אפשר להעריך את הביצועים הקליניים של ארבעת הרדיולוגים שהתחרו במודל.

כעת, נוכל לקבוע האם למודל יש באמת יתרון על הרופאים בשר ודם, ואם כן, האם היתרון משמעותי מבחינה קלינית.

הדיון בקבוצת הפייסבוק ותשובות לשאלות

חברי הקבוצה לא הקלו עלי את החיים כששיתפתי עימם את הפוסט של ד"ר הארווי, וטוב שכך. אני ציינתי שאני מסכים עם הטענות שלו, ומטבע הדברים היו חברים בקבוצה שלא הסכימו איתנו. הם העלו טיעונים טובים ושאלו אותי שאלות קשות ומצויינות. עניתי כמיטב יכולתי במסגרת המגבלות הטכניות של ממשק הפייסבוק. אביא כאן את עיקרי הדיון, אתייחס לשאלות שנשאלתי בכל הרצינות, ואענה כמיטב יכולתי. אם פיספסתי שאלה של מישהו, אנא הפנו את תשומת ליבי לכך ואתקן. אשמח גם להמשיך בדיון.

כמו כן, אני ממליץ לכם לקרוא את הדיון עצמו שכן מעבר לדיון הספציפי בטיעונים של ד"ר הארווי ולשאלות שנשאלתי נאמרו בו עוד דברים מעניינים וחשובים.

  • ערן פז טוען שאלגוריתמים יכולים ללמוד גם פעילויות אחרות שמבצע הרופא כולל אינטראקציה בין אישית, וחוזה בבדיחות הדעת כי גם באינטראקציה בין אישית ביצועי האלגוריתמים יהיו טובים יותר מאלה של הרופא. בסופו של דבר, אומר ערן, הרפואה תהיה אוטומטית כמעט לחלוטין.

האמת היא שאין לי מה לענות לטענה הזו. מדובר בהערכה סובייקטיבית. אני לא שולל את האפשרות שזה אכן יקרה[12], אבל יש לדעתי סיכוי הרבה יותר סביר שזה לא יקרה. בכל מקרה, אני משוכנע שהדור שלנו לא יזכה לראות את הרפואה האוטומטית, אם אכן החזון יתגשם. ההערכה הסובייקטיבית שלי היא כי זה לא יקרה בעתיד הנראה לעין.

  • ערן מתייחס גם לטיעון השני של ד"ר הארווי, ואומר כי זה נושא יותר פילוסופי/רגולטורי מאשר טכנולוגי, ובכך הוא צודק כמובן. הוא ממשיך וטוען כי הבעיה שגם אם המערכת היה טובה יותר מבן אדם, לנו כבני אדם קשה יותר לקבל טעות ספציפית שנעשתה ע"י מחשב, גם אם בסה"כ הוא טועה הרבה פחות מבן אדם.

לי יש בעיה עם האמירה הזו. המחשב לא טועה, גם לא המודל (או יותר נכון, האלגוריתם).[13] מקור הטעויות הן בפיתוח האלגוריתם.

  • כאן מתערב בדיון ים פלג ושואל מה אם יש רעש בדאטה.

התשובה המיידית שלי הייתה כי יש הבדל בין מודל שמנסה לחזות התנהגות של לקוח ובין מודל שעוסק בחיי אדם. עם זאת, ים בהחלט צודק. רעש בנתונים הוא בעיה שצריך להתמודד איתה. הדרך להתמודד, לדעתי, היא לבדוק את הביצועים הקליניים של המודל, כפי שהסברתי למעלה, ולהשוות אותו לביצועים של הרופאים, במונחים של סך תועלת מול סך נזק.

  • ים ממשיך ושואל האם סך התועלת הוא לא ההפרש בין ביצועי האלגוריתם לביצועי האדם.

עניתי מהמותן שלא, אבל אני מודה שהתשובה שלי לא הייתה מדוייקת. ים צודק עקרונית, אבל לקביעה שלו אין משמעות אם לא מגדירים היטב איך מודדים את ביצועי האלגוריתם וביצועי האדם. מי שקרא עד כאן יודע כבר שהתשובה הרבה יותר מסובכת, ו-F1 הוא לא המדד האולטימטיבי.

  • ים המשיך והקשה עלי. הוא טען כי אם יש לך אדם שמאבחן נכון X אנשים ומציל את חייהם ויש אלגוריתם שמאבחן נכון X+Y אנשים נכון (מהנתון שהוא יותר מדויק) ומציל את חייהם. יש לך Y יותר אנשים חיים.

זה כמובן נכון, אבל זה רק צד אחד של המטבע. מספר התוצאות החיוביות האמיתיות, או יותר מדוייק – שיעורן. ה-True Positive Rate הוא בהחלט מדד חשוב, אבל כפי שעניתי בקצרה בקבוצת הפייסבוק והסברתי כאן בפירוט, יש עוד צד למטבע, עוד שלושה צדדים למעשה. הבעיות העיקריות, כפי שהסברתי למעלה, נובעות מהאבחונים הלא נכונים: תוצאות חיוביות שגויות (False Positive) ותוצאות שליליות שגויות (False Negative).

  • ערן חוזר ושואל: בוא נניח לרגע שמודל לא יהיה יותר מדוייק, אלא יהיה יותר קרוב ל(1,1) על הROC או לכל מדד אחר שתבחר מבן אדם, עכשיו הטיעונים בסדר? כמו כן הוא מציין כי בדיון גם לא לקחנו בחשבון את העלויות של הקמת חוות GPU לעומת העלות של הכשרת רדיולוג, זה גם משפיע על התועלת?

אני טוען שבמצבים רפואיים התועלות והנזקים הם לא 0-1. נכון שאולי ב-ROC המודל יעשה טוב יותר, עם זה אני לא מתווכח. אני טוען שלטעויות שונות יש משמעויות שונות, וכמו כן, גם במצבים של חוסר טעות, TP ו-TN, עדיין יש משמעויות שונות. המצב נעשה הרבה יותר חמור אם עוברים מדלקת ריאות לסרטן, למשל. מי ייקח אחריות על חולה סרטן שלא יאובחן בזמן בגלל שהמודל היה רועש מדי?

  • אמיר רוזנפלד שואל: יהי המדד האולטימטיבי כפי שאתה מגדיר אותו. נניח שתחת מדד זה מכונה מתעלה על אדם. במי תבחר?

תשובתי היא שכשמדובר ברפואה אין דבר כזה "מדד אולטימטיבי". צריך לבצע הערכה כוללת של התועלת מול הנזק כי הנזקים עלולים להיות שונים מחולה לחולה. יש משמעויות לטעויות, והן שונות מחולה לחולה. חזרתי והבאתי את הדוגמה של חולה שמאובחן בטעות כחולה סרטן. הוא יקבל כימותרפיה שהוא לא צריך[14]. מילא התופעות לוואי של בחילות ונשירת שיער וכאלה – כימותרפיה גם גורמת נזקים בריאותיים ממשייים.

עם זאת, אני בהחלט מסכים שאם למודל יש יתרון קליני משמעותי על פני הרופאים בשר ודם, יש להעדיף את המודל, לפחות ברמה היישומית. עדיין יש לפתור את עניין האחריות.

  • ערן טוען כי אני סתם מתחמק מתשובה, ושואל: הנה, מודל, שעבור רמת הFP והFN של רופא נותן יותר TP מרופא אבל עדין טועה, מחליף את הרופא?

אני מודה שלא הבנתי את השאלה, אבל סבור שהבהרתי לחלוטין איך יש להעריך את הביצועים של המודל ולהשוות אותם לביצועים של הרופא.

סיכום

אני חושב שכולם מסכימים כי עדיין לא הגיע היום בו אלגוריתמים יכולים להחליף רופאים, אלא אם מדובר בתהליכים ממש פשוטים. למשל, אני סבור שאפשר להכניס לשימוש אלגוריתם שיקבל בתור קלט נתונים על חולה (כמו בדיקות דם, מדדי דופק ולחץ דם, וכולי) ויוציא התרעה לרופא המשפחה אם הנתונים בעייתיים. ייתכן ואלגוריתמים מסוג זה כבר קיימים ופועלים.

במקרים יותר ממוקדים, כמו אלגוריתם הפיענוח של רג'פורקאר הדברים הרבה יותר מסובכים. יש הסכמה כי הנתונים ששימשו ל-"אימון" המודל היו בעייתיים. אלגוריתם זה אמנם הראה יתרון מובהק סטטיסטית בביצועיו על פי מדד F1 לעומת ארבעה רופאים בשר ודם, אבל לא ברורה המשמעת הקלינית של יתרון זה (בלשון המעטה). כמו כן, האלגוריתם מוגבל בכך שבמקרה והוא מזהה כי לחולה אין דלקת ריאות, הוא לא מספק תובנה לגבי הבעיה האמיתית שיש לחולה. בסופו של דבר, האלגוריתם הזה הוא אמנם צעד בכיוון הנכון, אבל צעד זעיר מאוד, כמעט זניח.

יתר על כן, המקרה הרפואי של דלקת ריאות הוא קל יחסית מבחינה רפואית. מחלות אחרות, כגון סרטנים ומחלות לב, למשל, צופנות בחובן אתגרים הרבה יותר גדולים.

עם זאת, יש דרך טובה ויעילה לבחון האם הביצועים של אלגוריתמים כאלה עולים על הביצועים של רופא אנושי, ובכמה.

אבל הבעיה העיקרית אינה טכנולוגית אלא אתית.

מי אחראי במקרה שהאלגוריתם טועה? מספר הדעות יהיה כנראה כמספר המשיבים.

בואו נראה מה יכול לקרות בארצות הברית, מכיוון שסביר להניח כי היא תהיה בין המדינות הראשונות בהן יוכנסו אלגוריתמים כאלה לשימוש (בהנחה שבכלל יוכנסו). במדינה בה תביעות על רשלנות רפואית[15] נפוצות מאוד, הנפגעים לא יהססו לתבוע את החברה שמיישמת את האלגוריתמים, את בעלי הפטנט, ומי יודע את מי עוד. האם חברות הביטוח יסכימו לבטח את החברה שמיישמת את האלגוריתם? איש אינו יודע.

אני רוצה להרחיב את הדיון בשאלת האחריות, כי זו לדעתי השאלה המהותית, וממנה נגזרה הכותרת הפרובוקטיבית של הרשימה הזו.

בואו ניקח, כדוגמה פשוטה ביותר, אלגוריתם שצריך לזהות האם בתמונה שמוצגת לו יש חתול. לאף אחד לא איכפת באמת אם האלגוריתם יטען שתמונה של כלב מראה לדעתו חתול.

מה עם אלגוריתם שמחליט אם כדאי להציע לאדם שנכנס לאתר אינטרנט עיסקת קניה מסויימת? יכול להיות שאנשים שהעיסקה תוצע להם לא יבצעו את הקניה, וגם יכול להיות שיפוספסו קונים שהיו מבצעים את הרכישה אם העיסקה הייתה מוצעת. זה חבל, אבל בסך הכל מדובר פה בכסף.

אם מדובר בהרבה כסף, הבעיות יכולות להיות גדולות. בנקים שמנסים לזהות איזה לקוח עלול לא להחזיר את ההלוואה שיקבל עלולים לעמוד בפני בעיה אם האלגוריתם לא מספיק טוב. עם זאת, אני יודע שאלגוריתמים כאלה פועלים, וכנראה שיקול הדעת שלהם יותר טוב משיקול הדעת של הפקיד.

בואו נמשיך. מה עם אלגוריתם שמחליט על ביצוע עיסקות קניה ומכירה בבורסה? בסרט הזה כבר היינו בשנת 2008. אני מקווה שהאלגוריתמים האלה השתפרו מאז, כי לא מתאים לי עוד משבר כלכלי עולמי.

מה בקשר למכונית אוטונומית? כאן כבר מתחילים לדבר על חיי אדם. מישהו יודע כמה טעויות שליליות שגויות (False Negative) יש לאלגוריתם של מובילאיי? וכמה מהטעויות האלה מובילות לתאונות? וכמה מהתאונות האלה כוללות פגיעות בגוף? אני לא יודע. אני לא בטוח שיש מי שיודע.

נכון, מכוניות אוטונומיות כבר נוסעות בכל מיני מקומות בארצות הברית, במסגרת ניסויים לבחינת האלגוריתמים. מי יעריך את מאזן התועלת מול הנזק של האלגוריתמים שמפעילים את המכוניות האלה וישווה אותם לביצועים של נהג אנושי? ואיך? האם יהיה רגולטור, כמו שיש את ה-FDA בתחום הרפואי? האם חברות הביטוח יסכימו לבטח את המכוניות והאלה והנוסעים בהם? ואם כן, מה תהיה עלות הביטוח?

מה בקשר למטוס אוטונומי? מי מוכן לעלות על טיסה טרנס אטלנטית במטוס ללא טייס?

אני יודע שאי אפשר לעצור את הקידמה, ובניגוד למה שעלולים לחשוב אני בעד הקידמה. אני בהחלט חושב שעתיד בו אלגוריתם יוכל להחליף רופא ולבצע את מלאכתו באופן טוב יותר מהרופא האנושי, וכולנו ניסע במכוניות אוטונומיות, הוא עתיד טוב. אבל כדי להגיע לעתיד הזה עלינו להתגבר על הרבה מאוד בעיות, והבעיות הטכנולוגיות הרבה יותר פשוטות מהבעיות האתיות. אני גם חושב שהעתיד הזה רחוק מאוד מאיתנו ואנו לא נזכה לראות אותו, וגם לא בנינו ובני בנינו.


הערות
  1. עם זאת, לא אתייחס לטענה "תן תמונה היום לעשרה רדיולוגים ותקבל 11 חוות דעת" []
  2. שכן הוא לא התייחס אליו []
  3. כגון תצלומי רנטגן, סריקות CT ו-MRI, ועוד []
  4. כלומר, באופן רנדומלי []
  5. שזה תיאור מרשים לתהליך של אמידת פרמטרים []
  6. אעיר ואומר כי יש כאן בעיה מסויימת – נתוני הבדיקה שונים באופן מהותי מנתוני האימון והתיקוף. []
  7. זהו הממוצע ההרמוני של הרגישות – recall ושל הדיוק – precision. ראו הגדרות בויקיפדיה []
  8. השלישית ירדה בכביסה? יותר סביר להניח כי אחרי מחשבה נוספת הם הגיעו למסקנה כי המגבלה הנוספת שחשבו עליה אינה באמת מגבלה []
  9. או בעצם שנית, לא משנה []
  10. כמו בדיקת דם חדשה, או אלגוריתם מגניב שפיתחו החבר'ה בסטנפורד []
  11. יש מחקרים שמראים כי הרבה רופאים מפרשים אותם באופן לא נכון, אבל לא ניכנס לזה עכשיו []
  12. כלומר, אני סבור כי ההסתברות לכך גדולה מאפס []
  13. מכאן הגיעה הכותרת הצינית והפרובוקטיבית של הפוסט הזה []
  14. או אפילו יעבור ניתוח מיותר []
  15. ובארצות הברית גם טעות בתום לב נחשבת כרשלנות []

איך להמר (אם אתה מוכרח)

איך להמר (אם אתה מוכרח)

אתם חייבים 100 אלף דולר לשוק האפור, אבל יש לכם רק 50 אלף, וצריך לשלם בערב. זה לא משנה אם יהיו לכם 50 אלף דולר, או 90 אלף, או 99,999. כל סכום קטן מ-100 אלף יגרום לתוצאות הרות אסון. הסיכוי היחיד שלכם נמצא בקזינו. אתם ניגשים לשולחן הרולטה, שם אפשר להמר על אדום-שחור. אם הימרתם בדולר אחד על אדום, והתוצאה היא אדום, תקבלו בחזרה את הדולר שלכם ודולר אחד נוסף. אם התוצאה אינה אדום[1] הפסדתם את הדולר. יש לציין כי הסתברות הזכיה כאשר מהמרים על אדום היא קצת פחות מ-50%. מה הכי כדאי לעשות? מהי האסטרטגיה שתביא למקסימום את ההסתברות שתצאו מהקזינו ובכיסכם 100 אלף דולר?

שאלה דומה לזו הוצגה בעמוד הראשון של הספר הקלאסי How to gamble if you must מאת Lester E. Dubins, ‎Leonard J. Savage, andb ‎William Sudderth. כותרת המשנה של הספר היא Inequalities for Stochastic Processes, ומעידה על כך שזהו בהחלט ספר מתמטי. ההוכחה לתשובה שמייד אציג נמצאת בפרק החמישי של הספר, למי שמתעניין. כאן אנסה לתת הסבר אינטואיטיבי לתשובה.

אבל לפני כן קצת שעשועים. בסקר שערכתי בטוויטר השתתפו 46 צייצנים. הדיעות התחלקו פחות או יותר שווה בשווה בין ארבע התשובות האפשריות שהוצעו:

לפני שנדון בתשובות קצת היסטוריה, על קצה המזלג. משחקי הימורים היו נפוצים כבר בזמנים קדומים, ויש תיעוד שלהם בכל התרבויות העתיקות. מחקרים אודות הימורים ומשחקי מזל שערכו מלומדים כקרדנו במאה ה-16, כריסטיאן הויגנס במאה ה-17, ואברהם דה-מואבר ויעקב ברנולי במאה ה-18, ואחרים, הניחו את היסודות לתורת ההסתברות. למעשה, הפתרון שאציג מייד נובע מעבודה של דה-מואבר משנת 1711.

ועוד אנקדוטה (אולי משעשעת): בראשית ימיה, עמדה חברת FedEx בפני משבר. היה עליה לשלם חוב של 24,000 דולר, כשבקופתה היו 5000 דולר בלבד. יו"ר החברה ומייסדה, נטל את הכסף שבקופה, טס ללאס וגאס, הימר בשולחן הבלאק ג'ק וזכה ב-27,000 דולר. כך ניצלה החברה, והשאר, כמו שאומרים, היסטוריה. תודה לשי אלקין שהסב את תשומת ליבי לסיפור.

למתעניינים בהיסטוריה של חקר ההימורים והנחת יסודות תורת ההסתברות, אמליץ לקרוא את הספר נגד האלים מאת פיטר ברנשטיין, או את הספר הקלאסי
Games, Gods and Gambling מאת פלורנס נייטיגייל דייויד[2] .

ועכשיו לתשובות.

תשובה אפשרית אחת היא שלא משנה מה עושים כי ממילא נפסיד הכל. זה נכון. ההימור נוטה לטובת הקזינו. ההסתברות לזכיה ברולטה בהימור על אדום (או על שחור) היא 18/38, בערך 47%. מי שיהמר לאורך זמן יצבור אט אט הפסדים, ומי שימשיך להמר עוד ועוד יפסיד בסופו של דבר את כל כספו.  את זה הוכיח כריסטיאן הויגנס. מי שענה את התשובה הזו בסקר צדק.

אבל חדי העין ישימו לב כי השאלה כפי שנוסחה כאן שונה מעט מהניסוח בטוויטר, גם בגלל מגבלת התוים בטוויטר ואולי גם בגלל חוסר דיוק מצידי. בואו נדון באסטרטגיה שתביא למקסימום את ההסתברות לצאת מהקזינו עם 100 דולר, כאשר מגיעים אליו עם 50 אלף דולר. כאן בגדול יש שתי אפשרויות. אפשרות אחת היא להמר מייד על כל הסכום, בתקוה שתזכה בהימור אדום-שחור וכספך יוכפל. ההסתברות לכך היא, כאמור, בערך 47%.

מה קורה אם מהמרים כל פעם על חלק מהסכום? בואו ניקח לדוגמא את האסטרטגיה הבאה: להמר על 25 אלף דולר, לקוות לזכות ועל ידי כך להגדיל את הונך ל-75 אלף דולר, ואחר כך להמר שוב על 25 אלף דולר, כאשר זכיה תביא אותך אל הסכום הנכסף של 100 אלף דולר. במקרה הטוב ביותר תגיע למטרה על ידי שתי זכיות רצופות של 25 אלף דולר כל אחת. ההסתברות לכך היא 0.47 כפול 0.47[3] , כלומר בערך 22.4%.

יש כמובן אפשרות שתפסיד בהימור הראשון את 25 אלפי הדולרים עליהם הימרת. עכשיו יהיה עליך להכפיל את הונך פי 4, וזה ידרוש שוב לפחות שתי זכיות רצופות[4] , וההסתברות לכך היא שוב כ-22.4%.

אם מהמרים על סכומים קטנים יותר, יש צורך ביותר זכיות, וההסתברות להגיע ל-100 אלף דולר צונחת בהתאם.

זו האינטואיציה שעומדת מאחורי הקביעה כי האסטרטגיה האופטימלית היא להמר מייד על כל הסכום בתקווה להכפילו. ברנולי ודה-מואבר הבינו זאת כבר בראשית המאה ה-18. הוכחות מתמטיות מלאות לטענות קרובות הופיעו בתחילת המאה ה-20.

רק רגע, יש עוד אפשרות: לעשות משהו אחר. אפשר להמר בשיטת ההכפלות, הידועה גם בשם  שיטת המרטינגייל.

הנה הרעיון: אתה מתחיל בהימור אדום שחור על דולר. אם זכית – קיבלת את הדולר שלך בחזרה ועוד דולר אחד כרווח. אם הפסדת, לא נורא. המר כעת על שני דולר. אם זכית, אתה מקבל את שני הדולרים שלך בחזרה, ועוד שני דולרים כרווח, בסך בכל ארבעה דולרים. אבל הימרת רק על שלושה דולרים! מכאן שהרווחת דולר.

ומה קורה אם הפסדת גם בהימור השני? אין בעיה. הכפל את סכום ההימור והמר כעת על ארבעה דולר. אם זכית, תקבל שמונה דולר, אבל הימרת רק על שבעה דולר (1+2+4). הרווחת דולר.

ומה אם הפסדת בהימור על ארבעת הדולרים? אין בעיה. הכפל את סכום ההימור ל-8 דולר. אם תזכה תקבל בחזרה 16 דולר, כשהימרת רק על 15 דולר – כלומר שוב הרווחת דולר.

ומה יקרה אם הפסדת בהימור על שמונת הדולרים? אולי עדיין אין בעיה, אבל בקרוב תהיה לך בעיה.

קודם כל נתייחס לבעיה הספציפית שלנו – להגיע מ-50 אלף דולר ל-100 אלף דולר. בשיטה הזו זה ייקח קצת זמן, ותצטרך לזכות בהרבה הימורים בדרך.

כמובן, אם עומד לרשותך סכום כסף בלתי מוגבל, השיטה הזו תוביל אותך לזכיה בהסתברות 1. אבל, הסכום שעומר לרשותך[5] מוגבל, וייתכן מאוד שתגיע למצב בו אין בידיך מספיק כסף כדי להכפיל את ההימור. למעשה, אפשר להוכיח כי אם תהמר בשיטה זו לאורך זמן, תגיע למצב בו אין בידיך די כסף כדי להכפיל את ההימור בהסתברות 1.

שלישית, ברוב בתי הקזינו יש הגבלה על גובה ההימור. שיטת ההכפלות תביא אותך בסופו של דבר אל המחסום הזה ואז לא תוכל למשיך ולהכפיל את ההימור גם אם יש בכיסך את הסכום הדרוש.

באופן אישי, אם היה לי קזינו, לא הייתי מתנגד לכך שיהמרו נגדי בשיטת ההכפלה. אדרבא. אמנם מדי פעם אפסיד דולר, אך ההפסד הזה יכוסה על ידי ההפסדים של כל המכפילים שיגיעו לגבול ההימור שלהם, והפסדים אלה יהיו יותר נפוצים ויותר גדולים מדולר אחד.

אז אם אתם רוצים להמר בשביל הכיף – סבבה. אם אתם רוצים להרוויח כסף מהימורים, כדאי שיהיה לכם קזינו. והכי חשוב, אל תסתבכו עם השוק האפור.


הערות
  1. יש עוד שתי אפשרויות – שחור וירוק []
  2. שאין לבלבל בינה ובין פלורנס נייטינגייל []
  3. בהנחה הסבירה לגמרי שאין תלות בין ההימורים []
  4. להמר על 25, לזכות, ואז להמר על 50 ושוב לזכות []
  5. ולרשות כל אחד, בעצם []

האם כל תוצאה מובהקת היא משמעותית (ולהיפך)?

בכל מחקר כמותי בו נערך ניתוח סטטיסטי של הנתונים, מגיע הרגע הנכסף בו מחושב ה-P-value הנכסף. האם הוא קטן מ-0.05? שואל החוקר את עצמו בהתרגשות. אם כן – הידד! אפשר לפרסם את המאמר, או לרוץ ל-FDA להגיש לאישור תרופה חדשה, או להכניס מוצר חדש ל-production.

אבל, לפני שרצים, יש שאלה נוספת שצריך לשאול: האם התוצאה משמעותית?

נניח שערכנו ניסוי בו השתתפו 1000 איש, מחציתם נשים ומחציתם גברים. ערכנו לכל אחד ואחת מנבדקים מבחן IQ. התברר כי ה-IQ הממוצע של הנשים הוא 100, בעוד שה-IQ הממוצע של הגברים הוא 99. התוצאה מובהקת, עם פי-ואליו של 0.0016. [1] . לפני שתרוצו לפרסם מאמר סנסציוני בכתב העת המדעי החביב עליכם[2] ראוי שתעצרו ותשאלו את עצמכם: אז מה? ההבדל הוא כל כך קטן, האם יש לו משמעות? אם אתם חושבים שלהבדל יש משמעות, עליכם לנמק זאת.

בואו ניקח דוגמה קצת יותר מציאותית. מדען בילה ימים ולילות במעבדה, ופיתח תרופה חדשה לטיפול בטרשת נפוצה  התקפית[3]. התרופה מקטינה את תדירות ההתקפים ב-10%. הוא רושם פטנט, ומנסה למכור את התרופה לחברת תרופות. הסטטיסטיקאי של חברת התרופות יכול בקלות לתכנן ניסוי קליני, שיזהה את האפקט של התרופה בעוצמה של 90%[4] או אפילו 95% או 99%. האם החברה תקנה את התרופה ותפתח אותה? לא ולא. יש כבר תרופות לטיפול בטרשת נפוצה התקפית שמקטינות את תדירות ההתקפים ב-30, 40, ואפילו ב-50%. במצב זה, לתרופה עם אפקט של 10% אין משמעות, לא קלינית ולא מסחרית.

דוגמה שלישית: למשפחה נולד בשעה טובה בן בכור. האם הסיכוי כי הילד השני במשפחה זו יהיה (אם וכאשר יוולד) גם הוא בן, גדל? הנה מאמר שטוען שייתכן שכן. עיקרי הדברים: בדנמרק נאספו נתונים לגבי סדר הלידה ויחס המינים של כ-1.4 מיליון ילדים, בכ-700 אלף משפחות, במשך תקופה של כ-35 שנה. 51.2% מהבכורים היו בנים. בקרב המשפחות שבהן היו 3 בנים, והיה הבן ילד רביעי, 52.4% מקרב הילדים הרביעיים היו בנים. ההבדל מובהק, כמובן (p=0.009). בואו נתעלם מ-cherry picking אפשרי[5]. כמה משפחות בנות 4 ילדים יש בדנמרק? מחיפוש ראשוני שערכתי עולה כי מדובר בפחות מ-10%מהמשפחות. בואו נניח שזה 10%. אז עכשיו אנחנו מדברים על 70 אלף משפחות בנות 4 ילדים. ההסתברות ששלושת הילדים הראשונים הם בנים היא בעךך 0.013. נעגל את זה ל-0.02. זה מותיר לנו 1400 משפחות בנות ארבעה ילדים שבהן שלושת הילדים הראשונים הם בנים. 51.2% מקרב הילדים הצעירים היו "צריכים" להיות בנים, בפועל היו 52.4% – הפרש של 1.2%.  1.2% מ-1400 זה , 16.8, בואו נעגל ל-17, וזאת בתקופת זמן של 35 שנה, כלומר כל שנה נולדו 0.48 יותר בנים ממה שהיה "צריך" להיות. מי חושב שזה משמעותי?

דוגמה רביעית: חברת אינטרנט עושה AB testing, בה היא בודקת את השפעתו של פיצ'ר חדש במוצר שלה על ההסתברות שלקוח המשתמש במוצר יקנה את גירסת ה-PRO, בתשלום. מסתבר כי אחוז המשלמים יגדל מ-24.6% ל-24.8%, והתוצאה מובהקת [6]. האם זה משמעותי?[7] ובכן, אם נניח שהתשלום לגירסת הפרו הוא 5$ ויש 100000 משתמשים, הרי שמדובר בתוספת הכנסות של 100$. שווה? אם לעומת זאת יש מיליון משתמשים והתשלום הוא 50$, מדובר בתוספת הכנסה של 10000 דולר. 30 מיליון משתמשים ותשלום של 500$ יביאו את תוספת ההכנסות ל-3 מיליון דולר, וזה בהחלט משמעותי. תגידו: אם כבר השקענו את הכסף בפיתוח, אז ניקח את מה שיצא. יש בזה משהו. אבל אני מקווה שעושים קודם כל הערכה של עלויות הפיתוח ושל ההכנסות הצפויות מהפיצ'ר החדש.[8]

נחזור לרגע לגודל המדגם הדרוש, כ-728 אלף נבדקים. אולי ענקית כמו גוגל יכולה להרשות לעצמה מדגם כזה. אני מניח שחברות קטנות יותר צריכות להסתפק בגודל מדגם קטן יותר. הן עומדות לכן בפני הברירה הבאה: אפשרות אחת היא לערוך מבחן סטטיסטי ואז רוב הסיכויים הם שאפקט כזה (ואפילו אפקט גדול יותר) לא יזוהה כמובהק. הן כמובן יכולות לשחק בסוגי הטעות, ולאפשר טעות מסוג ראשון (false positive) גבוהה יותר כדי להשיג עוצמה גבוהה יותר. אפשרות אחרת היא לוותר מראש על בדיקת המובהקות, ולסמוך ידיהם על האפקט הנומינלי. יש לכך תומכים, הבולט בהם הוא הסטטיסטיקאי אנדרו גלמן מאוניברסיטת קולומביה.[9]

מסקנות: לפני שרצים לחקור, צריך להעריך מראש איזה תוצאה תיחשב למשמעותית, ולחשוב מה דרוש לעשות כדי לבדוק האם התוצאה אכן מתקיימת. יש להעריך מראש מה ההסתברות לכל אחת משתי הטעויות האפשריות, שכן ההסתברויות האלה קיימות וחיוביות גם אם לא משתמשים במבחנים סטטיסטיים.


הערות
  1. בהסטיית התקן של כל קבוצה היא 5.  תבדקו בעצמכם  []
  2. למשל Nature או סיינטיפיק טמקא []
  3.  Relapsing Remitting Multiple Sclerosis  []
  4. כלומר ההסתברות לתוצאת False Negative  תהיה 10% []
  5. מה קרה במשפחות בנות שני ילדים? ומשפחות בנות 3 ילדים? למה זה לא מדווח? אם זה לא באבסטרקט של המאמר, כנראה שזה לא היה מובהק []
  6. כדי לזהות הבדל כזה כמובהק, יש צורך בגודל מדגם של כ-728000 נבדקים, אבל נעזוב את זה כרגע []
  7. נתקלתי בחברה שמעדכנת גירסת תכנה כאשר ביצועי הגירסה החדשה גבוהים נומינלית ב-0.2% מביצועי הגירסה הישנה, על סמך מדגם בגודל 1000, כמובן בלי בדיקת מובהקות []
  8. אפשר למשל לערוך סקר משתמשים, או לכנס focus group []
  9. אני מתכוון לסקור את הגישה של גלמן ואת הגישה הנגדית, שמוביל ג'ון יואנידיס ברשימה קרובה []

על מכבי תל אביב ורוג’ר פדרר

האמת, לא ראיתי את המשחק בין מכבי תל-אביב וצסק"א מוסקבה בפיינל פור 2014 של היורוליג. אני לא צופה במשחקי כדורסל מאז הזכיה האחרונה של שיקגו בולז באליפות ה-NBA, ב-1998. בלי מיקל ג'ורדן, אני פשוט משתעמם. אבל על מה שקרה במשחק של מכביי שמעתי גם שמעתי.

למי שלא שמע: כשקבוצתו בפיגור של 15 נקודות בסוף הרבע השלישי של המשחק, הורה דייויד בלאט,  מאמן מכבי, לשחקניו לנסות ללכת על כל הקופה: לעבור למשחק מהיר, הגנה אגרסיבית, וזריקות לשלוש נקודות, תוך תקווה שהיריבה תעשה יותר טעויות מהרגיל.

במונחי ספורט, אולי זה היה הימור. במונחים סטטיסטיים, בלאט החליט להגדיל את השונות. לאחר 3 הרבעים הראשונים, המשחק כבר לא היה שקול. האסטרטגיה של בלאט הגדילה את ההסתברות לתבוסה: המשחק היה יכול להגמר ב-30 נקודות הפרש לטובת צסק"א, אבל במשחק של הכל או לא כלום, זה באמת לא משנה אם ההפסד הוא בהפרש של 15 נקודות או 30 נקודות. לעומת זאת, לקיחת הסיכון גם אפשרה הסתברות לרבע שייגמר ב-16 נקודות הפרש לטובת מכבי, בניגוד לאסטרטגיות של 3 הרבעים הראשונים במשחק שמהלכם לא היה טוב במיוחד מנקודת הראות של הצהובים.

איך זה קשור לרוג’ר פדרר?

הסבר קצר על משחק הטניס. המשחק הטיפוסי מורכב משלוש מערכות, וכדי לנצח על הזוכה לנצח בשתי מערכות מתוך ה-3[1]. כל מערכה מורכבת ממשחקונים, וכדי לנצח במערכה יש לנצח ב-6 (ולפעמים 7 או יותר) משחקונים. כך יכול להווצר מצב מוזר: שחקן שהפסיד 6:1 במערכה הראשונה (כלומר ניצח במשחקון אחד והפסיד ב-6), וניצח בשתי המערכות הבאות בתוצאה 6:4, זכה המשחק כי ניצח ב-2 מערכות מתוך ה-3, אבל ניצח בסך הכל ב-13 משחקונים, בעוד שיריבו ניצח  ב-14 משחקונים. תופעה זו, המזכירה את פרדוקס סימפסון,  קורה בערך ב-5% ממשחקי הטניס המקצועניים[2]. דבר דומה קרה גם במשחק הכדורסל: צסק"א ניצחה ב-3 מתוך 4 רבעי המשחק, אך הפסידה במשחק כולו.

מסתבר כי אלוף העולם בהפסדים ב-"משחקי סימפסון" בענף הטניס הוא לא אחר מאשר רוג’ר פדרר, אחד מגדולי הטניס בכל הזמנים. הוא שיחק ב-28 משחקים בהם המפסיד זכה ביותר משחקונים מאשר המנצח. המאזן שלו? 24 הפסדים, רק 4 ניצחונות.

מעניין לציין כי השחקן בעל המאזן הטוב ביותר במשחקים כאלה הוא ג'ון אייזנר , עם מאזן של 19 נצחונות ו-5 הפסדים. אייזנר זכור גם כמנצח במשחק הארוך ביותר בהיסטוריה, בטוניר וימבלדון ב-2010, בו ניצח את יריבו בתוצאה 70:68 במערכה החמישית. במשחק הנ"ל, אייזנר זכה ב-24 נקודות פחות מאשר יריבו.[3] אייזנר מבסס את כל משחקו על חבטת הגשה חזקה במיוחד שמותירה את היריב ללא מענה במקרים רבים. כאשר ליריב יש מענה, לאייזנר בדרך כלל אין.

למי שמשחק מול פדרר אין הרבה סיכויים לנצח; פדרר ניצח ביותר מ-80% המשחקים בהם השתתף. מעבר לכך – שיטת הניקוד בטניס מוטה לטובת השחקן הטוב יותר. יתרון קטן על היריב מתורגם על ידי שיטת הניקוד להבדל משמעותי בסיכויי הניצחון במשחק. הדרך הכמעט יחידה לנסות לנצח את פדרר היא להגדיל את הסיכון על ידי משחק אגרסיבי. אתה עלול להפסיד שתי מערכות בתוצאה 6:0, אבל יש לך גם סיכוי להפסיד פחות משחקונים מאשר בדרך כלל, ואם תנצח מספיק משחקונים, אולי זה יספיק לך לנצח בשתי מערכות צמודות, ואז למי איכפת מהמערכה בה פדרר הביס אותך?


הערות
  1. 1. ישנם טורנירים בהם המנצח נקבע בשיטת הטוב מ-5 מערכות []
  2. 2. Wright, B., Rodenberg, R. M., & Sackmann, J. (2013). Incentives in Best of N Contests: Quasi-Simpson's Paradox in Tennis.International Journal of Performance Analysis in Sport13(3), 790-802. []
  3. 3. כדי לנצח במשחקון, יש לצבור יותר נקודות מאשר היריב []

הערות על הבדלי תוחלת חיים ותהליך קבלת ההחלטות של שרת הבריאות

פייסבוק, כידוע, מהווה נדבך מרכזי בפוליטיקה החדשה שהפציעה במקומותינו. מדי כמה ימים הארץ סוערת בעקבות פוסט כזה או אחר של שר האוצר יאיר לפיד, וגם שר החינוך שי פירון זכה לכמה דקות תהילה מפוקפקת בעקבות טעות משעשעת (אך נטולת חשיבות אמיתית) בסטטוס שפירסם. הסטטוסים של שרת הבריאות יעל גרמן, לעומת זאת, עוברים עד כה מתחת לרדר הציבורי. זה גם מה שקרה לסטטוס שלה מתאריך 2.4.13, שעסק בהבדלי תוחלת החיים בין גברים ונשים. הוא לא זכה להתייחסות מחוץ לרשתות החברתיות, למרות 367 לייקים, 22 שיתופים ו-96 תגובות, נכון לרגע כתיבת שורות אלה.

כדי להבין למה נזעקתי לכתוב רשימה על הפוסט הזה תיאלצו לקרוא עד הסוף (או לדלג לסוף, אם כי אני לא ממליץ על כך). אני רוצה להתייחס קודם לפוסט עצמו, בו נאמרו הדברים הבאים:

 

מה הפוסט של גרמן מכיל? נתונים, פרשנות לנתונים, מקור מידע, וציון מטרה לפעולה.

נתחיל בנתונים: "תוחלת החיים של גברים בישראל (לשנת 2010), היא במקום השני בעולם, בעוד שתוחלת החיים של נשים בישראל היא במקום שמיני בעולם".

לפי נתוני הלשכה המרכזית לסטטיסטיקה, תוחלת החיים של גברים בישראל (מרגע לידתם) היא 79.0 שנים, והנתון המקביל לנשים הוא 82.8 שנים (הקישורים – לקבצי pdf). ב-2011 כבר עלו הנתונים ל-80.0 ו-83.6, בהתאמה).

איך הנתונים האלה מתייחסים לנתונים במדינות אחרות? על השאלה הזו מעט יותר קשה לענות. מקור ראשוני לחיפוש הוא ויקיפדיה. הערך על תוחלת חיים ויקיפדיה הוביל אותי לשני מקורות: המחלקה לכלכלה ועניינים חברתיים של האו"ם, וכן ה-CIA שלא סומך על האו"ם ומפרסם נתונים משלו. חברי  דובי הפנה אותי בטוויטר למקור שלישי, אתר בשם World Life Expectany .

הנה כל הנתונים מרוכזים בטבלה

מקור

הלשכה המרכזית לסטטיסטיקה

האו"ם

ה-CIA

אתר World Life Expectancy

תוחלת חיים גברים בישראל

79.0

78.4

78.8

78.6

דירוג בעולם

9

14

6

המדינה עם תוחלת החיים הגבוהה ביותר לגברים

איסלנד

מונקו

אנדורה

תוחלת החיים לגברים במדינה זו

79.5

85.8

80.3

תוחלת חיים נשים בישראל

82.8

82.9

83.2

83.0

דירוג בעולם

11

21

13

המדינה עם תוחלת החיים הגבוהה ביותר לנשים

יפן

מונקו

סן מרינו

תוחלת החיים לנשים במדינה זו

86.1

93.7

85.7

שנת הנתונים

2010

2010

2011

לא נתון

הלמ"ס לא מפרסמת דירוג, אלא השוואה לנתוני ה-OECD (קישור לקובץ pdf) ומספר מדינות נבחרות נוספות.

ובכן, הנתונים של גרמן לא ממש מדוייקים, אבל גם לא רחוקים כל כך מהאמת. הבה לא נהיה קטנוניים בנושא. נעבור לפרשנות של הנתונים.

אפשר ללמוד מטבלה זו הרבה דברים, אבל המסר החשוב לצורך הדיון הוא שהקשר בין הדירוג העולמי ובין המצב הבריאותי כפי שהוא מתבטא בתוחלת החיים רופף ביותר. באיזה מדינה מעדיפה גרמן לחיות: בישראל של ה-CIA, בה תוחלת החיים לנשים היא 83.2 אבל מדורגת במקום ה-21 בעולם? או בישראל שבה תוחלת החיים לנשים נמוכה יותר ועומדת על 82.8 שנים, אבל מדורגת במקום "יוקרתי יותר", נניח מקום שמיני?

מה עוד אפשר ללמוד על ההבדל בין רמת הטיפול הרפואי לגברים ולנשים מהנתונים האלה? ראשית, ניתן להצביע על העובדה שתוחלת החיים של נשים בישראל, לא משנה על איזה מארבעת המקורות מסתמכים, גבוהה מתוחלת החיים של הגברים בכל מדינה אחרת בעולם, פרט לנסיכות מונקו (המדינה השניה בדירוג תוחלת החיים לגברים של ה-CIA היא המושבה הפורטוגזית/סינית מקאו, שם תוחלת החיים לגברים היא 81.5 שנים).

מעניין יותר להתבונן בהפרשים בין תוחלות החיים, לגברים ונשים, בין ישראל ובין המדינות שמדורגות מעליה. אם מתעלמים מהמדינות הזערוריות כמו אנדורה, סן מרינו, מונקו ודומותיהן מגלים כי בסך הכל ההפרשים דומים. בישראל יש לנשים יתרון של 3-4 שנים בתוחלת החיים על פני הגברים, ומצב דומה יש בשוויץ (כ-5 שנים), אוסטרליה (כ-4 שנים), איטליה (כ-5 שנים), שוודיה (כ-3 שנים) וקנדה (כ-4 שנים). יוצאת הדופן היא יפן, המדינה הגדולה ביותר בצמרת דירוג תוחלות החיים, עם יתרון של 7 שנים לנשים על פני הגברים. מכיוון שבאופן כללי תוחלת החיים של נשים גבוה יותר מזו של גברים (רק במספר מדינות אפריקניות לגברים יש תוחלת חיים גבוהה יותר), ניתן להסיק כי אין הבדלים משמעותיים ברמת הטיפול הרפואי לגברים ונשים בישראל. מעניין לציין כי יש מדינות בהן תוחלת החיים של נשים גבוהה באופן יוצא דופן לעומת הגברים, למשל: רוסיה (74 לנשים, 61.6 לגברים) או עירק (71.7 לנשים, 63.4 לגברים). אני מקווה ששרת הבריאות לא תשאף להגיע למצב כזה גם במדינתנו.

אם רוצה גברת גרמן, חברת מרץ עד לא מזמן, חומר למחשבה המבוסס על תוחלת חיים, אולי עדיף שתעיין בלוח תוחלת חיים לפי מין, דת וקבוצת אוכלוסייה (קישור לקובץ pdf). שם תגלה כי תוחלת החיים של גברים יהודים בישראל היא 80.7 שנים, ושל גברים ערבים רק 76.5. תוחלת החיים של נשים יהודיות היא 83.9, של נשים ערביות רק 80.9. הייתי שמח לו הלמ"ס פירסמה גם נתוני תוחלת חיים בישראל לפי חלוקה גיאוגרפית, כפי שהיא מפרסמת מדדים בריאותיים אחרים (לידות חי, פטירות ופטירות תינוקות, לפי מחוז ונפה, קבוצת אוכלוסייה ודת – קישור לקובץ pdf). אולי גרמן תוכל להשיג אותם וללמוד מהם משהו. רצוי גם שתתייעץ עם הסטטיסטיקאים המצויינים שעובדים במשרדה לגבי פרשנות הנתונים.

נעבור לנושא הבא: מהו מקור המידע של גרמן בקשר לנתונים הנ"ל? גרמן מציינת אותו: "דנה ויינברג כתבה לי מכתב גלוי בנושא". מיהי דנה ויינברג? ובכן, דנה ויינברג היא מייסדת ומנכ"לית עמותת "נשים לגופן". המכתב הגלוי שלה לשרת הבריאות החדשה פורסם באתר סלונה (תודה לחברתי שרון שהפנתה אותי אליו). אין בו התייחסות לנושא הבדלי דירוג תוחלת החיים, אך אני חייב לציין כי בהרצאה ששמעתי לפני כשנה מפי פעילה אחרת בעמותה זו, טל תמיר, הטיעון הזה הועלה גם הועלה. דנה ויינברג כן מביאה במכתבה, ללא כל הפניות למקורות, מבחר של נתונים סטטיסטיים אחרים, וטענה כי "שיעורי התחלואה והתמותה של נשים בישראל גבוהים ביחס לנשים במדינות המערב". אני מצטט טיעון זה כיוון שהוא עומד בסתירה גמורה לנתוני תוחלת החיים שהבאתי כאן. לגבי הטיעונים האחרים של ווינברג, כל שאני יכול לומר הוא שיש לבדוק אותם היטב ולראות האם יש להם ביסוס. לאחר שפירטה את כל טענותיה, מביאה ווינברג בפני השרה מספר המלצות שיישומן יביא לקידום בריאותן של נשים ונערות. קראתי את ההמלצות, אני ממליץ גם לכם לקרוא אותן בעיון. אני מסכים עם כל המלצה והמלצה, וסבור כי רוב הקוראים יסכימו כי אלה המלצות חשובות שיש ליישם, כיוון שיישומן יביא לשיפור במצב הבריאותי של כלל האוכלוסיה, נשים וגברים. אז למה, דנה, למה להביא נתונים סטטיסטיים תמוהים ולתת להם פרשנות שגויה? למה לשקר בעזרת סטטיסטיקה כשבכלל אין צורך בכך?

הרשימה תסתיים בהבעת דיעה אישית/פוליטית: מדוע נזעקתי לכתוב רשימה על כל הדברים האלה באיחור של כמעט שבועיים? גרמן כתבה בסוף הפוסט שלה כי תפעל לשפר את הבריאות של הנשים בארץ. אני לא מתנגד לכך באופן עקרוני, אם כי לא ברור כלל האם אכן הטיפול בבריאות הנשים בארץ אכן לקוי לעומת הטיפול בבריאות הגברים. אבל גרמן ראתה נתונים לא ברורים עם פרשנות מטעה, החליטה, ותפעל. האם מדובר במקרה חד פעמי או בתופעה? ביום חמישי אחר הצהריים פורסמו שתי ידיעות שדיווחו על פעולות של שרת הבריאות. באחת דווח כי שרת בריאות החליטה להפסיק את הפלרת מי השתיה, בניגוד לדעת אנשי מקצוע במשרדה. בשניה דווח כי החליטה להקים צוות חשיבה שיבחן דרכים לחיזוק הרפואה הציבורית – כולל אפשרות של הפעלת שר"פ (שירותי רפואה פרטית) בבתי חולים ציבוריים. סביר למדי שועדה שהשרה ממנה ומבקשת ממנה לבחון אפשרות של הפעלת שר"פ תמליץ על הפעלת שר"פ. לא ברור לי על סמך מה קיבלה גרמן את ההחלטות האלו. אני לא מטיל ספק בזכותה לקבל החלטות אלה מתוקף תפקידה, וכן, זכותה גם לקבל את ההחלטות מתוך האידיאולוגיה בה היא תומכת. בעניין ההפלרה, לא ברור לי איזה אידיאולוגיה מנחה אותה בנושא שלכל היותר שנוי במחלוקת מדעית, אם כי, ככל הידוע לי, יש רוב בקהילה המדעית לתומכי ההפלרה. אני תוהה מי הזין את השרה (עוד בהיותה ראש עירית הרצליה מטעם מרצ) בנתונים אודות הפלרת מי השתיה, מה היו הנתונים האלה ועד כמה הם היו מבוססים. וכן, אני גם מקווה שאותו פוסט בפייסבוק לא משקף את תהליך קבלת ההחלטות שלה השרה.

רק שנהיה בריאים.