חיפוש באתר

קישורים

עמודים

קטגוריות

דמוקרטיה או שוק?

מירב ארלוזורוב ירדה מהפסים

רק לפני כמה ימים התבדחתי בטוויטר והצעתי להפריט את הכנסת ולפתוח את שוק החקיקה לתחרות, והנה באה מירב ארלוזורוב ומוכיחה שכל בדיחה, הזויה ככל ששתהיה, על ליברטיאנים היא רק תיאור למה שהם באמת חושבים. כשל שוק בדמוקרטיה, היא כותבת. ירדת לגמרי מהפסים, מירב. תגשי לרופא.

כשל שוק דמוקרטי

 

 

קודם כל, לקחתי צילום מסך, לפני שבדה-מרקר יבינו עד כמה הדברים האלה מחפירים ויעלימו אותם.

ועכשיו התייחסות רצינית.

האמת על הדמוקרטיה ועל חוק ההסדרים

קודם כל: דמוקרטיה זה לא שוק. דמוקרטיה זה ערך. אפשר להתווכח אם זו השיטה השלטונית שמתאימה לנו או לא (לי זה נשמע קצת הזוי, אבל אני יודע שיש הרבה אנשים שחושבים אחרת). בינתיים אנחנו דמוקרטיה, או לפחות קרובים לזה.

בדמוקרטיה אמורה להיות הפרדת רשויות, וזה כולל בין היתר הפרדה בין הרשות המחוקקת – הכנסת, והרשות המבצעת – הממשלה. אנחנו קצת חלשים בזה, זה נכון[1]. אבל חוק ההסדרים הוא חוק בלתי דמוקרטי במיוחד. האם אתם מכירים מדינה דמוקרטית אחרת שיש בה חוק כזה?

אומר כאן דברים חריפים: חוק ההסדרים הוא פוטש של הרשות המבצעת נגד הרשות המחוקקת, שמתקיים, למרבה הצער, תוך כדי שיתוף פעולה של חברי הכנסת מהקואליציה. החוק הזה מנוסח על ידי פקידים, שתפקידם ליישם מדיניות ולא לקבוע מדיניות. החוק הזה מבטל החלטות שהתקבלו בכנסת ועל הממשלה ליישם.

בפועל, הממשלה לא מאפשרת קיום דיון רציני בחוק ובמשמעויות שלו. וכל הפארסה האנטי דמוקרטית הזאת מתקיימת בגלל שהממשלה לא מוכנה לקבל החלטות אמיתיות ולקבוע סדרי עדיפויות.

ניקח למשל את חוק חינוך חובה חינם, שביצועו נדחה כל שנה במסגרת חוק ההסדרים. הממשלה יכולה להחליט שהחוק הזה לא מספיק חשוב, או שהוא חשוב אבל לצערנו מצבנו הכלכלי (שמעולם לא היה טוב יותר!) אינו מאפשר את קיום החוק. אז שיקום שר האוצר, או ראש הממשלה, ורצוי שניהם, ויגידו את זה. אבל זה לא פופוליסטי, ולכן הם מעדיפים לטאטא את זה מתחת לשטיח של חוק ההסדרים.

הכשל העיקרי: חוסר מנהיגות

ואם מדברים על כשלים בדמוקרטיה שלנו, אז הנה הכשל העיקרי: אין לנו היום מנהיגים שבאמת רוצים להנהיג ולקבל החלטות אמיצות, כמו למשל, להטיל מס על טבק לגילגול, וזו רק דוגמה קטנה. וזה מתבטא בהרבה מקומות אחרים.הנה דוגמה הרבה יותר חמורה: קיצוץ רוחבי בתקציב, דבר שהפך להיות מאוד פופולרי בשנים האחרונות. צריך כסף למשהו? "האדם הרציונלי" שהכלכלנים כל כך אוהבים, אמור להחליט על מה הוא מוותר בתמורה לכך שישתמש בכסף למטרה שהוא חושב לראויה. הממשלה, לפי האנלוגיה הזו, צריכה להגדיר סדרי עדיפויות ולקבל החלטות. אבל שוב, זה לא פופוליסטי. עדיף לקצץ קיצוץ רוחבי, ולעזאזל אם הקיצוץ הזה יפגע גם בדברים שנראים חשובים בעיני רוב האזרחים, כמו למשל מערכת הבריאות.

מה שחסר לנו זה לא חוק הסדרים וקיצוצים רוחביים. חסרה לנו מנהיגות. ואת זה אי אפשר להשיג בחוק ההסדרים.


הערות
  1. דוגמה אחת קטנה: החלטות בנושא חקיקה, כלומר החלטות איזה חוק יחוקק ואיזה לא, מתבצעות בועדת השרים לענייני חקיקה ולא בכנסת. הכנסת, או יותר נכון הקואליציה, היא רק חותמת גומי להחלטות שמתקבלות בממשלה []

איך לא ללמד חשיבה סטטיסטית

גברת נחמדה, בעלת רצון עז להבין את מה שמלמדים אותה באוניברסיטה (או מנסים ללמד), העלתה אתמול לקבוצת סטטיסטיקה והסתברות בפייסבוק מספר שאלות שניתנו במבחנים בסטטיסטיקה. די מהר התברר שבשאלה אחת הייתה טעות גסה, והשאלות האחרות, איך לומר, היו בעייתיות, לפחות בעיני. שאלתי אותה איפה היא לומדת, והיא ענתה שמדובר בקורס "חשיבה סטטיסטית לפסיכולוגים". עיון מהיר בפרופיל שלה העלה כי היא לומדת באוניברסיטה העברית[1].

כמה מילים על חשיבה סטטיסטית

כאן צריך להתקיים דיון בשאלה מהי חשיבה סטטיסטית ואיך מלמדים אותה. ברשותכם אני אדחה את הדיון הזה למועד אחר. אציין רק שחשיבה סטטיסטית זה דבר קשה, שלא בא בטבעיות כמעט לאף אחד (כולל אותי). שני פסיכולוגים מהאוניברסיטה העברית, דניאל כהנמן ועמוס טברסקי, הוכיחו כבר בסוף שנות השישים כי בני האדם אינם "סטטיסטיקאים טבעיים", וחשיבה סטטיסטית אינה אינטואיטיבית. ללמד חשיבה סטטיסטית זה עוד יותר קשה ומסובך, אם כי לא בלתי אפשרי (ואני רוצה להפנות את הקוראים המתעניינים בכך לספרם של עמוס טברסקי וורדה ליברמן, "חשיבה ביקורתית"). אני בספק האם ניתן ללמד חשיבה סטטיסטית בקורס של כמה שעות בסמסטר אחד.

כפי שכבר ניתן להבין מדבריי עד כה, אני חושב שהשאלות שהיא העלתה (כאמור שאלות שניתנו במבחנים של הקורס הזה) אינן בודקות שום מימד של חשיבה, אלא יכולות של חישובים ולהטוטים בנוסחאות. אולי זה לגיטימי להתמקד בנוסחאות וחישובים במסגרת קורס בסיסי בסטטיסטיקה (אני חושב שלא) אבל זו לא חשיבה סטטיסטית.

איך לא בודקים יכולות של חשיבה סטטיסטית

ועכשיו בואו ננתח את השאלה שממש הרגיזה אותי:

ובכן, מה יש לנו כאן? מנהל בית ספר שנתוני הציון הממוצע וסטיית התקן בכיתה מסויימת לא מתאימים לאג'נדה שלו. הפתרון של המנהל הוא לעוות את הנתונים[2]. מחבר השאלה מציע למנהל הזה ארבע אופציות: בשתיים מהן מוסיפים לנתונים נתון נוסף של תלמידה מכיתה אחרת שקיבלה ציון גבוה מהממוצע (יש שתי אפשרויות כי המנהל גם רוצה להקטין את השונות, הרי בכל זאת מתיימרים לדבר על חשיבה סטטיסטית). בשתי האופציות האחרות משמיטים מנתוני הכיתה את הציון של תלמיד או תלמידה עם ציון נמוך מהממוצע.

אני חושב שהשאלה הזו ממצה את כל מה שרע בפרקטיקות של אנשים, חוקרים או אחרים, שמשתמשים בסטטיסטיקה ללא שמץ של הבנה או יושרה. כתבתי סדרה של שבעה פוסטים על סטטיסטיקה רעה, והנה שבע שורות שלוקחות את כל מה שכתבתי בהליכה.

מצד שני, באופן אבסורדי, דווקא כאן יש סוג של חשיבה סטטיסטית (אמנם בהקשר רע, אבל בכל זאת חשיבה). אבל השאלה לא בודקת את יכולות החשיבה של הסטודנטים, אלא לכל היותר מציגה בצורה מוגבלת את יכולת החשיבה הסטטיסטית של מחבר השאלה[3]. הוא אכן מבין, או לפחות יודע, שככל שממוצע הציונים גבוה יותר וסטיית התקן נמוכה יותר, כך העדות לטובת שיטת הלימוד החדשה חזקה יותר[4]. אבל הוא אומר את זה במפורש לסטודנטים: צריך ממוצע יותר גבוה וסטיית תקן יותר קטנה. מה שנשאר לסטודנטים לעשות זה רק לערוך ארבעה חישובים[5] חסרי טעם.

איך בכל זאת אפשר לבדוק יכולות של חשיבה סטטיסטית

כותב השאלה ממש לא מבין איך לברר את היכולת החשיבתית הזאת אצל הסטודנטים בצורה ישירה, ללא התעסקות בחישובים, וללא הצגה של סטטיסטיקה רעה. הוא היה יכול, למשל, להציע לסטודנטים את ארבע האפשרויות בלי לומר להם שהשאיפה היא לממוצע יותר גבוה עם סטיית תקן יותר קטנה. זה היה בודק האם הסטודנטים בוחרים באפשרות הנכונה ללא הנחיה. עם זאת, הלגיטימיות שניתנת כאן להונאה באמצעות שפצור הנתונים עדיין נשארת.

יש גם אפשרות אחרת: להציג נתוני ממוצע וסטיית תקן של ארבע כיתות היפותטיות, ולשאול איזה נתונים היפותטיים מבטאים עדות חזקה יותר ליעילותה של השיטה החדשה. כך הוא ניתן האם הסטודנטים אכן יודעים להעריך את העדויות על פי הממוצע וסטיית התקן, ללא חישובים, וללא הסיפור המזעזע[6] על המנהל הבלתי מרוצה.

אבל בשביל זה צריך חשיבה סטטיסטית.


הערות
  1. שהיא ה-alma mater שלי []
  2. ביטוי מכובס ל-"לשקר" []
  3. אני מקווה שהיכולות שלו גבוהות יותר, אי אפשר לשפוט את היכולות שלו על סמך מה שכתוב בשאלה אחת []
  4. אם כי איפה קבוצת הביקורת? []
  5. אמנם לא מסובכים []
  6. אין כאן שום ציניות []

סטטיסטיקה רעה: לא לתת מדד לאי ודאות

נתונים סטטיסטיים מבוססים בדרך כלל על מדגמים, ובמדגמים, גם מדגמים מייצגים, יש אלמנט של אי ודאות. עד כמה ניתן לסמוך על התוצאות המתקבלות מהמדגם? את זה אפשר לכמת, ולתת מדד למידת אי הודאות של התוצאות המדווחות.

הנה דוגמא מלאכותית אבל קלאסית: במקום עבודה מסויים השכר הממוצע הוא 10400 ₪. יפה, לא? בטח טוב לעבוד שם. אבל עיון יותר מעמיק בנתונים מעלה כי יש 9 עובדים שכל אחד מהם מרוויח 6000 ₪ בחודש, בעוד שהמנהל לוקח הייתה בכל חודש 50000 ₪. מי שיעשה חשבון יגלה כי סטיית התקן של השכר במפעל היא 13200 ₪. הדוגמא הזו מחשבת את הממוצע וסטיית התקן מתוך הנתונים (המלאכותיים) המלאים, ובדרך כלל מיועדת להדגים את רגישותו של הממוצע לערכים קיצוניים, אך סטיית התקן נותנת לנו מושג עד כמה אפשר לסמוך על הנתון הממוצע.  אם למשל אומר לכם כי במפעל אחר השכר הממוצע גם שם שווה ל-10400 ₪, אבל סטיית התקן היא 1200 ₪, יהיה לכם מידע יותר ודאי על רמות השכר במפעל הזה. תוכלו להסיק כי פערי השכר במפעל הזה קטנים יותר מאשר במפעל הראשון.[1]

בספרות המדעית בדרך כלל לא חוטאים את החטא הזה. העורכים של כתבי העת המדעיים כמעט תמיד דורשים לצרף לאומדנים המתפרסמים מדד לאי-ודאות, בדרך כלל סטיית תקן או רווח סמך.

עם זאת, זיהיתי שני תחומים שבהם מרבים לפרסם אמדנים כגון ממוצעים או חציונים ללא מדדים לאי הודאות.

התחום הראשון הוא העיתונות. חיפוש מהיר בגוגל באתרים של 5 עיתונים גדולים[2] הראה כי המילה "ממוצע" מופיע פעמים רבות בידיעות שהתפרסמו בשנה האחרונה. החיפוש אחרי "סטיית תקן" (לאורך כל השנים) כמעט ולא העלה ממצאים. חיפוש אחרי "רווח סמך" (שוב, לאורך כל השנים)  באתרים הנ"ל העלה תוצאה בודדת[3] . עם זאת, שני העיתונים הכלכליים מפרסמים את סטיות התקן עבור נתונים כלכליים שוטפים (מסחר בבורסה ומסחר במטבע חוץ). כמו כן, כאשר מתפרסמים בעיתונות סקרים למיניהם, מפורסמת יחד עימם טעות הדגימה, וטוב שכך.

התחום השני הרבה יותר בעייתי. מדובר בפרסומים רשמיים של נתונים סטטיסטיים על ידי המדינה, בראש ובראשונה על ידי הלשכה המרכזית לסטטיסטיקה (אך גם על ידי מוסדות נוספים, כגון הביטוח הלאומי, בנק ישראל, ומשרדי ממשלה שונים). כתבתי כאן בעבר על הבעייתיות שיש בפרסום השכר הממוצע שהלמ"ס מפרסמת מדי חודש. זה היה ב-2004. מה השתנה מאז? כלום. בשנתון הסטטיסטי לישראל יש נתונים על גבי נתונים (הנה למשל פרק שוק העבודה מתוך שנתון 2016 – קובץ pdf) . מופיעים שם לוחות על גבי לוחות. סטיות תקן או רווחי סמך? יוק. מי שמבין קצת סטטיסטיקה ורוצה לערוך חישובים יכול אמנם לקבל אומדנים למדדי אי-וודאות  כך למשל, פירקתי פעם את נתוני התפלגות השכר לפי עשירונים שפירסמה הלמ"ס כדי לאמוד את קטגוריית השכר השכיחה, כלומר "כמה משתכרים הרוב". באופן דומה הייתי יכול לאמוד גם את סטיית התקן של התפלגות השכר. אוסיף ואומר כי הבעיה שבפרסומי הלמ"ס אינה רק בעיה סטטיסטית חמורה אלא גם בעיה ציבורית חמורה: מדובר כאן בחוסר שקיפות ובמקרים מסויימים גם בהטעיית הציבור.


רשימות נוספות בסדרה:


הערות
  1. בדוגמא הזו 9 עובדים מרוויחים 10000 ₪ בחודש, המנהל מרוויח 14000 ₪ []
  2. ידיעות אחרונות – Ynet, מעריב/מקור ראשון –nrg, הארץ, דה-מרקר וגלובס []
  3. סקירה בגלובס על ספר של חיים שפירא, בשנת 2015 []

הערות על חישוב מדד השכירות של הלשכה המרכזית לסטטיסטיקה

ביום שני השבוע, 29.1.208, התפרסמה בגלובס כתבה שדיווחה על טעות מהותית בחישוב מדד השכירות של הלשכה המרכזית לסטטיסטיקה, עליה דיווחה המייעצת שהקימה הממשלה לבחינת מדדי המחירים בשוק הנדל"ן.

הפעם אתחיל מהסיכום

  • הועדה התייחסה בצורה עניינית לנושא אמידת שכר הדירה. אין המלצה לתקן את המדדים לאחור, ואין המלצה לשנות את מתודולוגיית הדגימה. 
  • בניגוד למה שנאמר בכתבה, הועדה לא מתחה ביקורת על המתודולוגיה של הלמ"ס, אלא המליצה על שיפור בעניין ממוקד יחיד במתודולוגיה.
  • הפער שדווח בכתבה אינו בין נתוני הועדה ונתוני הלמ"ס, אלא בין נתוני הלמ"ס ונתונים של ד"ר רז-דרור, שאיני מזלזל בכישוריו.עם זאת, לא ברור מהי המתודולוגיה בה ד"ר רז-דרור השתמש כדי לאמוד את גובה שכר הדירה. כמו כן, נתוניו ככל הנראה פחות מדוייקים עקב מדגם קטן יחסית.
  • הפער בין הנתונים של הלמ"ס והנתונים של ד"ר רז-דרור נמוך ממה שדווח בכתבה. הפער שעלול לנבוע בין ערכו של מדד המחירים לצרכן כפי שדווח ובין ערכו התיאורטי, בהנחה שהנתונים של רז-דרור נכונים ומדוייקים, הוא זניח ולא מדווח בכתבה.
  • הקביעה של דרור מרמור כי הטעות של הלמ"ס היא "חלמאית" הינה לחלוטין חסרת בסיס. הפרשנות של מעמירם ברקת על "תיבת הפנדורה" שתיפתח מבוססת על המידע המטעה בכתבה של דרור מרמור, ויש להתייחס אליה בהתאם. ההתנפלות של סטלה קורין-ליבר על המועצה הציבורית לסטטיסטיקה (שאני מכיר אישית את רוב החברים בה) מתבססת אף היא על הקביעות הלא מדוייקות של מרמור, ואינה מביאה שום טענה עניינית. איתן כבל מיהר לגזור קופון פוליטי (לפחות הוא סייג את דבריו והתנה אותם בכך שמרמור צודק בדברים שכתב – הוא לא).

מה בדיוק קרה?

הנה ציטוטים מהכתבה:

"מדד שכר הדירה של הלמ"ס, המהווה 5.7% ממדד המחירים לצרכן (האינפלציה), כלל במשך השנים טעות מובנית וכמעט חלמאית, שהטתה בפועל את המחירים בשוק השכירות באחוזים ניכרים כלפי מטה. תיקון הטעות לאחור יעלה בדיעבד גם את מדד המחירים לצרכן, וישנה את חישובי האינפלציה בשנים האחרונות… מאז 2008 נוצר פער של כ-25% בין שני סוגי המדידה. לפי החישובים החדשים, מאז 2008 עלה מדד שכר הדירה בכ-65%, לעומת עלייה כוללת של 40% לפי מדד שכר הדירה הישן, תוספת שמגלמת יותר מאחוז אינפלציה בעשור האחרון"

הכתבה ממשיכה:

"לכל מי שמכיר את שוק הדיור ברור כי דווקא חילופי שוכרים מהווים לא פעם הזדמנות להקפצת המחירים – ללא שום ביטוי לכך במדד. לפי הדוח, בדיקה שנערכה בעבר בלמ"ס העלתה ששוכרים שהחליפו דירות שילמו בממוצע 6.6% יותר משוכרים שנשארו בדירותיהם"

הכתב דרור מרמור מביא ציטוטים מדו"ח הועדה המייעצת:

"בשוק המצוי במגמה של עליית מחירים, צפויה הטיה כלפי מטה במדד שכר הדירה, הואיל וחלק מהדיירים עוברים לדירה אחרת בשל דרישה לדמי שכירות גבוהים יותר. ..לחילופין, בשוק המצוי במגמת ירידת מחירים, ההטיה עשויה להתרחש כלפי מעלה, שכן המשכיר עשוי להוריד את שכר הדירה בעת התחלפות דיירים כדי להימנע ממצב שבו הדירה נותרת ריקה"

עוד ממשיך הכתב ומסביר:

"מאז 1999 מדד מחירי הדירות (מכירה) אינו חלק ממדד המחירים לצרכן, ובמקומו מחושב השינוי במחירי שכר הדירה. בלמ"ס מדגישים כי ההטיה המוטעית לא השפיעה על כל מרכיב הדיור בשכירות, התופס נתח משמעותי של כ-24% בתוך מדד המחירים לצרכן, אלא רק על אותם 5% מהמדד שבוצעו באמצעות החישוב המוטה (החישוב המשלים מתבסס על מחירים ממוצעים)"

לכתבה עצמה נלוו גם טורי פרשנות ותגובות שעסקו באפוקליפסה של טעות החישוב שדווחה. עמירם ברקת כותב על העדכון שפותח תיבת פנדורה. סטלה קורין ליבר כותבת על המחדל של מדד הלמ"ס: בכירים שבבכירים לא עשו את עבודתם. ח"כ איתן כבל הכריז כי לחשיפה על טעות הלמ"ס יש השפעה דרמטית, וקרא לכנס את כל גורמי המקצוע בתחום הדיור כדי להבין את חישוב הנתונים השגוי של הלמ"ס.

בכתבה של גלובס הובאה תגובתו של דורון סייג, מרכז הוועדה מטעם הלמ"ס:

"הלמ"ס החלה בבדיקות לאמידה מדויקת וטובה יותר של ההטיה. לדברי סייג, "הפער שנמצא על ידי רז דרור, בשיעור של 25%, לא חושב על ידי הלמ"ס ואנחנו מבצעים כעת בדיקה טובה יותר. כרגע מדובר בבדיקה ראשונית, אבל לנו נראה שהפער שיימצא בסוף בין המדד שהוצג למדד החדש יהיה נמוך יותר".

ב-Ynet, מובאת תגובה נרחבת יותר מטעם הלמ"ס[1]:

"(אנשי המקצוע) מודעים לאי הדיוק בחישוב של מדד שכר הדירה הנכלל במדד המחירים לצרכן, והסבירו זאת בקשיי איסוף נתונים אודות שוכרים חדשים, אך עם זאת טענו כי מדובר בהשפעה מינורית: מבדיקות שונות שביצענו עולה שהשפעת שכר הדירה של שוכרים חדשים על מדד המחירים לצרכן זניחה. מסקנה זאת מוסברת בין השאר בכך שמדובר על 5.7% ממדד המחירים לצרכן וקבוצת השוכרים החדשים מהווה על סמך בדיקות ראשוניות שערכנו לא יותר מאשר 20% מתוך אוכלוסיית השוכרים"

כמו כן הסבירו כי בניגוד לנטען בפרסומים השונים, הודיעו על בדיקת הנתונים לאחור ולא על תיקונם לאחור.

עם זאת, בלמ"ס לא פסלו כי יוחלט לתקן את המדד בהמשך ואמרו: "עם סיום תוצאות הבדיקות וטיוב הנתונים לגבי שוכרים חדשים, ובהתייעצות עם הוועדה הציבורית המייעצת בנושאי בינוי, דיור ונדל"ן נחליט על המשך הטיפול".

Ynet מיידעים את קוראיהם גם על תגובת בנק ישראל, שם טוענים כי ההשפעה אינה משמעותית:

"בנק ישראל עומד בקשר רציף עם גורמי המקצוע בלמ"ס. בדיקות ראשוניות שנערכו בבנק ישראל מראות שהשפעת ההבדל במדידה על האינפלציה במדד המחירים לצרכן קטנה, ובוודאי שלא הייתה מביאה לשינוי במדיניות המוניטרית".

בואו נעשה סדר במספרים

בואו נדבר על הפער בין שתי ההערכות. לפי הלמ"ס, שכר הדירה עלה בין 2008 ל-2015 ב-40%, ולפי חישובי הועדה המייעצת  שהם לצעשה חישוביו של ד"ר רז-דרור, העלייה הייתה בגובה 65%.

במילים אחרות, אם שכר הדירה לדירה ממוצעת ב-2008 היה 1000 ₪, הרי שלפי הלמ"ס שכר הדירה ב-2015 היה 1400 ₪ ולפי הועדה הוא היה 1650 ₪. מה הפער? ההפרש בין 1650 ב-1400 הוא 250. נחלק את ההפרש הזה ב-1400 ונכפיל ב-100[2] ונקבל כי התוצאה היא קצת פחות מ-18%, ולא 25%. הפער פחות גדול ממה שנאמר בכתבה,

נמשיך. מדובר בפער הכולל שנפתח לאורך 8 שנים. מהו הפער הממוצע בשנה? זה חישוב קצת יותר טריקי: הפער הממוצע הוא השורש השמיני של 1.18. החישוב מראה כי הפער הממוצע בשנה הוא קצת פחות מ-1.8% בשנה[3]. כמו כן, חישוב דומה יראה כי לפי אומדני הועדה, העלייה הממוצעת בשכר הדירה לאורך 8 השנים האלה הוא כ-6.5%, ופי הלמ"ס העלייה הממוצעת בשנה היא כ-4.3%.

מה ההשפעה של זה על המדד? לפי מחשבון מדד המחירים של הלמ"ס, מ-2008 עד 2015 עלה מדד המחירים לצרכן בקצת יותר מ-16%. זו עליה ממוצעת של 1.7% בשנה כלומר, אם מחיר סל המצרכים שלפיהם מחושב המדד היה 1000 ₪ בתחילת שנה ממוצעת, מחירו בסוף השנה היה 1017 ₪.

שכר הדירה מהווה 5.7% מסל המצרכים[4]. נעגל את זה ל-6%. פירוש הדבר הוא שאם ערך סל המצרכים היה בתחילת השנה 1000 ₪, שכר הדירה היה 60 ₪, וערכו של שאר הסל היה 940 ₪.

לפי הלמ"ס, שכר הדירה עלה במשך השנה בכ-3.8%, ולכן בסוף השנה הוא היה כ-62 ₪. מכאן שערכו של שאר הסל בסוף השנה היה 955 ₪.

לפי הועדה המייעצת, שכר הדירה בשנה ממוצעת עלה ב-6.5%. נעגל את זה ל-7%. כלומר אם עלות הסל בתחילת השנה הייתה 1000 ₪, הרי ששכר הדירה היה, כפי שחישבנו, שכר הדירה בתחילת השנה היה, כפי שחישבנו, 60 ₪. אם הוא עלה ב-7% במשך השנה, הרי שבסופה הוא היה כ-64 ₪. שווי שאר המצרכים בסוף השנה היה 955 ₪, ולכן השווי הכולל של הסל היה 1019 ₪. אם הועדה צודקת, האינפלציה השנתית הממוצעת הייתה 1.9%, ולא 1.7%.

אני לא כלכלן, ולכן לא יודע עד כמה ההבדל הזה משמעותי. התחושה שלי היא שלא מדובר בקטסטרופה.

איך אומדים את העלייה בשכר הדירה?

אקדים ואומר כי אני לא מתמחה בדגימה. הידע שלי בתחום מוגבל למה שלמדתי בלימודי התואר הראשון, פלוס קצת ידע נוסף שרכשתי בעזרת לימוד עצמי.

אבל הנה תיאור בסיסי של התהליך. כדי לדגום, צריך להגדיר קודם כל את מסגרת הדגימה, שהיא בעצם האוכלוסייה שבה אנו מתעניינים. במקרה שלנו, אנחנו רוצים לאמוד את שכר הדירה הממוצע, ולכן יש לנו שתי מסגרות דגימה אפשריות.

אפשרות אחת היא לערוך רשימה של כל הדירות המושכרות, ואז ניקח מדגם של דירות מושכרות ונברר מה שכר הדירה עבור כל דירה שנכללת במדגם.

אפשרות שניה היא לערוך רשימה של כל משקי הבית ששוכרים דירות, לקחת מדגם מתוך משקי הבית האלה, ולברר מה שכר הדירה שהם משלמים.

יש שתי דרכים עיקריות לביצוע המדגמים. ניתן לבצע מדגם בחתך רוחבי (cross sectional), כלומר לקחת כל חודש מדגם חדש, או באופן אורכי (longitudinal), כלומר לקחת מדגם ולעקוב אחריו לאורך זמן.

לכל שיטה יש יתרונות וחסרונות, שלא אפרט כאן[5].

אני מציע שכעת תפסיקו את הקריאה לדקה או שתיים, ותחשבו מה אתם הייתם עושים אם הייתם מתבקשים לבצע את המדגם: האם הייתם דוגמים דירות או שוכרים? האם הייתם לוקחים כל חודש מדגם חדש, או שהייתם לוקחים מדגם ועוקבים אחריו לאורך זמן? אולי תחשבו על דרך אחרת?

מסתבר שהדברים לא כל כך פשוטים. קשה מאוד, אולי בלתי אפשרי, לערוך רשימה של כל הדירות המושכרות. קשה מאוד, אולי בלתי אפשרי, לערוך רשימה של כל משקי הבית המתגוררים בדירות שכורות. בלמ"ס בחרו בדרך ביניים. למעוניינים, הנה לינק למסמך המתאר את מתודולוגיית חישוב סעיף הדיור במדד המחירים לצרכן (קישור לקובץ pdf). אפשר להתווכח על מתודולוגיית הדגימה, אך רצוי מאוד להבין את הנושא לפני שמחווים דיעה.

מה אומר דו"ח הועדה המייעצת?

אמנם בגלובס לא טרחו לתת הפניה אל הדו"ח אבל חיפוש מהיר בגוגל מצא אותו (קישור לקובץ pdf).

כדאי קודם כל לעיין בעמוד 2 בו תמצאו את רשימת חברי הועדה. בוועדה יש 35 חברים, שהם נציגים ממגוון רחב של מוסדות ממשלתיים ואחרים, כולל בנק ישראל, משרד האוצר, משרד הבינוי והשיכון, המועצה הלאומית לכלכלה, משרד המשפטים, וכן, גם 9 נציגים של הלשכה המרכזית לסטטיסטיקה. גילוי נאות: אני מכיר אישית שלושה חברים בוועדה.

ההתייחסות של הועדה לנושא מדד שכר הדירה נמצאת בעמודים 37-39. הנתון של עליית המחירים ב-65% אינו כתוב במפורש בדו"ח והוא ככל הנראה נגזר מהגרף שבעמוד 37. לדעתי הגרף מראה שינוי הקרוב יותר ל-60% מאשר ל-65%, (ראו הצגה מוגדלת של הגרף בדה-מרקר) אבל בואו נניח לזה. בעיה יותר גדולה בגרף, לדעתי, היא שהוא לא מציג סטייות תקן או רווחי סמך לאומדנים, לא עבור הנתונים של רז-דרור ולא עבור נתוני הלמ"ס.[6]

בשולי הגרף מצויין כי מקור הגרף במסמך של ד"ר עופר רז-דרור מ-2017. לא הצלחתי לאתר את המסמך המקורי. בדה-מרקר מציינים כי המדגם של רז-דרור קטן יחסית, מה שאומר כי סטיית התקן שלו (טעות הדגימה) יותר גדולה. לא הצלחתי למצוא מה הייתה שיטת הדגימה של ד"ר רז-דרור.

המלצות הועדה בנושא הן לשפר את המעקב אחר דירות בשכירות בעת תחלופת שוכר, וכן לפרסם מדדים לשכר-דירה ואת שכר הדירה הממוצע בפילוח לפי מחוזות וערים גדולות. בניגוד למה שדווח בגלובס, אין המלצה לתקן את המדדים לאחור, ואין המלצה לשנות את מתודולוגיית הדגימה.

משפט מסכם אחרון: תמיד כדאי לקרוא בביקורתיות כתבות, דו"חות, כל דבר בעצם. תהיו ספקנים.

 


הערות
  1. לא מצאתי בגלובס []
  2. חישובי אחוזים של בי"ס יסודי []
  3. ידע בחישובי אחוזים של בית ספר יאפשר לכם לבדוק את התוצאה. תתחילו מ-100, תוסיפו לו 1.8%. לתוצאה שקיבלתם תוסיפו שוב 1.8%, וכך הלאה, 8 פעמים []
  4. לפי הנתון בכתבה בגלובס []
  5. בין היתר, כיוון שאני לא מומחה בתחום []
  6. אכתוב על עניין זה בהרחבה בקרוב []

"המחשב טעה. שלא תדעו עוד צער."

האם מקצוע הרדיולוג עומד להיכחד? האם אלגוריתמים של בינה מלאכותית, כגון רשתות נוירונים, יחליפו את הרדיולוגים, ובהמשך את שאר הרופאים? ואיך כל זה קשור למכוניות אוטונומיות?

כל השאלות האלה עלו בעקבות פוסט בבלוג  Toward Data Science שפרסם יו הארווי, רופא המתמחה ברדיולוגיה. הארווי טוען כי האלגוריתמים לא יחליפו את הרדיולוגים בעתיד הנראה לעין, אם בכלל. בדיון בקבוצת Machine & Deep learning Israel בפייסבוק הופיע הפניה לפוסט של לוק אוקדן-ריינר, גם הוא רופא המתמחה ברדיולוגיה.  הפוסט של אוקדן-ריינר מתייחס למאמר שפורסם ממש לפני כמה חודשים (נובמבר 2017), מאת רג'פורקאר ועמיתיו, שתיאר אלגוריתם לפענוח תצלומי רנטגן. בין העמיתים החתומים על המאמר זה נמנה אנדרו אנג, מה שמחייב התייחסות רצינית ביותר למאמר.

ברשימה זו אביא את דבריהם של הארווי ואוקדן-ריינר, ואתייחס למאמר של רג'פורקאר. כמו כן, אומר מה לדעתי צריכים להיות הקריטריונים לפיהם יהיה ניתן לקבוע כי אלגוריתם כזה יכול להחליף רופא מומחה. בנוסף אענה באופן מסודר לטענות (הטובות) שהועלו בקבוצת הפייסבוק.[1]

זוהי רשימה ארוכה במיוחד. חילקתי אותה למספר פרקים כשלכל פרק כותרת נפרדת, כדי שתוכלו לדלג על הפרקים שלא מעניינים אתכם.

הארווי: אינטליגנציה מלאכותית לא תחליף את הרדיולוגים

ד"ר הארווי, שכנראה לא היה מודע למאמר של ראג'פורקאר כשכתב את דבריו[2] משיב לטענתו של ג'פרי הינטון, מומחה לרשתות נוירונים, שאמר כי "ברור שצריך להפסיק להכשיר רדיולוגים". הוא מביא שלושה טיעונים כתשובה להינטון.

ראשית, טוען הארווי, כי בניגוד לאלגוריתם, הרדיולוג עושה יותר מאשר להביט בהדמיות[3]. הארווי מתאר בפירוט את תפקידיו של הרדיולוג בתהליכי האבחון, שאמנם מתבססים על הדמיות, אך גם על אינפורמציה נוספת. הוא אמנם מסכים כי אלגוריתמים למיניהם עשויים לסייע ולשפר כמה תחנות בתהליך האבחוני, אך אינם יכולים להחליף את שיקול הדעת של הרופא.

הנימוק השני של הארווי הוא שבסופו של דבר מי שנושא באחריות הסופית הם בני אדם. הארווי מציג אנלוגיה בין התעופה ובין הרפואה (לא מוצלחת, לדעתי), אולם בסופו של דבר מדגיש את הנקודה המהותית: כשהרופא טועה, ורופאים אכן עלולים לטעות, הרופא אחראי. מי יהיה אחראי במקרה שבו האלגוריתם טעה? האם החברה שמכרה לבית החולים את המערכת שמפענחת תצלומי רנטגן תהיה מוכנה לקחת אחריות על מקרה שבו חולה ימות כי האלגוריתם טעה ולא זיהה כי הפציינט חולה בדלקת ריאות? אולי החולה שהסכים להפקיד את בריאותו בידיו של האלגוריתם (בהנחה שהייתה לו ברירה) אחראי? הרי אף אחד לא יעלה בדעתו שהרופא ששלח את החולה הבייתה כי האלגוריתם אמר שהוא בריא יהיה אחראי. או שכן? הארווי טוען שאף מערכת AI לא תהיה מדוייקת ב-100%. זה נכון, אבל לדעתי הטענה הזו מחלישה את הטיעון שלו. הרי גם רופאים טועים. עם זאת טוען הארווי כי רופאים עשויים לתפקד טוב יותר מאלגוריתם במקרי קצה, וכאן אני נוטה להסכים איתו.

הטענה השלישית של הארווי פחות רלוונטית לנושא של השוואת הביצועים של רופאים ואלגוריתמים רפואיים. הוא טוען כי כאשר יוכנסו מערכות AI למיניהן ויחליפו חלק מהשלבים בתהליך האבחוני, התהליך אכן יתייעל, אולם זה רק ייצור יותר ביקוש לשירותי רדיולוגיה, הביקוש לרדיולוגים יעלה ויגבר הצורך בהכשרת רדיולוגים נוספים.

ראג'פורקאר: האלגוריתם יכול לאבחן דלקת ריאות יותר טוב מהרופאים

הפוסט של אוקדן-ריינר מתייחס למאמר של רג'פורקאר. לכן אסקור בקצרה את הרעיון הכללי של מאמר, ואחר כך אביא את דבריו.

ראג'פורקאר ועמיתיו (שמכאן והלאה אכנה בשם "החוקרים") נעזרו בבסיס נתונים שהכיל יותר מ-100 אלף תצלומי רנטגן של החזה, של כ-38 אלף חולים ב-14 מחלות שונות, וביניהן דלקת ריאות. כל חולה סווג כחולה בדלקת ריאות, או כלא חולה בדלקת ריאות. הנתונים חולקו לפי כל כללי הטקס[4] לשלושה קובצי נתונים נפרדים.

ראשית הם השתמשו בנתונים של כ-29 אלף חולים, ובסך הכל כ-99 אלף תצלומים לצורך "אימון המודל"[5], כ-3.5 תצלומים לחולה, בממוצע.

לאחר שאימנו את המודל, עברו לקובץ השני, בו היו כ-6400 צילומים של כ-1700 חולים (3.8 צילומים לחולה, בממוצע). בעזרת קובץ זה הם ביצעו תיקוף (ולידציה) של המודל.

לסיום, בחנו את ביצועי המודל על הקובץ השלישי, שהכיל 420 צילומים של 389 חולים (כ-1.08 תצלומי רנטגן לחולה, בממוצע).[6]

בתהליך הבחינה 420 התצלומים נבדקו על ידי ארבעה רדיולוגים מאוניברסיטת סטנפורד שסיווגו את החולים לאחת מ-14 המחלות שהיו בקובץ המקורי, וכמובן שגם האלגוריתם אמר את דברו. לרדיולוגים לא היה כל מידע רפואי על החולים מעבר לתצלומי הרנטגן, וכמו כן הם לא ידעו את השכיחויות של כל אחת מ-14 המחלות בקובץ המקורי. במילים אחרות, היה להם בדיוק את אותו המידע שהיה לאלגוריתם.

החוקרים חישבו לכל אחד מהרדיולוגים, וגם עבור האלגוריתם, מדד ביצוע מקובל בשם F1. [7]  הם הראו כי ההפרש בין המדד שהתקבל לאלגוריתם גבוה ב-0.051 מהמדד הממוצע של ארבעת הרדיולוגים, וכי ההפרש הזה מובהק סטטיסטית (רווח הסמך להפרש ברמת סמך של 95% הוא 0.005-0.084).

החוקרים מודים כי למודל שלהם יש שלוש מגבלות, אך מציינים רק שתיים[8]. ראשית, הנתונים כללו רק צילומי חזה פרונטליים, בעוד שבכ-15% מהמקרים של דלקת ריאות יש צורך גם בתצלומי צד כדי לבצע אבחנה מדוייקת. שלישית[9] , החוקרים מודים כי העובדה שהמודל והחוקרים לא נעזרו בנתונים נוספים, כגון היסטוריה רפואית, פוגעת בביצועים של הרופאים (ושל המודל כמובן).

אוקדן-ריידר: אלגוריתמים הם מגניבים, אבל…

ד"ר אוקדן-ריינר אכן סבור כי נוכל להגיע למצב בו לאלגוריתם יהיו ביצועים שווים לביצועים של רופא אנושי ואף יעלו עליו. עם זאת, הוא טוען כי האלגוריתם של רג'פורקאר אינו מתאים לבצע אבחון רפואי. הסיבה לכך נעוצה, לדבריו, בנתונים של ואנג ועמיתיו, בהם רג'פורקאר ועמיתיו השתמשו לצורך פיתוח המודל.

אוקדן-ריינר טוען  כי יש בעייתיות בסיווגים של התצלומים בקובץ הנתונים המקורי של ואנג. לא ברור עד כמה הסיווגים מדוייקים, מה המשמעות הרפואית של הסיווגים, ועד כמה הסיווגים שימושיים לצרכים של ניתוח הצילומים. הוא מציין כי קובץ הנתונים והדוקומנטציה שלו עודכנו מספר פעמים מאז הפרסום המקורי. המאמר שמתאר את בניית הקובץ כמעט ואינו מתייחס להיבטים הקליניים של הנתונים, ומכיל רק פיסקה אחת שמתייחסת לרמת הדיוק של האבחונים שהותאמו לכל סט של תצלומים של חולה אחד.

עד כמה מדויקים הסיווגים? הם התקבלו בשיטות של text mining. הם לא התבוננו בתצלומים. אוקדן-ריינר טוען שרמת הדיוק של הסיווגים בקובץ אינה מספקת. הוא קבע זאת על ידי התבוננות בתצלומים. אמנם לא בכולם, אלא רק במדגם. הסיווגים שלו, כרדיולוג מומחה, היו שונים באופן מהותי מהסיווגים שבקובץ הנתונים.

השאלה השנייה היא מה המשמעות הרפואית/קלינית של הסיווגים. הנה הבעיה: הקביעה האם לחולה יש או אין דלקת ריאות היא קביעה קלינית. צילום רנטגן של החזה הוא נתון התומך באבחון (surrogate measure) ואינו מספיק לבדו לקבוע האם לחולה יש דלקת ריאות, או שה-"עננים" הנראים בצילום הם סימפטום לבעיה רפואית אחרת. המצב בו רואים "עננים" נקרא קונסולידציה. למעוניינים בהסבר רפואי מפורט יותר אני מפנה לפוסט אחר שלו. השורה התחתונה היא שהסיווג של ואנג ועמיתיו במקרה של "עננים" הוא סיווג של יש קונסולידציה או יש דלקת ריאות. אולם, מבחינה רדיולוגית קשה מאוד להחליט מתי קונסולידציה היא דלקת ריאות או משהו אחר. דלקת ריאות היא סוג של קונסולידציה. ההיפך לא נכון. כאשר ואנג ועמיתיו מציינים בנתונים שיש קונסולידציה, יכול להיות שלחולה יש דלקת ריאות. גם יכול להיות שלא. אוקן-ריינר טוען כי הנתונים שבדק מראים שהבעיה הזו קיימת.

וכאן עולה השאלה שלישית, והחשובה ביותר: אם הסיווגים של הנתונים בעייתיים, והמשמעות הקלינית שלהם מוטלת בספק, מה המודל באמת לומד? מה הערך של מודל המתבסס על נתונים בעייתיים?

מה הבעיה במאמר של רג'פורקאר?

אני סומך ב-100% על העבודה שעשו רג'פורקאר ועמיתיו. ההבנה שלי בתחום בו עוסקים היא בסיסית, ומבוססת בעיקר על לימוד עצמי. לצורך הדיון, אני מוכן להתעלם מהביקורת של אוקדן-ריידר על טיב הנתונים. זה לא משפיע על האיכות של המודל, שהרי התחרות בין ארבעת הרדיולוגים ובין המודל התבססה על אותם נתונים, והמודל ניצח. החוקרים מצאו כי במונחי F1, המודל היה יותר טוב מהרדיולוגים בשר ודם ב-0.051, וההבדל הזה מובהק סטטיסטית.

יש לי רק שאלה אחת: מה המשמעות הקלינית של ההבדל הזה? מה הערך המוסף הקליני של המודל? לצערי, אין לי מושג, ואני לא בטוח שלמישהו יש מושג. ברור שהשאלה הזו לא עלתה כלל על דעתם של החוקרים, כי אחרת הם היו לפחות מזכירים אותה  בדיון המסכם. המילה clinical הופיעה במאמר רק פעמיים, שתיהן בפרק המבוא. זהו אחד משבעת החטאים של הסטטיסטיקה: אי הבחנה בין תוצאה מובהקת לתוצאה משמעותית.

מה הבעיה המרכזית במודל של רג'פורקאר?

הבעיה המרכזית במודל של רג'פורקאר היא אבחון חלקי. כשהמודל קובע שלחולה אין דלקת ריאות, הוא לא אומר מה כן יש לו. כאן יש לרדיולוג יתרון ברור על המודל. יש לו ידע קליני שמאפשר לו לקבוע מה מצבו של החולה.

נכון שזה רק מודל, ואנחנו בתחילת הדרך. אין לי ספק שהמודל הזה הוא צעד בכיוון הנכון, אבל זהו צעד קטן מאוד. כדי נגיע למצב בו מודל כזה יהיה ראוי להישקל לשימוש, הוא יהיה צריך לסווג את תצלומי החזה ל-15 קטגוריות לפחות. מישהו יכול להעריך עד כמה אנחנו רחוקים ממודל כזה?

איך צריך להעריך את הביצועים של מודל רג'פורקאר? (וגם את ביצועי הרופא)

תסלחו לי, אבל אני לא מבין מה המשמעות האינטואיטיבית של מדד F1, ומה זה אומר אם הוא שווה ל-0.435. אני ביוסטטיסטיקאי. אחד מתפקידיי הוא לתקשר את התוצאות לצוות הקליני, כדי שהם יוכלו להעריך את המשמעות שלהם. כשהמטרה היא להעריך כלי דיאגנוסטי[10] אני בהחלט מציג בפניהם מדדים כמו accuracy, specificity, ו-sensitivity, למרות שבמקרים רבים גם להם אין משמעות אינטואיטיבית ברורה[11]. אבל כל המדדים האלה לא מספיקים. אלוהים נמצא בפרטים הקטנים, ולכן צריך להתעמק בהם.

מה יקרה אם המודל של רג'פורקאר ישמש ככלי אבחון עיקרי או יחיד למחלת ריאות? בואו נניח לצורך הדיון, כי המודל משמש כשלב הראשון בתהליך האבחוני, ויסווג את החולים כסובלים מדלקת ריאות, או לא סובלים מדלקת ריאות אלא ממשהו אחר, שהמודל לא יודע לזהות, ובמקרה כזה התהליך האבחוני יימשך. נניח גם כי זהו גם התהליך הרדיולוגי.

כאשר מודל או רדיולוג צופים בצילום חזה, יש ארבע אפשרויות.

קודם כל, יש מצב שבו המודל או הרדיולוג מאבחנים כי לחולה יש דלקת ריאות, ולחולה אכן יש באמת דלקת ריאות. זה מצויין. נותנים לחולה את הטיפול המתאים ושלום על ישראל. כאן יש תועלת.

ייתכן כי לחולה אין דלקת ריאות, והמודל או הרדיולוג יקבעו כי לחולה אין דלקת ריאות. זה אכן טוב, אבל לא יותר מדי טוב. החדשות הטובות הן שלא נעשה משהו רע. הבעיה היא שלא התקדמנו. אדם נשלח לביצוע צילום חזה כי הוא חולה במשהו. אם אין לו דלקת ריאות אז יש לו משהו אחר. מה? ובכן, יש צורך בבדיקות נוספות. כאן אין תועלת וגם אין נזק.

נמשיך. יכול להיות כי לחולה יש דלקת ריאות והמודל או הרדיולוג יקבעו כי אין לו דלקת ריאות. הרופאים ימשיכו בתהליך האבחוני. הטיפול בחולה מתעכב. כאן יש קצת נזק. במקרה הטוב, בחינה נוספת של הרופאים תעלה כי בכל זאת יש לו דלקת ריאות, והנזק מינימלי. במקרה הפחות טוב, אם כי לדעתי יותר נדיר, החולה יאובחן כסובל מבעיה אחרת, יקבל טיפול רפואי בלתי מתאים, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (ותמיד יש תופעות לוואי ונזקים בריאותיים), והבעיה הרפואית האמיתית שלו לא תטופל. עלול להיגרם נזק משמעותי.

ועכשיו נגיע למצב הגרוע ביותר: לחולה אין דלקת ריאות והמודל או הרדיולוג אומרים כי יש לו דלקת ריאות. החולה יקבל טיפול רפואי לדלקת ריאות, (אנטיביוטיקה, למשל) שאינו מתאים למצבו הרפואי, וכאמור לעיל, יסבול מתופעות הלוואי והנזקים הבריאותיים שנגרמים מעצם הטיפול (השגוי). שוב, החולה לא יקבל טיפול מתאים לבעיה הרפואית האמיתית שלו, שאינה דלקת ריאות, אלא ככל הנראה משהו יותר חמור. כאן נגרם נזק משמעותי. עד כמה הנזק משמעותי? זה כבר תלוי בהרבה גורמים, כמו למשל המצב הבריאותי האמיתי של החולה, ומשך הזמן שיעבור עד שיבחינו כי הטיפול הנוכחי שהחולה מקבל אינו יעיל ויבצעו הערכה מחדש של האבחון.

השאלה הגדולה היא: האם המודל והרדיולוג טועים את אותן הטעויות?

מדדים כגון F1 לא אומרים לנו מה השכיחות של כל מצב מארבעת המדדים שתיארתי, ובוודאי לא מספקים לנו הערכה של סך הנזק הפוטנציאלי, סך התועלת הצפויה, והערכה האם התועלת עולה על הנזק, ואם כן, עד כמה. אפשר לבצע את ההערכה הזו. אפשר לכנס צוות רופאים שיבחנו אחד לאחד את 389 התיקים ששימשו לבחינת המודל. סטטיסטיקאי טוב יוכל להקל עליהם את העבודה באמצעות הצגה בהירה של הנתונים. בסופו של דבר, תהיה לנו הערכה לגבי הביצועים הקליניים של המודל.

באותו אופן, אפשר להעריך את הביצועים הקליניים של ארבעת הרדיולוגים שהתחרו במודל.

כעת, נוכל לקבוע האם למודל יש באמת יתרון על הרופאים בשר ודם, ואם כן, האם היתרון משמעותי מבחינה קלינית.

הדיון בקבוצת הפייסבוק ותשובות לשאלות

חברי הקבוצה לא הקלו עלי את החיים כששיתפתי עימם את הפוסט של ד"ר הארווי, וטוב שכך. אני ציינתי שאני מסכים עם הטענות שלו, ומטבע הדברים היו חברים בקבוצה שלא הסכימו איתנו. הם העלו טיעונים טובים ושאלו אותי שאלות קשות ומצויינות. עניתי כמיטב יכולתי במסגרת המגבלות הטכניות של ממשק הפייסבוק. אביא כאן את עיקרי הדיון, אתייחס לשאלות שנשאלתי בכל הרצינות, ואענה כמיטב יכולתי. אם פיספסתי שאלה של מישהו, אנא הפנו את תשומת ליבי לכך ואתקן. אשמח גם להמשיך בדיון.

כמו כן, אני ממליץ לכם לקרוא את הדיון עצמו שכן מעבר לדיון הספציפי בטיעונים של ד"ר הארווי ולשאלות שנשאלתי נאמרו בו עוד דברים מעניינים וחשובים.

  • ערן פז טוען שאלגוריתמים יכולים ללמוד גם פעילויות אחרות שמבצע הרופא כולל אינטראקציה בין אישית, וחוזה בבדיחות הדעת כי גם באינטראקציה בין אישית ביצועי האלגוריתמים יהיו טובים יותר מאלה של הרופא. בסופו של דבר, אומר ערן, הרפואה תהיה אוטומטית כמעט לחלוטין.

האמת היא שאין לי מה לענות לטענה הזו. מדובר בהערכה סובייקטיבית. אני לא שולל את האפשרות שזה אכן יקרה[12], אבל יש לדעתי סיכוי הרבה יותר סביר שזה לא יקרה. בכל מקרה, אני משוכנע שהדור שלנו לא יזכה לראות את הרפואה האוטומטית, אם אכן החזון יתגשם. ההערכה הסובייקטיבית שלי היא כי זה לא יקרה בעתיד הנראה לעין.

  • ערן מתייחס גם לטיעון השני של ד"ר הארווי, ואומר כי זה נושא יותר פילוסופי/רגולטורי מאשר טכנולוגי, ובכך הוא צודק כמובן. הוא ממשיך וטוען כי הבעיה שגם אם המערכת היה טובה יותר מבן אדם, לנו כבני אדם קשה יותר לקבל טעות ספציפית שנעשתה ע"י מחשב, גם אם בסה"כ הוא טועה הרבה פחות מבן אדם.

לי יש בעיה עם האמירה הזו. המחשב לא טועה, גם לא המודל (או יותר נכון, האלגוריתם).[13] מקור הטעויות הן בפיתוח האלגוריתם.

  • כאן מתערב בדיון ים פלג ושואל מה אם יש רעש בדאטה.

התשובה המיידית שלי הייתה כי יש הבדל בין מודל שמנסה לחזות התנהגות של לקוח ובין מודל שעוסק בחיי אדם. עם זאת, ים בהחלט צודק. רעש בנתונים הוא בעיה שצריך להתמודד איתה. הדרך להתמודד, לדעתי, היא לבדוק את הביצועים הקליניים של המודל, כפי שהסברתי למעלה, ולהשוות אותו לביצועים של הרופאים, במונחים של סך תועלת מול סך נזק.

  • ים ממשיך ושואל האם סך התועלת הוא לא ההפרש בין ביצועי האלגוריתם לביצועי האדם.

עניתי מהמותן שלא, אבל אני מודה שהתשובה שלי לא הייתה מדוייקת. ים צודק עקרונית, אבל לקביעה שלו אין משמעות אם לא מגדירים היטב איך מודדים את ביצועי האלגוריתם וביצועי האדם. מי שקרא עד כאן יודע כבר שהתשובה הרבה יותר מסובכת, ו-F1 הוא לא המדד האולטימטיבי.

  • ים המשיך והקשה עלי. הוא טען כי אם יש לך אדם שמאבחן נכון X אנשים ומציל את חייהם ויש אלגוריתם שמאבחן נכון X+Y אנשים נכון (מהנתון שהוא יותר מדויק) ומציל את חייהם. יש לך Y יותר אנשים חיים.

זה כמובן נכון, אבל זה רק צד אחד של המטבע. מספר התוצאות החיוביות האמיתיות, או יותר מדוייק – שיעורן. ה-True Positive Rate הוא בהחלט מדד חשוב, אבל כפי שעניתי בקצרה בקבוצת הפייסבוק והסברתי כאן בפירוט, יש עוד צד למטבע, עוד שלושה צדדים למעשה. הבעיות העיקריות, כפי שהסברתי למעלה, נובעות מהאבחונים הלא נכונים: תוצאות חיוביות שגויות (False Positive) ותוצאות שליליות שגויות (False Negative).

  • ערן חוזר ושואל: בוא נניח לרגע שמודל לא יהיה יותר מדוייק, אלא יהיה יותר קרוב ל(1,1) על הROC או לכל מדד אחר שתבחר מבן אדם, עכשיו הטיעונים בסדר? כמו כן הוא מציין כי בדיון גם לא לקחנו בחשבון את העלויות של הקמת חוות GPU לעומת העלות של הכשרת רדיולוג, זה גם משפיע על התועלת?

אני טוען שבמצבים רפואיים התועלות והנזקים הם לא 0-1. נכון שאולי ב-ROC המודל יעשה טוב יותר, עם זה אני לא מתווכח. אני טוען שלטעויות שונות יש משמעויות שונות, וכמו כן, גם במצבים של חוסר טעות, TP ו-TN, עדיין יש משמעויות שונות. המצב נעשה הרבה יותר חמור אם עוברים מדלקת ריאות לסרטן, למשל. מי ייקח אחריות על חולה סרטן שלא יאובחן בזמן בגלל שהמודל היה רועש מדי?

  • אמיר רוזנפלד שואל: יהי המדד האולטימטיבי כפי שאתה מגדיר אותו. נניח שתחת מדד זה מכונה מתעלה על אדם. במי תבחר?

תשובתי היא שכשמדובר ברפואה אין דבר כזה "מדד אולטימטיבי". צריך לבצע הערכה כוללת של התועלת מול הנזק כי הנזקים עלולים להיות שונים מחולה לחולה. יש משמעויות לטעויות, והן שונות מחולה לחולה. חזרתי והבאתי את הדוגמה של חולה שמאובחן בטעות כחולה סרטן. הוא יקבל כימותרפיה שהוא לא צריך[14]. מילא התופעות לוואי של בחילות ונשירת שיער וכאלה – כימותרפיה גם גורמת נזקים בריאותיים ממשייים.

עם זאת, אני בהחלט מסכים שאם למודל יש יתרון קליני משמעותי על פני הרופאים בשר ודם, יש להעדיף את המודל, לפחות ברמה היישומית. עדיין יש לפתור את עניין האחריות.

  • ערן טוען כי אני סתם מתחמק מתשובה, ושואל: הנה, מודל, שעבור רמת הFP והFN של רופא נותן יותר TP מרופא אבל עדין טועה, מחליף את הרופא?

אני מודה שלא הבנתי את השאלה, אבל סבור שהבהרתי לחלוטין איך יש להעריך את הביצועים של המודל ולהשוות אותם לביצועים של הרופא.

סיכום

אני חושב שכולם מסכימים כי עדיין לא הגיע היום בו אלגוריתמים יכולים להחליף רופאים, אלא אם מדובר בתהליכים ממש פשוטים. למשל, אני סבור שאפשר להכניס לשימוש אלגוריתם שיקבל בתור קלט נתונים על חולה (כמו בדיקות דם, מדדי דופק ולחץ דם, וכולי) ויוציא התרעה לרופא המשפחה אם הנתונים בעייתיים. ייתכן ואלגוריתמים מסוג זה כבר קיימים ופועלים.

במקרים יותר ממוקדים, כמו אלגוריתם הפיענוח של רג'פורקאר הדברים הרבה יותר מסובכים. יש הסכמה כי הנתונים ששימשו ל-"אימון" המודל היו בעייתיים. אלגוריתם זה אמנם הראה יתרון מובהק סטטיסטית בביצועיו על פי מדד F1 לעומת ארבעה רופאים בשר ודם, אבל לא ברורה המשמעת הקלינית של יתרון זה (בלשון המעטה). כמו כן, האלגוריתם מוגבל בכך שבמקרה והוא מזהה כי לחולה אין דלקת ריאות, הוא לא מספק תובנה לגבי הבעיה האמיתית שיש לחולה. בסופו של דבר, האלגוריתם הזה הוא אמנם צעד בכיוון הנכון, אבל צעד זעיר מאוד, כמעט זניח.

יתר על כן, המקרה הרפואי של דלקת ריאות הוא קל יחסית מבחינה רפואית. מחלות אחרות, כגון סרטנים ומחלות לב, למשל, צופנות בחובן אתגרים הרבה יותר גדולים.

עם זאת, יש דרך טובה ויעילה לבחון האם הביצועים של אלגוריתמים כאלה עולים על הביצועים של רופא אנושי, ובכמה.

אבל הבעיה העיקרית אינה טכנולוגית אלא אתית.

מי אחראי במקרה שהאלגוריתם טועה? מספר הדעות יהיה כנראה כמספר המשיבים.

בואו נראה מה יכול לקרות בארצות הברית, מכיוון שסביר להניח כי היא תהיה בין המדינות הראשונות בהן יוכנסו אלגוריתמים כאלה לשימוש (בהנחה שבכלל יוכנסו). במדינה בה תביעות על רשלנות רפואית[15] נפוצות מאוד, הנפגעים לא יהססו לתבוע את החברה שמיישמת את האלגוריתמים, את בעלי הפטנט, ומי יודע את מי עוד. האם חברות הביטוח יסכימו לבטח את החברה שמיישמת את האלגוריתם? איש אינו יודע.

אני רוצה להרחיב את הדיון בשאלת האחריות, כי זו לדעתי השאלה המהותית, וממנה נגזרה הכותרת הפרובוקטיבית של הרשימה הזו.

בואו ניקח, כדוגמה פשוטה ביותר, אלגוריתם שצריך לזהות האם בתמונה שמוצגת לו יש חתול. לאף אחד לא איכפת באמת אם האלגוריתם יטען שתמונה של כלב מראה לדעתו חתול.

מה עם אלגוריתם שמחליט אם כדאי להציע לאדם שנכנס לאתר אינטרנט עיסקת קניה מסויימת? יכול להיות שאנשים שהעיסקה תוצע להם לא יבצעו את הקניה, וגם יכול להיות שיפוספסו קונים שהיו מבצעים את הרכישה אם העיסקה הייתה מוצעת. זה חבל, אבל בסך הכל מדובר פה בכסף.

אם מדובר בהרבה כסף, הבעיות יכולות להיות גדולות. בנקים שמנסים לזהות איזה לקוח עלול לא להחזיר את ההלוואה שיקבל עלולים לעמוד בפני בעיה אם האלגוריתם לא מספיק טוב. עם זאת, אני יודע שאלגוריתמים כאלה פועלים, וכנראה שיקול הדעת שלהם יותר טוב משיקול הדעת של הפקיד.

בואו נמשיך. מה עם אלגוריתם שמחליט על ביצוע עיסקות קניה ומכירה בבורסה? בסרט הזה כבר היינו בשנת 2008. אני מקווה שהאלגוריתמים האלה השתפרו מאז, כי לא מתאים לי עוד משבר כלכלי עולמי.

מה בקשר למכונית אוטונומית? כאן כבר מתחילים לדבר על חיי אדם. מישהו יודע כמה טעויות שליליות שגויות (False Negative) יש לאלגוריתם של מובילאיי? וכמה מהטעויות האלה מובילות לתאונות? וכמה מהתאונות האלה כוללות פגיעות בגוף? אני לא יודע. אני לא בטוח שיש מי שיודע.

נכון, מכוניות אוטונומיות כבר נוסעות בכל מיני מקומות בארצות הברית, במסגרת ניסויים לבחינת האלגוריתמים. מי יעריך את מאזן התועלת מול הנזק של האלגוריתמים שמפעילים את המכוניות האלה וישווה אותם לביצועים של נהג אנושי? ואיך? האם יהיה רגולטור, כמו שיש את ה-FDA בתחום הרפואי? האם חברות הביטוח יסכימו לבטח את המכוניות והאלה והנוסעים בהם? ואם כן, מה תהיה עלות הביטוח?

מה בקשר למטוס אוטונומי? מי מוכן לעלות על טיסה טרנס אטלנטית במטוס ללא טייס?

אני יודע שאי אפשר לעצור את הקידמה, ובניגוד למה שעלולים לחשוב אני בעד הקידמה. אני בהחלט חושב שעתיד בו אלגוריתם יוכל להחליף רופא ולבצע את מלאכתו באופן טוב יותר מהרופא האנושי, וכולנו ניסע במכוניות אוטונומיות, הוא עתיד טוב. אבל כדי להגיע לעתיד הזה עלינו להתגבר על הרבה מאוד בעיות, והבעיות הטכנולוגיות הרבה יותר פשוטות מהבעיות האתיות. אני גם חושב שהעתיד הזה רחוק מאוד מאיתנו ואנו לא נזכה לראות אותו, וגם לא בנינו ובני בנינו.


הערות
  1. עם זאת, לא אתייחס לטענה "תן תמונה היום לעשרה רדיולוגים ותקבל 11 חוות דעת" []
  2. שכן הוא לא התייחס אליו []
  3. כגון תצלומי רנטגן, סריקות CT ו-MRI, ועוד []
  4. כלומר, באופן רנדומלי []
  5. שזה תיאור מרשים לתהליך של אמידת פרמטרים []
  6. אעיר ואומר כי יש כאן בעיה מסויימת – נתוני הבדיקה שונים באופן מהותי מנתוני האימון והתיקוף. []
  7. זהו הממוצע ההרמוני של הרגישות – recall ושל הדיוק – precision. ראו הגדרות בויקיפדיה []
  8. השלישית ירדה בכביסה? יותר סביר להניח כי אחרי מחשבה נוספת הם הגיעו למסקנה כי המגבלה הנוספת שחשבו עליה אינה באמת מגבלה []
  9. או בעצם שנית, לא משנה []
  10. כמו בדיקת דם חדשה, או אלגוריתם מגניב שפיתחו החבר'ה בסטנפורד []
  11. יש מחקרים שמראים כי הרבה רופאים מפרשים אותם באופן לא נכון, אבל לא ניכנס לזה עכשיו []
  12. כלומר, אני סבור כי ההסתברות לכך גדולה מאפס []
  13. מכאן הגיעה הכותרת הצינית והפרובוקטיבית של הפוסט הזה []
  14. או אפילו יעבור ניתוח מיותר []
  15. ובארצות הברית גם טעות בתום לב נחשבת כרשלנות []