חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור תגית סקרים

ספקנים בפאב – ערב הרצאות מיוחד לכבוד יום הסטטיסטיקה הבינלאומי

ספקנים בפאב” הם מפגשים המיועדים לכל מי שמתעניין במדע, היסטוריה, פילוסופיה ובחינה רציונלית של המציאות. המפגשים מתקיימים בפאבים או במקומות אחרים שמאפשרים אווירה חברית ובלתי פורמלית, וכוללים בדרך כלל הרצאה  ודיון. “ספקנים בפאב” נערך לראשונה בלונדון בשנת 1999, וכיום קיימות עשרות קבוצות ברחבי העולם. במסגרת הקהילה הספקנית בישראל קיימות ארבע קבוצות של ספקנים בפאב, בחיפה, תל-אביב, באר שבע וירושלים.

ב-20 באוקטובר צויין ברחבי העולם יום הסטטיסטיקה הבינלאומי. לציון(מאוחר) של האירוע ייערך בתאריך 14.11.2011 ערב הרצאות מיוחד במסגרת “ספקנים בפאב” בתל-אביב בשיתוף פעולה עם האיגוד הישראלי לסטטיסטיקה (ששת קוראיי יודעים בודאי על הקשרים ההדוקים שיש לי גם עם הקהילה הספקנית וגם עם איגוד הסטטיסטיקה).

הערב יכלול חמש הרצאות קצרות (15 דקות כל אחת) שיסקרו את נושא הסטטיסטיקה מכיוונים שונים.

האירוע יתקיים בתאריך 14.11.2011 בפאב “גורדו”, בחוף גורדון בטיילת תל אביב. ההתכנסות היא בשעה 8 בערב, וההרצאות יחלו בשעה 8.30. דמי הכניסה הם 10 ש”ח, ומיועדים לכיסוי הוצאות הפקת האירוע.

 

המרצים, (באופן מפתיע, לא כולם סטטיסטיקאים) וכותרות ההרצאות הם:

  • טל גלילי – כיצד חוקרים עכברים שחוקרים את סביבתם
  • יוסי לוי – כדור הכסף
  • דובי קננגיסר – מחשב, מחשב שעל הקיר
  • רון קנת – 42
  • אבנר שחר קשתן – שקרים יפים

אני מניח כי מי שקרא עד כאן כבר הבין שגם אני נמנה עם המרצים 🙂

אשמח לראותם!

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

שמירה על פרטיות בסקרים

סקרים הם כלי מתודולוגי חשוב ורב עצמה, בעיקר במדעי החברה. באמצעות דגימה נכונה של חלק קטן מהאוכלוסיה, ניתן לאסוף מידע על אודות האוכלוסיה כולה, ומאוחר יותר ניתן לתרגם את המידע הזה לידע ולמדיניות.

כל זה נפלא, אולם סקרים אינם כלי מושלם. הם חשופים להטיות רבות ולטעות סטטיסטית. כתבתי בבלוג רבות על אספקטים שונים של נושא הסקרים ולא אחזור ואפרט כאן את כל הדברים האלה. אתרכז רק בהטיה ספציפית אחת, ובפתרון שיש לסטטיסטיקה כדי להתגבר עליו.

אחת ההטיות הבעייתיות ביותר בסקרים היא חוסר הנכונות של הנסקרים שעלו במדגם להשיב לשאלות הסוקר. יש סיבות רבות לחוסר הנכונות הזו, ותאמינו או לא, אני בהחלט חושב שחלק מהסיבות הינן מוצדקות.

אחת הסיבות היותר מוצדקות לחוסר נכונות להשיב לשאלת סקר היא חשש הנסקר לפרטיותו. האם הייתם מוכנים לענות לסוקר, מכובד ככל שיהיה, לשאלות בדבר העדפותיכם המיניות? מה בקשר לשאלה המבקשת מכם לגלות אם עברתם על חוק כלשהו (גנבתם, השתמשתם בסם אסור, עברתם ברמזור אדום, העלמתם הכנסות)? או שאלה העוסקת במוסר האישי שלכם (האם בגדתם בבן/בת זוגכם? האם השתמשתם בשירותיה של זונה? האם רימיתם במבחן?)?

לא. אני לא חושב שהייתי שמח לענות לשאלות כאלה. עם זאת, המידע לגבי שיעור תופעות כאלה ואחרות באוכלוסיה חשוב מאוד. לכן, אין זה מפתיע שפותחו שיטות המאפשרות לנסקרים להגן על פרטיותם, ועדיין לענות בכנות וללא חשש לחשיפה לשאלות כאלה.

אחת השיטות היעילות הנפוצות היא שיטת “התשובה הרנדומלית” (Randomized Response). הרעיון בשיטה: לנסקר מוצגות שתי שאלות, והא בוחר אחת מהן באופן מקרי.שהנסקר משיב תשובת אמת לשאלה שעלתה בגורל, אבל הסוקר אינו יודע לאיזה שאלה שייכת התשובה שקיבל. עדיין, ניתן להפיק משקלול כל התשובות מידע יקר ערך.

זה נשמע מסובך, אבל מיד אציג שתי דוגמאות שיבהירו את הרעיון.

נניח שאני מעוניין לדעת מהו שיעור הנהגים המחטטים באף בעת המתנה ברמזור (מידע קריטי שעשוי למנוע תאונות דרכים רבות). אם אשאל את השאלה בצורה ישירה, סביר להניח כי התוצאה שתקבל תהיה נמוכה בהרבה מהשיעור האמיתי.

לכן אתכנן את הסקר כך שהתשובה של הנסקרים תהיה רנדומלית.

אבקש מכל נסקר להטיל מטבע. אם תוצאת ההטלה היא עץ, על הנסקר יהיה להשיב על שאלה סתמית: “האם יש לך אף?”. ברור כי התשובה לשאלה זו תמיד חיובית. אם, לעומת זאת, תוצאת ההטלה תהיה פלי, אבקש מהנהג שעלה במדגם לענות האם הוא נוהג לחטט באפו בעת המתנה ברמזור, וכאן יש שתי תשובות אפשריות: “כן” או “לא”.

לנדגם אין חשש לענות לי תשובה אמיתית.  גם אם יענה “כן”, איני יכול לדעת אם הוא ענה לי “כן, יש לי אף” או “כן, אני מחטט באף”. פרטיותו לא נפגעת. ואם ענה “לא”, הרי שהצהיר כי אינו מחטט באף, וגם זו הצהרת אמת, שאינו חושש להצהיר.

נניח שבמדגם שלי היו 1000 נהגים, וקיבלתי 700 תשובות “כן” ו-300 תשובות “לא”. כיוון שהסיכוי לקבלת עץ בהטלת מטבע הוא 50%, הרי שמתוך 1000 הנדגמים, כ-500 קיבלו עץ, והשיבו כי אכן יש להם אף. 200 תשובות “כן” אחרות הן של נהגים שהודו כי הם אכן חטטנים, ו-300 הצהירו כי אינם חטטנים. מכאן ש-200 מתוך 500 נדגמים השיבו בחיוב לשאלה השניה רבת המשמעות, ומסקנתי תהיה כי שיעור הנהגים המחטטים באף הוא 40%. כל זאת, כמובן, בהנחה כי היה שיתוף פעולה מלא מצד הנסקרים.

הדוגמא פשטנית אך מבהירה את העקרון. יש כאן, כמובן, גם שתי טעויות סטטיסטיות. האחת נובעת מהדגימה הראשונית של 1000 הנהגים מתוך האוכלוסיה הכללית; השניה נובעת מהטלת המטבע, שקובעת את תת-המדגם של הנהגים שמשיבים לשאלה השניה. בטעויות סטטיסטיות, בניגוד להטיות שיטתיות, ניתן לשלוט על ידי קביעה מתאימה של גודל המדגם, ובכך להבטיח את שולי הטעות (“הפלוס/מינוס” המפורסם) הרצויים.

לטכניקה שהוצגה יש שני חסרונות: קודם כל, חצי מהמדגם מתבזבז על תשובה לשאלה סתמית. שנית, לגבי חלק מהנדגמים (אלה שהשיבו “לא”) ניתן לדעת על איזה שאלה ענו. הנדגמים יודעים זאת, וזה עדיין עלול ליצור הטיה במדגם.

על החסרון השני ניתן להתגבר על ידי הצגה של שאלה סתמית עם שתי תשובות אפשריות, כמו “האם צבע העיניים שלך הוא כחול?” או “האם ספרת הביקורת של ממספר ת.ז. שלך היא זוגית?”. אבל אם כך, מדוע לא להחליף את השאלה הסתמית הראשונה בשאלה משמעותית, כך שעדיין לא יהיה ניתן לדעת לאיזה שאלה ענה הנדגם?

הדבר אפשרי בהחלט.

נציג לנסקרים שתי שאלות:

שאלה 1: האם הנך נוהג לעשות משהו איום ונורא?

שאלה 2: האם אינך נוהג לעשות משהו איום ונורא?

תשובה חיובית מנדגם מסויים לא תיתן לנו כל אינפורמציה, כי איננו יודעים לאיזה שאלה ענה! אבל אנחנו יכולים לדעת באיזה הסתברות ענה לשאלה הראשונה ובאיזה הסתברות ענה לשאלה השניה, ובעזרת מידע זה לדעת את שיעור הנוהגים לעשות מעשה איום ונורא.

נבקש מכל נדגם להטיל מטבע פעמיים. אם שתי התוצאות יהיו עץ, נבקש ממנו לענות לשאלה הראשונה. אם לפחות אחת ההטלות תהיה פלי, נבקש מהנדגם לענות על השאלה השניה. (מסיבות טכניות ההסתברויות חייבות להיות שונות. רנדומיזציה של 50:50 לא תעבוד. המתמטיקה לא מסובכת, אבל אני נמנע מהדיון הטכני).

ועכשיו לטריק: בואו נניח שגודל המדגם הוא 1000 איש, ושאחוז אלה שנוהגים לעשות משהו איום ונורא  באוכלוסיה (ובמדגם המייצג) הוא 30%. מתוך 1000 איש, 250 (בתוחלת, כלומר, באופן תיאורטי) יקבלו עץ בשתי הטלות המטבע. כיוון ש-30% מהם נוהגים לעשות משהו איום ונורא, נקבל 0.3×250=75 תשובות “כן” מהקבוצה הזו. שאר 750 הנדגמים יענו “כן” אם אינם נוהגים לעשות משהו איום ונורא. שיעורם הוא 70%, ולכן מבין אלה שהטילו מטבע ולא קיבלו פעמיים עץ נקבל  0.7×750=525  תשובות “כן”. בסך הכל נקבל לכן 75+525=600 תשובות “כן”.

את התרגיל הזה אפשר לעשות גם מהסוף להתחלה, ולהסיק כי אם התקבלו 600 תשובות “כן”, אז שיעור האנשים הנוהגים לעשות משהו איום ונורא הוא 30%.

באופן כללי יותר (וכאן אעבור לנוסחאות, אז תרגישו חופשי לדלג): אם נסמן את גודל המדגם ב-N, את שיעור אלה שנוהגים לעשות משהו איום ונורא באות P, ואת מספר תשובות ה-“כן” באות Y, אזי

Y/N=0.25xP + 0.75x(1-P)

ומכיוון שערכם של Y ושל N ידוע לנו, ניתן לפתור את המשוואה ולמצוא את P.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

קמיל פוקס וחנוך מרמרי מתדיינים על הטיות בסקרים

בשבוע האחרון מתנהל דיון מעניין בין העיתונאי חנוך מרמרי והסטטיסטיקאי קמיל פוקס.
הכל החל בסקר שערך פוקס ו תוצאות ראשוניות ממנו פורסמו בעיתון “הארץ” (אותו ערך מרמרי בעבר) בתאריך 6.8.2009. לפי הסקר שבוצע  בפיקוחו של פוקס, 46% השיבו בחיוב על השאלה “האם הומוסקסואליות היא בעיניך סטייה?”. 42% השיבו שלא מדובר בסטייה. יתר הנשאלים השיבו שאינם יודעים.(הערה: לא הצלחתי למצוא באתר הארץ את התוצאות המלאות של הסקר, שהתפרסמו ביום שישי, 7.8.2009. אשמח ללינק).

הסקר העלה את חמתו של מרמרי, שפרש את טענותיו באתר “העין השביעית” בתאריך 9.8.2009, תחת הכותרת “מהי סטייה? מהי הטיה“. מרמרי טען כי השאלה שעמדה בבסיס סקר שיזם “הארץ”, יוצרת בעיה בפרשנות המשיב, בעיה בתשובתו, בעיה בפרשנות העיתונאית לתשובה ובעיה בפרשנות קורא העיתונים. לדעתו, אילו נוסחה השאלה באופן אחר, היו מתקבלות תוצאות שונות באופן משמעותי מהתוצאות שהתקבלו בסקר, והיה מתברר כי הציבור הישראלי אולי סובלני יותר מכפי שהשתקף בסקר של פוקס. (פורמלית מרמרי בודאי צודק: אם שואלים שאלה אחרת, מקבלים תשובה אחרת). מרמרי תוקף לא רק את פוקס, אלא גם את עיתון “הארץ” שאותו ערך בעבר, וטוען כי העיתון בחר לנצל את הסקר ולפרש את תוצאותיו באופן המעודד הומופוביות.

אתמול התפרסמה באתר העין השביעית תגובתו של פוקס לטענותיו של מרמרי. “לא הטיה ולא הטעיה. אם בכלל, שיקול דעת שאפשר להתווכח עליו. בוודאי לא רצון לסנסציה ול’צהבת” – ענה פוקס למרמרי, והראה כי ההבדלים בין תשובות לסקר שערך ובין התשובות לסקר אחר שהשתמש ב-“שאלה הנכונה” (לדעת מרמרי) מזעריים.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

המודעה התמוהה, הסקר המוטה, והעיתונאות הטובה

הנה סיבה מדוע כדאי לעקוב גם אחרי העיתונות המודפסת. ידיעה שהופיע בקצה מוסף הכלכלה של “ידיעות אחרונות” ביום הבחירות נשאה את הכותרת “המודעה התמוהה של חברת שחל” (לחצו על התמונה להצגה בגודל מלא).

 seker-shachal1

הידיעה מספרת של מודעה שפרסמה החברה העוסקת בתחום הטלרפואה, ובה התגאתה החברה כי סיכויי של מנוייה לשרוד לאחר אירוע לב גדול פי 2.2 מהסיכוי של כלל האוכלוסיה. האותיות הקטנות שמודעה שלחו את המעוניינים למחקר המלא באתר האינטרנט של החברה.

כתבת ידיעות אחרונות, יהודית יהב, לא התעצלה ובדקה מה עומד מאחורי הנתון הזה. הנה ממצאיה:

א. מאחורי הפרסום עומד פרופ’ אריה רוט, מנהל המחלקה לטיפול מרץ לב בבי”ח איכילוב, אך גם היועץ הרפואי של חברת שחל.

ב. המחקר בדק רק את מנויי חברת שחל, ולא מנויים של חברות מתחרות.

ג. מנויי שחל אינם בהכרח מדגם מייצג של האוכלוסיה – כך אמר לגב’ יהב פרופ’ מוטי רביד, מנהל בי”ח “מעייני הישועה”. רביד הסביר מדוע מנויי חברת שחל שונים באופן מהותי מאלה שאינם מנויים, ולכן ההבדלים בינם ובין שאר האוכלוסיה לא בהכרח נובעים מעצם השירות של חברת שחל, וייתכנו גורמים נוספים המסבירים את ההבדלים.

יהודית יהב גם טרחה והביאה את תגובתו של פרופ’ אבינועם רכס, יו”ר ועדת האתיקה של ההסתדרות הרפואית, שאינו רואה כל בעיה אתית בפרסום, וגם את תגובת חברת שחל, שכמובן אינה רואה שום בעיה.

אז קודם כל, באמת כל הכבוד לכתבת יהודית יהב שעשתה היטב את עבודתה.

אני רוצה להוסיף עוד מספר הערות.

מעיון ב”פרטים הנוספים” שבאתר שחל (קובץ pdf), עולה כי כל עורכי המחקר הזה, פרט לאחד, הינם אנשי חברת שחל (אחד מהם הוא עובד של חברת הבת הגרמנית PHTS). האחד יוצא הדופן הוא פרופ’ דוד שטיינברג מהמחלקה לסטטיסטיקה של אוניברסיטת תל-אביב, שאין לי ספק בדבר יכולותיו כסטטיסטיקאי, אבל אני חייב להיות שהופתעתי במקצת למצוא את שמו מתנוסס על הפמפלט הזה.

אמנם, אין פסול בכך שחברה מסחרית תתמוך במחקר מדעי המקדם את מטרותיה (גילוי נאות: גם החברה שבה אני עומד תומכת במחקרים כאלה, ואני אף נוטל חלק בחלקם ומעורב בניתוח הסטטיסטי של הנתונים), כפי שאמר פרופ’ רכס. אבל רשימת עורכי הפרסום מעידה כי יתכן והגבול האתי נחצה.

פרופ’ רכס דיבר גם על המחויבות לאמת המדעית, ומחויבות כזו ההייתה צריכה להוביל להבהרה לגבי ההטיה האפשרית של הנתונים ופרשנותם. אני בטוח לחלוטין כי דברי פרופ’ רביד אינם מהווים חידוש והפתעה גדולה עבור מומחי חברת שחל. יתרה מזו – בידם היכולת לבדוק האם עצם המינוי עושה את ההבדל, או שמא באמת מדובר רק במשתנה מתווך (confounding variable). אני מניח שהם יודעים היטב שרק ניסוי מבוקר יכול להוכיח כי המינוי הוא אכן שמגדיל את סיכויי השרידות. אני לא אומר שטענת חברת שחל מופרכת לחלוטין, אבל יש כמה סימני שאלה.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

איך לקרוא את הסקרים?

הבוקר התפרסם ב”הארץ” מאמר מאת פרופ’ יואב בנימיני, נשיא האיגוד הישראלי לסטטיסטיקה, שכותרתו “איך לקרוא את הסקרים?“.

ארבעה ימים לפני הבחירות, וביום האחרון בו החוק מתיר פרסום פומבי של סקרי בחירות ותוצאותיהם, מפרט בנימיני סיבות אפשריות לשוני הגדול הנצפה כעת בין הסקרים השונים.

סיבה אפשרית אחת, מסביר בנימיני, היא השפעה אפשרית של מי שמממן את הסקר, באמצעות הטיות קטנות כמו בחירת האוכלוסייה המיוצגת בסקר, סדר השאלות, או אפילו השפעה על נוסח השאלה. לכן ממליץ בנימיני להתייחס בחשדנות לסקרים שתוצאותיהם נמסרות על ידי בעלי אינטרסים, כגון דוברי מפלגות.

בנימיני מפרט גם בעיות מתודולוגיות העלולות להטות את התוצאות, כגון סירוב להשתתף בסקר, ושיעור הבלתי מחליטים (“הקולות הצפים” ). ככל שחלקן של שתי קבוצות אלה במדגם גבוה יותר, כך גדלה הבעיה הפוטנציאלית בסקר.

בנימיני לא התייחס, לצערי, לתופעה של נסקרים המשיבים בכוונה תשובות לא נכונות לסוקרים. אני יכול להבין מדוע. בעוד שאת שיעור הבלתי משיבים ואת שיעור הקולות הצפים ניתן למדוד, היכולת לאמוד את שיעור השקרנים שעלו במדגם מוגבלת (אם כי ניתן ככל הנראה לעשות משהו גם בעניין זה, על ידי השוואת תשובת הנסקר לשאלה למי הוא יצביע עם הניבוי שמספקים משתני הרקע שלו).

בסופו של דבר, מסביר בנימיני, כדי להעריך את תוצאותיו של סקר יש לדעת מי מימן אותו, מי ערך אותו ומתי; מי הנשאלים ומה נשאלו; כמה סירבו להשיב, מה טעות הדגימה וכמה מתלבטים עדיין. למרות שלפי דרישות החוק חובה לפרסם נתונים אלה ביחד עם תוצאות הסקר, מצביע שוב בנימיני על הפרת החוק בידי אמצעי התקשורת, ואזלת היד של ועדת הבחירות המרכזית שלא מבהירה מספיק, לדעתו, את החובה למלא את דרישות החוק. אני אחריף את דבריו ואומר כי ועדת הבחירות המרכזית מעלה בתפקידה כאשר נמנעה מאכיפת החוק.

בנימיני מסכם ואומר כי “מן הראוי לנקוט משנה זהירות כאשר נשענים על תוצאות הסקרים כדי להחליט בעבור מי להצביע”. דברים אלה נכונים אמנם, אך אני מציע לכם, קוראיי, להחליט למי תתנו את קולכם על פי צו מצפונכם והשקפת עולמכם, ולא להסתמך על סקרי הבחירות המפורסמים בארצנו ככלי תומך החלטות.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו