חיפוש באתר

קישורים

עמודים

קטגוריות

דברי תמר הרמן על הסקרים – המשך הדיון

בעקבות סקרי הפריימריז של קדימה שכשלו, הביא אתר הידען דברים שאמרה הפר ופ’ לסוציולוגיה תמר הרמן בנושא הכללי על עריכת סקרים. למרות שפירטה באריכות את חשיבותם של הסקרים, אמרה פרופ’ הרמן כי לדעתה הסקרים אינם עומדים בקריטריונים מדעיים, וגרוע מכך, כי הסוקרים בכללם אינם מחוייבים לכללי אתיקה כלשהם. כמו כן הלינה על כלי התקשורת הממלאים תפקיד בעייתי בתהליך פרסום תוצאות הסקרים.
ברשימה “על מדע וסוציולוגיה” הגבתי לדבריה של פרופ’ הרמן. טענתי כי טענתה של פרופ’ הרמן בדבר “הקריטריונים המדעיים” (טענה שלא ממש הוסברה) אינה רלוונטית, כיוון שסקרים הם בסופו של דבר יישום של מדע הסטטיסטיקה, כשם שמכוניות הם יישום של מדע הפיזיקה. האם המכוניות אינן עומדות בקריטריונים מדעיים? באיזה קריטריונים מדעיים המכונית צריכה לעמוד, אם בכלל?

כמו כן הבהרתי כי דרישתה של פרופ’ הרמן לקבוע כללי אתיקה לסוקרים וסטטיסטיקאים לכל היותר מדגימה את חוסר הידע שלה בנעשה בתחום הסטטיסטיקה היישומית, כיוון שכללי אתיקה מקצועית לעוסקים בסטטיסטיקה קיימים זה מכבר, וחברי האיגוד הישראלי לסטטיסטיקה מחויבים לו.

לרשימה שכתבתי התקבל מספר רב של תגובות קוראים, וכאן אענה להם.

הגולש אילן חולק על דעתי, תוך שימוש במשל המכונית: “הבעיה איננה שימוש לא נכון במכונית, אלא מכונית שלא נוסעת בגלל פגם טכני”. ובכן אילן, יש הרבה מכוניות שלא נוסעות בגלל פגמים טכניים, או שנוסעות ומקרטעות. בשביל זה יש מוסכים. אין טכנולוגיה מושלמת, ואין יישום מושלם. סקרי הפריימריז של קדימה נתנו לנו דוגמא כזו. זה לא מספיק כדי לפסול את כל הטכנולוגיה.

אילן ממשיך ואומר ש”משהו דפוק בתיאוריה”. התיאוריה, אילן, היא מתמטית, ומבוססת על הוכחת משפטים מתוך אקסיומות. ההוכחות נכונות, ייתכן תיאורטית כי האקסיומות שגויות, אבל העדויות האמפיריות מראות שלא כך (אלה אותן האקסיומות שבבסיס כל המתמטיקה). הדוגמאות שניפנפת בהן לגבי הסקרים בהתמודדות בין אובאמה לקלינטון, שטעו לטובת אובאמה לטענתך (הוא ניצח את קלינטון, ככל הזכור לי) לא מצביעות לדעתי על בעיה בתיאוריה.

דרומי נותן טיעון מתוחכם: “סטטיסטיקה, כמו כל ענפי המתמטיקה, אינה מדע, ולו בגלל שאין בה שביב של אמפיריות. האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?”. אני לא רוצה להכנס לויכוח פילוסופי בדבר ההגדרה מהו מדע. דרומי צודק בטענתו כי המתמטיקה וענפיה, כולל הסטטיסטיקה, אינם מבוססים על תצפיות אמפיריות, ולכן לא עומדים בקריטריון של פופר לפיו תיאוריה מדעית חייבת לכלול קריטריונים אובייקטיביים להפרכתה. סטטיסטיקה היא מדע מתמטי, המתבסס על הוכחת משפטים מתוך אקסיומות. בכל זאת, הדוגמא שדרומי נתן מראה פשוט חוסר התמצאות בחומר. הממוצע של קבוצת מספרים מוגדר כסכום המספרים חלקי מספרם ולכן מי שיקבל תוצאה אחרת פשוט עשה טעות חישוב.

ולנושא היותר רציני שהעלה דרומי. הוא כתב: “כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד”. דרומי, אתה כנראה לא מבדיל בין איכות לבין אתיקה. האיכות של סקרי הפריימריז של קדימה הייתה בעייתית, אני לא חושב שיש מישהו שחולק על כך. שלושת הסוקרים ידעו זה שנים רבות שיש הטיה בתוצאות עקב תשובות לא אמינות של הנסקרים, אם מתוך דיסוננס קוגניטיבי ואם מתוך זדון. הם לא עשו (או לא עשו מספיק) כדי להתמודד עם הבעיה. מבחינה מקצועית היה כאן כשלון. אבל, אתה טוען כי טעות מקצועית היא לא אתית. נדמה לי שלא צריך להסביר מדוע זה לא כך. טעויות קורות. מותר לטעות, אם כי רצוי מאוד להמנע מכך. לא כל טעות מקורה בחוסר אתיקה.

הקורא ירח כתב: “סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור… אין לי שום סיבה לשתף פעולה עם סקר כזה…לכן, ככלל, אני תמיד מוסר מידע בלתי נכון… נכון שהאובססיה המערבית לאמירת אמת גורמת לי אי נוחות, כשאני מוסר את המידע השקרי, אבל אני מתגבר ועושה זאת.”

ובכן ירח,זה אמיץ מאוד להודות בפומבי שאתה שקרן, כל הכבוד.

אבל למה בעצם לשקר? אם יש לך משהו נגד הסקרים, מדוע לא לענות לסוקר “לא תודה, אני לא מעוניין לענות”? זה מה שאדם תרבותי היה עונה.\

תאר לך מצב של תומך קיצוני בעקרונות איכות הסביבה, הסבור כי כל מכונית היא אסון, ויש להשבית את כל המכוניות מייד ולאלתר. כדי לקדם את האג’נדה שלו, אותו אדם מתחיל לעבוד בתחנת דלק, ולכל מכונית שהוא מתדלק הוא מכניס גם “תוסף” שהורס את המנוע. האם זו התנהגות ראויה בעיניך? זה המשל. אתה הנמשל.

ועוד שאלה לי אליך, ירח: איך בדיוק סקרים גורמים למניפולציה של הציבור? תסביר לי, שאבין.

הקוראים עמית ושוקי סבורים כי הבעיה היא לא בתוכן הדברים שפרופ’ הרמן אמרה אלא באופן בו ניסחה אותם, ולו היתה מתנסחת בזהירות וביתר דיוק ל א היתה לי שום בעיה עם מה שהיא אמרה.

ובכן, אני לא חושב שהבעיה עם דבריה של פרופ ‘ הרמן היא בניסוח. אני חושב שהיא הראתה חוסר הבנה בסיסי בכך שנכשלה בהבחנה בין מדע ליישום/טכנולוגיה. יותר מכך, דבריה גרמו להכפשה של ענף מדעי ללא כל בסיס עובדתי, ולדעתי ההשתלחות הזו לא הייתה פליטת פה מקרית, אלא התקפה מתוכננת במסגרת כנס שעסק בנושא אחר לגמרי.

הקורא רון מעיר כי “פרופ’ הרמן היא לא סתם “פרופ’ לסוציולוגיה”, היא עומדת בראש פרויקט ‘מדד השלום’ באוניברסיטת תל-אביב, שמבצע סקרים בנושאים מדיניים ופוליטיים מדי חודש מאז שנת 1993, כך שהנגיעה שלה לסטטיסטיקה ולסקרים היא מעבר ל”פרופ’ לסוציולוגיה”.

ובכן רון, בוא נעורר שוב את משל המכונית. העובדה שתמר הרמן מעורבת בפרוייקט המשתמש במתודולוגיות סטטיסטיות, לא עושה אותה מומחית לסטטיסטיקה, כפי שהחזקה ברשיון נהיגה אינה הופכת את המחזיק בו למהנדס המסוגל לתכנן ולבנות מכונית. הסקרים של מדד השלום מתבצעים של ידי מכון  ב. י. כהן שבאוניברסיטת תל-אביב.

גיל ושוקי מעירים על אופן ההצגה של סקרים בתקשורת. גיל כותב: “יש להבדיל בין המדעיות של עריכת סקרים באופן כללי, ובין הצורה שהם מוצגים לציבור.  לעורכי המחקר יש חלק מסוים בצורה שבה מוצגים סקרים אבל אין להם שום שליטה על אמצעי התקשורת אם הם מציגים דברים בצורה מעוותת. האתיקה אם כבר, צריכה לחול על אמצעי התקשורת ולא על עורכי הסקרים לבד. זה בסך הכל מצטרף לאינספור הצגות מעוותות של אירועים בחדשות ועל זה צריך לבקר אותם”. שוקי מוסיף וכותב: “אני חושב שאכן ישנה בעיה אתית בכך שמכוני סקרים רציניים ומקצועיים ממשיכים לעבוד עם עיתונים שעושים שימוש ציני בשמם ובמידע שהם מעבירים ועורכים ומציגים אותו באופן מגמתי. מצד שני, אני לא יכול לדמיין מציאות בה זה לא יהיה כך, כאשר ברור שפרנסתם של מכוני הסקרים תלויה בלקוחות בעלי עניין”.

באופן כללי אני מסכים איתם. הבעיה האתית העיקרית שאני רואה שוב ושוב בפרסומי סקרים היא בכך שכלי תקשורת מפרסמים תוצאות של סקרים מבלי לעמוד בדרישות החוק המחייב אותם לפרסם מידע בדבר עריכת הסקר, כמפורט בתיקון 22 לחוק הבחירות (ראו למשל את הרשימה “סקר לדוגמא“). עד היום לא נתבע אף כלי תקשורת על הפרה של סעיף זה. אולי הגיע הזמן.

פורסם לראשונה באתר “רשימות” בתאריך 25 באוקטובר 2008 שם התקבלו 10 תגובות

אילן  בתאריך 10/25/2008 2:16:35 PM

תודה על התשובה

ושאלה לי:
כיצד מתמודדת התיאוריה עם נטייה הולכת וגוברת לשקר לסוקרים?
ולאיזה אחוז של שקרנים צריך להגיע כדי שכל הרעיון של סקרים אמינים ייזרק לפח הזבל?
תודה

יוסי לוי  [אתר]  בתאריך 10/25/2008 4:02:40 PM

תשובה לאילן

שאלה טובה. אני לא מומחה לסקרים ולכן לא יודע לענות לך.

ירח  בתאריך 10/25/2008 6:30:59 PM

תשובה ליוסי לוי

ליוסי לוי שלום,
אענה ואסביר,
גם מדוע צריך למסור מידע לא נכון בסקרים מסחריים ופוליטיים – ואני קורא לכל לע שות זאת – וגם איך עוותת את דברי באופן דמגוגי.
אבל תחילה הערה על מתמטיק ה, מדע וטכנולוגיה, היחס ביניהם, ומעמדה של הסטטיסטיקה בשילוש הזה:
המדע הוא מה שעושים כדי לתאר ולהבין את העולם הממשי ואת חוקיותו.
המדע הוא יותר מזה , הוא מערכת חברתית של ערכים ומוסדות שתפקידם להעמיד את הידע המדעי לרשות הכל, ובין השאר לבחון אותו.
אם המתמטיקה היא מדע זו שאלה של השקפה, אם הישויות שהי א חוקרת הן חלק מהעולם הממשי או רק מבנים מחשבתיים.
בכל מקרה, המתמטיקה שותפה למערכת החברתית של המדע.
הטכנולוגיה היא מה שעושים כדי לעשות דברים בעולם הממשי.
הטכנולוגיה כיום מבוססת ברובה על ידע שנרכש כמדע, ומשתמשת לפיתוח טכנו לוגי בשיטות מחקר לקוחות מהמדע,
וזה יוצר חוסר הבחנה מספקת בין השניים,
מ ה גם שהמחקר המדעי משתמש בטכנולוגיה שמדענים פיתחו לצורך עבודתם ובמסגרת עבודתם המד עית.
כל זה פשטני מאד, כמובן, אבל מספיק, אני מקווה, להבחנה העקרונית בין מדע לבין טכנולוגיה.
דוגמה פשוטה:
מכניקה קלסית, ענף של הפיזיקה, מ שתמשת הרבה במתמטיקה, בין השאר, נאמר, בתורת המשוואות הדיפרנציאליות.
הנדסה מכ נית, חלק מהטכנולוגיה, משתמש במכניקה הקלסית, לרבות תורת המשוואות הדיפרנציאליות, ל יצירת מכונות.
הבעיה בסטטיסטיקה היא שמשתמשים באותו מונח, “סטטיסטיקה”, < BR/>גם לסטטיסטיקה המתמטית, שהיא ענף של המתמטיקה הנקרא תורת ההסתברות,
גם לתי אור ולהבנה של הסטטיסטיקה של מערכות המתנהגות באופן כזה,
וגם ככלי, הנקרא בד”כ “שיטות סטטיסטיות”, למחקר מערכות הכוללות אלמנטים דומים רבים.
לכן “הסטט יסטיקה” איננה או זה או זה אלא גם זה וגם זה.
עכשיו לפני שאענה לשאלותיך, אגיב על האשמותיך:
האשמה א: אני שקרן.
זה לא נכון.
אחד מתפקיד יו של קצין מודיעין הוא להטעות את האויב.
הוא איננו שקרן. הוא לוחם.
הוא יהיה שקרן אם ישקר לעמיתיו, לחבריו, לבני משפחתו, לרשויות.
להאשמתך שהודיתי בפ ומבי שאני שקרן אין בסיס. להפך, כתבתי שאני שותף לאובססיה המערבית לאמירת אמת.
אני כמו קצין המודיעין הזה. אני מוסר מידע מטעה רק בסקרים שמטרתם מסחרית או פוליטי ת.
אז אולי הארגונים עבורם נעשים הסקרים בעלי המטרה המסחרית או פוליטית אינם ממש אויב, אבל בוודאי הם יריב.
האשמה ב: אמרתי שהסקרים גורמים למניפולציה של הציבור.
זה עיוות של דברי.
כתבתי כי סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור.
לא הסקר גורם למניפולציה.
הסקר הוא כלי, ז”א טכניקה, שפותח לצורך מחקר מדעי, ומבוסס על המדע והמתמטיקה של הסטטיסטיקה.
כאן משתמשים בו לראות מה הציבור, או חלק מוגדר ממנו, חושב ומרגיש על דברים הקשורים במוצר, או איך הוא מגיב על פרסומת.
מי שמעוניין לעשות את המניפולציה – חברות שיווק מזון, לדוגמה – משתמשות בתוצאות הסקרים כדי לתכנן את הפרסומת שלהם,
כדי לעשות אותה יותר מניפולטיבית ויותר אפקטיבית.
והפרסומת, לפחות זו של הארגונים הגדולים, היא אמנם לרוב מניפולטיבית. כתבו על זה כל כך הרבה שאין סיבה להוסיף.
רוב הציבור אפילו איננו מבין איך “עובדים” עליו (ומחקרים מראים שגם אם הוא מבין, זה לא עוזר הרבה).
אני חושש שזה נכון במידה רבה גם בפוליטיקה, אמנם שם קוראים לזה “יחסי ציבור”.
האשמה ג: כאשר אני מוסר מידע בלתי נכון בסקר, אני דומה לעובד תחנת דלק המחבל במכוניות הלקוחות.
זו דמגוגיה.
נחשוב על חבלה אחרת:
חזרתי הביתה, והנה כנופיית גנבים חמושים מעמיסים את רהיטי על מכונית גנובה.
אינני יכול להתמודד אתם פנים אל פנים, אז בסתר אני שופך חול למיכל הדלק של מכוניתם.
המכונית תתקע במרחק מה מהבית, והגנבים יאלצו לנטוש אותה ואת רהיטי.
ואם רבים מהנגנבים יצליחו לנהוג כמוני, הגנבים יפסיקו לגנוב בשיטה זו.
האם גם החבלה הזאת בלתי מוסרית?
זו דוגמה מתאימה יותר למסירת מידע בלתי נכון בסקר מסחרי או פוליטי.
אני חושב שבזה כבר עניתי למרבית שאלותיך. נשארה רק אחת – מדוע לא להסתפק בסירוב לענות.
ובכן למעשה, גם לזה כבר עניתי:
לענות אמת, זה כמו לעזור לגנבים לשאת את רהיטי אל מכוניתם;
להמנע מלענות, זה כמו לעמוד מהצד ולהסתכל;
רק מסירת מידע מטעה דומה להפרעה לגנבים!
אני חוזר וקורא לכל הציבור – הצטרפו אלי! מסרו מידע מטעה בכל סקר מסחרי או פוליטי!
ואם לשפוט לפי מה שהתפרסם על סקרי בחירות פוליטיים, רבים כבר עושים את זה.

ירח  בתאריך 10/25/2008 8:31:46 PM

הבהרה קטנה נוספת

הבעיה שאני מעלה שונה מזו שמעלה פרופ’ תמר הרמן,שסקרים מוטים מדאיגים אותה.
לטעמי הבעיה היא דווקא הסקרים שנעשים היטב, ונותנים תמונה נכונה של המציאות שהם רוצים לבדוק, אבל משתמשים בתוצאותיהם למטרות פסולות.

קורא  בתאריך 10/26/2008 12:33:06 AM

הבעיה היא לא ששיקרו לסוקרים

הבעיה היא שכשיש 500 איש שעונים על סקר והם אומרים שהם יצביעו לציפי לבני, היא מקבלת 100% הצבעה על פי הסקר. אבל מתוך המאה האלה, רק עשרים הולכים להצביע. לעומת זאת, מצביעי מופז הם נאמנים יותר והולכים כולם להצביע, אבל הם ממוקמים נגיד בישוב אחד, נתיבות, שאליו הסוקרים לא הגיעו ולא סקרו.
זו סתם דוגמה, אבל זה המצב האמיתי. סקרים פוליטיים הולכים ומאבדים את יכולת הניבוי שלהם יותר ויותר בדיוק בגלל דברים כאלה. ואין דרך לפתור את זה.

אלעד-וו  בתאריך 10/26/2008 3:19:01 AM

flame wars

יוסי, אתה יוצא מגדרך כדי להראות שמי שלא מסכים איתך הוא מטומטם. אתה מוציא את דבריהם מההקשר, ואז מותח עליהם ביקורת בוטה ו מזלזלת שמגובה בקריאה לא נכונה של טענותיהם. אני מבין שאתה מרגיש שפרופ’ הרמן התקיפ ה את המדע, אבל אני לא מבין למה אתה מתקיף דווקא את המגיבים, ולא מוכן אפילו לנסות להבין את טענותיהם. הנה כמה התייחסויות מזלזלות מהפוסט שלך (עם זאת, הרוב הוא בנימה שבה דבריך נכתבו):
“התיאוריה, אילן, היא מתמטית”
“דרומי נותן טיעון מתוחכם”
“הדוגמא שדרומי נתן מראה פשוט חוסר התמצאות בחומר”
“דרומי, אתה כנראה לא מבדיל בין איכות לבין אתיקה.”
“ובכן ירח,זה אמיץ מאוד להודות בפומבי שאתה שקרן, כל הכבוד. ”
“זה מה שאדם תרבותי היה עונה”
“ועוד שאלה לי אליך, ירח: איך בדיוק סקרים גורמים למניפולציה של הציבור? תסביר לי, שאבין.”
אני אתייחס באופן פרטני לטענות של כמה מהמגיבים המקוריים ולהתיחסויותיך אליהם, כדי להבהיר:
1. דרומי כתב “האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?” ואתה בתגובה שמת אותו ללעג. באותה מידה דרומי היה יכול להגיד “האם הסטטיסטיקה יכולה להוכיח שראשו של מלך ספרד אינו קירח”, ואתה בתגובה היית משיב שדרומי לא מתמצא בחומר, כי לספרד אין מלך. מה שדרומי התכוון לומר הוא בדיוק שמתימטיקה וסטטיסטיקה עובדות עם טקסיומות, הגדרות ומשפטים, ולכן אין להן ביסוס אמפירי.
2. דרומי דיבר על זה שהמחקר של קמיל פוקס לא מקצועי, אפילו שהוא עומד בראש ועדות אתיקה. אתה כתבת שדרומי לא מבדיל בין איכות לבין אתיקה. מה שדרומי רמז הוא שקמיל פוקס מכריז על תוצאות סקרים באופן מסויים כשאין מובהקות סטטיסטית _מתוך מניעים מוסטים, ובידיעה מלאה_, וזה לא אתי (אני לא אומר שזה נכון, או שזה מה שדרומי טען; זו הקריאה שלי את דבריו). אתה רידדת את טענותיו, ואז הגחכת אותן.
3. ירח כתב שסקרים הם אמצעי בעייתי כי אנשים משקרים. אתה בתגובה הגחכת את טענותיו, והטפת שאסור לשקר. איך זה בדיוק מתייחס לנקודה, שהיא שסקרים הם בעייתיים כי אנשים משקרים?
4. ירח אמר שסקרים גורמים למניפולציה של הציבור. ידוע למשל שאנשים לא אוהבים להצביע למועמד חלש (במקרים כמו בחירות לכנסת, יש לזה סיבה טובה, כשמדובר במפלגות שלא ברור אם יעברו את אחוז החסימה). לכן, תוצאות סקר, במיוחד סקר מוטה, יכולות להטות את התנהגות הבוחרים (כפי שנטען שקרה בבחירות 96). להבנתי, לזה בין השאר התכוון ירח כשהשתמש במילה “מניפולציה”.

יוסי לוי  [אתר]  בתאריך 10/26/2008 8:24:18 AM

אלעד (וכולם)

אלעד, תודה על תגובתך.
לא הייתה לי כוונה לזלזל ו/או לפגוע בקוראים, ואם כך התפרשו דברי, אני מתנצל בפני כל מי שנפגע.

אלעד-וו  בתאריך 10/26/2008 12:58:05 PM

תודה על התודה

ואני מתנצל אם הייתי בוטה מדי בתגובתי אליך. (אפקט “אני לא יכול ללכת לישון, מישהו טועה באינטרנט” 🙂 ).

דני  [אתר]  בתאריך 10/29/2008 3:58:41 PM

עוד על סקרי בחירות

אני לא רוצה לשפוך עוד שמן למדורה, אבל נראה לי שתהנו מקריאת הפוסט הבא:
http://iowahawk.typepad.com/io….wk/2008/10/balls-and-urns.html

יוסי לוי  [אתר]  בתאריך 10/29/2008 8:11:26 PM

תודה, דני

לנץ מאיובה יש שאלות טובות, אבל יש גם תשובות טובות לשאלות שלו

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

תגובה