דווקא בכנס שעסק בנושא “מדע ומדע לכאורה” בחרה הפרופסור לסוציולוגיה תמר הרמן לדון בנושא הסקרים בפרט ובסטטיסטיקה בכלל. הפרופסורית הנכבדה קבעה נחרצות: “סקרים פוליטיים ומסחריים אינם בגדר מדע”. עוד אמרה: “סוקרים פוליטיים ומסחריים אינם עומדים בקריטריונים מדעיים”, אך לא ממש פירטה. לפרופסורית הנכבדה היה גם פתרון פלא. היא מציעה “שכל העוסקים בתחום יאמצו קוד אתי בדומה לעמיתיהם בארה”ב”. בהמשך תוקפת פרופ’ הרמן (כמו כולם) את התקשורת: “המדיה אינה מוכנה לקבל את כל ההסתייגויות שכל סוקר מקצועי רוצה להוסיף לסקר. הם לא יתנו לקמיל פוקס או למינה צמח להתחיל לפרט בעת מתן התוצאות שרמת הביטחון של הסקר היא כזו או כזו, וטעות הדגימה הוא 4.5% ושבנסיבות אלה סקר הוא לא הדרך הכי טובה לנבא מה קורה. כלי התקשורת רוצים משהו אינסטנט, חד ממדי, חד וחלק בלי שום הסתייגויות מתודולוגיות וגם מהר מאוד ואז זה מה שקורה. כי אחרת אפשר לעשות סקר, וסקר חוזר וליישם טכניקות אחרות כדי לאמת את התוצאות. הבעיה היא לא עם הטכניקה אלא עם היישום האינסטנטי שלה לצרכים של התקשורת הרעבה. התקשורת ממלא תפקיד מאוד בעייתי. היא גורמת להזנייה של מקצוע”.
האמת, כשקראתי את אוסף הקשקושים האלה התעצבנתי. הבטחתי לכם, הקוראים, תגובה לדברים בפוסט נפרד, אבל האמת היא למעשה, שאין מה לומר. פרופ’ הרמן אומרת שסוקרים פוליטיים ומסחריים אינם עומדים בקריטריונים מדעיים? נו, אז היא אמרה.
הכשל של פרופ’ הרמן הוא כל כך בסיסי עד שקשה להבין אותו בקריאה ראשונה. היא לא מבדילה בין מדע ליישום של מדע (אולי בגלל שהדיסציפלינה שלה היא לא ממש יישומית). סקרים הם יישום של מדע שנקרא סטטיסטיקה, כמו שמכונית היא יישום של מדע הפיזיקה. כאשר נעשה שימוש לא נכון במכונית, קורים דברים לא נעימים, אפילו מקרי מוות. האם המכוניות אינן עומדות בקריטריונים מדעיים? באיזה קריטריונים מדעיים המכונית צריכה לעמוד, אם בכלל? האם צריך לאסור את השימוש במכוניות?
רגע, תגידו. כדי לנהוג במכונית צריך רשיון נהיגה, וכדי להשיגו צריך לעמוד בבחינות תיאורטיות ומעשיות. ויש גם קוד אתי לנוהגים במכוניות – אלה הם חוקי התנועה הידועים.
אני מסכים. אני חושב בהחלט שכדי לעסוק ביישום של סטטיסטיקה יש להוכיח את הידע המתאים: לימודים, תעודות, אולי גם תקופת התמחות. יש עוד מקצועות שכדאי ליישם בהם את הפרקטיקה הזו: אינסטלטורים למשל, או פרופסורים לסוציולוגיה. אבל זה לא המצב במדינה שלנו, בה תקף חוק יסוד חופש העיסוק. יש מקצועות בודדים שבהם יש לעמוד בכל הדרישות האלה: רפואה, עריכת דין, ראיית חשבון, אבל גם כל הדרישות האלה לא מצילות אותנו מטעויות של רופאים ועורכי דין, ואף לא מרופאים ועורכי דין גרועים, כך שאני בספק אם קוד אתי לאינסטלטורים שכל השרברבים יחויבו לנהוג לפיו יהיה מעשי או יעיל.
מה כן אפשר לעשות?
כללי אתיקה מקצועית לעוסקים בסטטיסטיקה קיימים. חברי האיגוד הישראלי לסטטיסטיקה מחויבים לו. פרופ’ הרמן מציעה את מה שכבר קיים. פרופ’ קמיל פוקס הוא חבר מכובד באיגוד ואף שימש כנשיאו. האם פרופ’ הרמן טוענת כי פרופ’ פוקס לא פועל באופן אתי כסוקר?
מה עושים עם סוקרים לא מקצועיים? כבר התייחסתי לכך בעבר ברשימה “מי צריך לתבוע את הסוקרים?“. כמו שמי שמזמין אליו אינסטלטור הביתה כדי לבצע תיקון צריך לוודא את רמתו המקצועית ואת יכולתו לבצע את התיקון, כך גם מי שמזמין סקר, ראוי כי יבדוק האם הסוקר הוא בעל הכשרה מקצועית מתאימה והאם הוא מחויב לכללי האתיקה המקצועית.
ולבסוף – אין תחליף לחינוך, שיאפשר לציבור הרחב לשפוט בביקורתיות את התוצאות של הסקרים. הסופר הנודע ה.ג. וולס טען כי בחברה המודרנית יכולת חשיבה סטטיסטית תהיה חיונית באותה מידה כמו יכולות הקריאה והכתיבה. העתיד של וולס הוא ההווה שלנו.
פורסם לראשונה באתר “רשימות” בתאריך 20 באוקטובר 2008 שם התקבלו 14 תגובות
אילן בתאריך 10/20/2008 11:51:58 AM
מעניין
הרשה לי לא להסכים איתך.
אם נשתמש במשל המכונית שלך, הבעיה איננה שימוש לא נכון במכונית, אלא מכונית שלא נוסעת בגלל פגם טכני.
למשל: בכל הסקרים (הזכורים לי) במאבק בין אובאמה לקלינטון,
הסוקרים טעו לטובת אובאמה.
ההסבר לטעות די ברור, וגם הסוקרים היו ערים לכך, ובכל זאת מדינה אחרי מדינה הם המשיכו לספק תוצאות שגויות.
אני מניח שמדובר בטובי הסוקרים, המשתמשים במיטב הכלים המדעיים, ולפיכך אין לי אלא להסיק שמשהו דפוק בתיאוריה, ולא רק ביישומה.
ערן בתאריך 10/20/2008 11:56:45 AM
ללא נושא
אני לא בטוח שתמר הרמן היא סוציולוגית. עד כמה שאני יודע היא עוסקת יותר בתחומי מדע המדינה.
דרומי [אתר] בתאריך 10/20/2008 12:45:55 PM
ללא נושא
ראשית להערה הקטנונית: סטטיסטיקה, כמו כל ענפי המתמטיקה, אינה מדע, ולו בגלל שאין בה שביב של אמפיריות. האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?
סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה.
ולעניין: כשמתקשר אלי סוקר לסקר מסחרי, ושואל אותי סדרה של שאלות באורך הגלות, כשברור ש90% מהנסקרים לא מגיעים לשאלה האחרונה – זה סקר לא מקצועי, ואת זה אני יכול להגיד לך כמי שלקח רק קורסי בסיס בתחום. את השיעור על סקרים טלפוניים פתחו באמירה ש’סקר טלפוני חייב להיות קצר’.
כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד.
הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות. זה לגיטימי מצדם – אם הם לא יעשו את זה, יבוא סוקר אחר שיסכים – אבל זה דורש מאיתנו לקחת את התוצאות שלהם בערבון מוגבל.
(וזה עוד לפני שאמרנו מילה על היעילות של סקרים לביצוע מחקרים במדעי החברה, אבל זה נושא אחר לגמרי)
ירח בתאריך 10/20/2008 2:43:09 PM
נגד הסקרים
ההבחנה בין מדע לטכנולוגיה חשובה מאד, ולרבים איננה כל כך ברורה.
אבל ישנה גם הבחנה נוספת, לפי מטרת הסקר, בין סקר שמטרתו מחקר מדעי (נאמר סוציולוגי), לבין סקר שמטרתו מסחרית או פוליטית. רוב הסקרים הנעשים כיום, לפחות כל הסקרים הטלפוניים שבהם הגיעו אלי, היו מסחריים או פוליטיים.
סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור, בדרך כלל כצרכנים (ואני כולל בזה צרכנות פוליטית), זאת אומרת למניפולציה שלי. אין לי שום סיבה לשתף פעולה עם סקר כזה.
לכן, ככלל, אני תמיד מוסר מידע בלתי נכון.
ישנן לי שתי מטרות. האחת, אם אני חושב שעמדתי על מטרת הסקר – לעשות מניפולציה נגדית ולתת את התשובות הנוחות לי (מתוך ההבנה של חלקי הצנוע ביותר בתוצאות הסקר). שנית, כדי לערער את התקפות של הסקרים האלה באופן עקרוני וכללי.
נכון שהאובססיה המערבית לאמירת אמת גורמת לי אי נוחות, כשאני מוסר את המידע השקרי, אבל אני מתגבר ועושה זאת.
עמית [אתר] בתאריך 10/20/2008 6:47:15 PM
אני מניח שאם תמר הרמן
היתה מתנסחת בזהירות וביתר דיוק לא היתה לך שום בעיה עם מה שהיא אמרה. למשל:
השימוש בסקרים כפי שנעשה על ידי התקשורת במערכות בחירות אינו עומד בסטנדרטים מדעיים בסיסיים, ולכן הסקת מסקנות מסקרים אלה אינה ראויה.
זה בעצם כל מה שאמרה הפרופסורית הנכבדה – ואני מאד אופתע אם תחלוק על האמיקה הזו.
הרי בסופו של דבר אני מסכים איתך – סקר הוא כלי. כוחו של הכלי הזה מעוגן במחקר מדעי די רציני, וכך גם מגבלותיו. על מנת להשתמש בו נכון, צריך לעמוד בכמה וכמה כללים של תכנון וביצוע סקרים, ולנקוט בזהירות בהדקת המסקנות מתוצאותיהם.
בד”כ מחקר בסוציולוגיה נוקט בכל אמצעי הזהירות האלה – ואז בעגת העם (או זו של תמר הרמן) הסקר הוא מדעי. ולפעמים לא ננקטות אותן פעולות, ואז הסקר הוא לא יותר מאשר מציצנות שמתאימה מאד לעיתונות הצהובה בארץ.
לי אישית יש גם הזגות על שימוש בסקרים בהקשרים מדעיים… אבל זה סיפור אחר לגמרי שאולי אכתוב עליו יום אחד (אני כרגע מבצע מחקר שמתבסס על סקר… אכתוב על כך כשאסיים את ניתוח התוצאות)
רון בתאריך 10/20/2008 6:50:06 PM
“מדד השלום”
כדאי לציין שפרופ’ הרמן היא לא סתם “פרופ’ לסוציולוגיה”, היא עומדת בראש פרויקט ‘מדד השלום’ באוניברסיטת תל-אביב, שמבצע סקרים בנושאים מדיניים ופוליטיים מדי חודש מאז שנת 1993,
כך שהנגיעה שלה לסטטיסטיקה ולסקרים היא מעבר ל”פרופ’ לסוציולוגיה”.
אדם בתאריך 10/20/2008 7:31:07 PM
לדרומי –
סקרים שלא הושלמו לא נספרים ע”י הסוקרים. ואתה תתפלא לשמוע שאחוז נכבד מתוך האנשים שהתחילו את הסקר מסיימים אותו.
חברות הסקרים, למיטב ידיעתי, מבינות את ההשלכות של אי-מקצועיות ומשתדלות לעמוד בסטנדרט כלשהו, נמוך ככל שיהיה.
גיל [אתר] בתאריך 10/20/2008 9:50:11 PM
מעניין מה היא חושבת על הסקרים שלה
אני בטוח שהיא לא מעריכה בצורה דומה את הסקרים שהיא עושה. בכל מקרה, יש להבדיל בין המדעיות של עריכת סקרים באופן כללי, ובין הצורה שהם מוצגים לציבור. לעורכי המחקר יש חלק מסוים בצורה שבה מוצגים סקרים אבל אין להם שום שליטה על אמצעי התקשורת אם הם מציגים דברים בצורה מעוותת. האתיקה אם כבר, צריכה לחול על אמצעי התקשורת ולא על עורכי הסקרים לבד. זה בסך הכל מצטרף לאינספור הצגות מעוותות של אירועים בחדשות ועל זה צריך לבקר אותם.
שוקי [אתר] בתאריך 10/21/2008 3:24:24 AM
יוסי
אני חושב שהבעיה היא לא בתוכן הדברים שפרופ’ הרמן אמרה אלא באופן בו ניסחה אותם. הלא גם אתה בעצם אומר שסקרים הם פרקטיקה שמיישמת ידע ממדע הסטטיסטיקה, בדומה למכונית שמיוצרת על בסיס ידע ממדעי הפיזיקה והכימיה.
אישית, אני חושב שאכן ישנה בעיה אתית בכך שמכוני סקרים רציניים ומקצועיים ממשיכים לעבוד עם עיתונים שעושים שימוש ציני בשמם ובמידע שהם מעבירים ועורכים ומציגים אותו באופן מגמתי. מצד שני, אני לא יכול לדמיין מציאות בה זה לא יהיה כך, כאשר ברור שפרנסתם של מכוני הסקרים תלויה בלקוחות בעלי עניין.
אני חושב שאולי נדרש תיקון לחוק הבחירות, שיש בו כבר התייחסות לסקרים. אני חושב שעל המחוקק לקבוע סייגים מקצועיים שחייבים להיות חלק מכל פרסום שנוגע לסקר. אני לא חושב שישנם חוקים כאלה במדינות אחרות, אבל מכיוון שאני מכיר את התקשורת הישראלית מבפנים אני חושב ששום דבר אחר לא יעזור.
אבים [אתר] בתאריך 10/21/2008 11:20:08 PM
סקרים רבותי סקרים
הבעיה היחידה היא שכולם שוכחים (דוקא מפרופ’ לסוציולוגיה הייתי מצפה לזכור) שלאנשים יש נטייה לא לומר את האמת ובמיוחד בסקרים פוליטיים. הבעיה היא שאף אחד לא יודע למדוד את השקר ואף אחד לא יודע כמה, מתי ואיך זה משפיע לע הסקר.
ובנוסף, אף אחד לא אמר שהתואר פרופ’ הוא תמיד ערובה לשכל ישר או ליכולת להשתמש בו…
גיל [אתר] בתאריך 10/21/2008 11:25:32 PM
שוקי ואחרים
בהחלט יש חשיבות לאיך אומרים את הדברים. על פי אותו הגיון אפשר לומר שאין שום בעייה בפרסום סקרים באמצעי התקשורת כי הבעייה לא בסקרים אלא איך שמציגים אותם. כמו שנאמר, אלוהים נמצא בפרטים הקטנים.
י. בתאריך 10/22/2008 2:24:04 AM
באופן חד משמעי
מר לוי היקר, עם כל הכבוד לנושא הכתבה ולטענות, הרשה לי להתקומם ולומר, ובאופן נחרץ, שהגעתי לבלוגך זו הפעם הראשונה ואני ממש מחבב את הכתיבה והחשיבה שמצאתי כאן. אחזור לבקר,
שלך לכמה רגעים בעבר הקרוב ובעתיד כך נראה
י.
יוסי לוי [אתר] בתאריך 10/25/2008 10:38:12 AM
תודה לכל המגיבים עד כה
הנכם מוזמנים לקרוא את תשובותי ברשימה “דברי תמר הרמן על הסקרים – המשך הדיון”
דרומי [אתר] בתאריך 11/8/2008 10:20:28 AM
הטרקבק לא עובד
אז הנה תגובתי
http://nadav.blogdebate.org/archives/סקרים-מדעי-החברה-סטטיסטיקה