חיפוש באתר

קישורים

עמודים

קטגוריות

ארכיב עבור 'סקרים'

סיכום הדיון בנושא הסקרים

רשימה זו מכילה מספר תשובות שנשארתי חייב למגיבים לרשימות הקודמות בנושא, וכמה מילות סיכום משלי.

דרומי כתב כי “סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה”, והוסיף וכתב: “כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד. הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות”. דרומי הוסיף וכתב בבלוג שלו הסבר נרחב לדבריו, ואתם מוזמנים לקרוא אותם.

בתגובה לדבריו שם הריני להבהיר כי לא יצאתי להגנת סקרי הפריימריז של קדימה, להיפך, הייתי בין הראשונים לטעון כי היה כאן כשלון מקצועי של שלושת הסוקרים. אין גם מחלוקת על כך שדרוש שיתוף פעולה הדוק יותר בין אנשי הסטטיסטיקה ואנשי מדעי החברה, וששיתוף פעולה כזה יכול להביא לפיתוח שיטות מחקר שיביאו תוצאות טובות יותר ואמינות יותר. אני חולק עדיין על דעתו של דרומי לגבי אופן שיתוף הפעולה שהוא מציע בין הסטטיסטיקה למדעי החברה, אבל זהו נושא לדיון אחר, ומאחר ואיני מתמחה בנושאים אלה לא אכנס אליו.

ובכלל מסתבר כי ההסכמה ביני ובין דרומי הרבה יותר רחבה מחילוקי הדעות ביננו. את המשפט הראשון שלו הייתי מנסח באופן הבא: “מדעי החברה משתמשים, בין היתר, במתודה המתמטית/סטטיסטית של הסקרים לצרכיהם”, כי הסקרים נמצאים לא רק בשימוש מדעני החברה (ראו את מאמרו של פרופ’ רון קנת, למשל). אני מסכים שאם סוקר כלשהו מפרסם תוצאות לא מובהקות ולא מציין זאת, הוא עובר עבירה אתית חמורה, וזה נכון, דרך אגב, לא רק לסוקרים אלא לכולם. האם זה היה המקרה בסקרי הפריימריז של קדימה? אני לא בטוח. גם ההכללה כי “הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות” מוגזמת לדעתי. יש סוקרים שמקריבים את המקצועיות שלהם על מזבח המקצועיות, כמו שיש אנשים כאלה בכל מקצוע אחר. אז מה? זו לא סיבה לפסול את כולם.

חילוקי הדעות שיש לי עם ירח הם מהותיים הרבה יותר. הטיעון של ירח בנוי כך: הסקרים אמינים ומשמשים כלי למניפולציה. לכן, יש לשקר לסוקרים באופן שיטתי כדי לקעקע את אמינותם. ירח עוטף את דבריו בהילה רומנטית: בעיני עצמו הוא קצין המודיעין, הלוחם, המטעה את האויב, או האזרח שומר החוק, מעין שי דרומי בזעיר אנפין, המונע מהפושעים לבצע את זממם. בעיניו, שקר הוא לגיטימי, אם זה משרת את המטרות הנעלות שלו.

אני לא חוזר בי מדברי על ירח: הוא שקרן, שהודה בכך, פעמיים. המניעים שלו אולי ראויים בעיניו, אך לא בעיני. הוא מוצא לנכון לכופף את כללי ההתנהגות המקובלים בחברה כי זה נוח לו, ובכך הוא לא שונה בעיני ממי שמרשה לעצמו להכנס לצומת אם עברה רק שניה מאז שהאור התחלף לאדום.

ולאחר כל הדברים האלה, ירח עדיין לא הסביר כיצד משמשים הסקרים כלי למניפולציה. אם הם אמינים, והמידע המפורסם הוא נכון, אז ירח אומר בעצם שמידע הוא כלי למניפולציה. בואו ניקח את הלאה: ידיעה עיתונאית יכולה לשמש ככלי למניפולציה. בואו נסגור את כל העיתונים.

אלעד-וו יצא להגנתו של ירח מכיוון אחר: תוצאות של סקר בחירות, למשל, טוען אלעד-וו, עלולים להשפיע על הבוחרים לשנות את הצבעתם. להבנתו, לזה בין השאר התכוון ירח כשהשתמש במילה “מניפולציה”.

הטיעון הזה נשמע רבות, הזכירה אותו גם תמר הרמן, וזה היה גם הבסיס להצעת החוק האומללה של ח”כ בן-ששון. האמת היא שכל דבר משפיע על המציאות, וכן, גם תוצאות של סקרים. השאלה שיש לשאול היא מה מידת השפעתם של תוצאות הסקרים על המציאות, ובעיקר מה מידת ההשפעה שלהם ביחס לדברים אחרים שיכולים להשפיע, כמו, נניח, פליטת פה של בדרן או פיגוע שמתרחש יומיים לפני הבחירות. כשתהיה תשובה אמינה לשאלה הזו, יהיה ראוי לדון בנושא הזה ברצינות.

פרשנות נוספת שנתן אלעד-וו לדבריו של ירח היא שירח טען כי סקרים הם אמצעי בעייתי כי אנשים משקרים. לא הבנתי זאת מדבריו של ירח (להיפך, בתגובה נוספת הוא כתב בפירוש כי הבעיה העיקרית שלו היא הסקרים שנעשים היטב, ונותנים תמונה נכונה של המציאות שהם רוצים לבדוק, אבל משתמשים בתוצאותיהם למטרות פסולות). אם הסקרים אכן לא אמינים, אז הטיעון של ירח הופך למעגלי (אני משאיר את זה כתרגיל לקוראים). בכל מקרה, אם הפרשנות של אלעד נכונה, הרי שכאן הוא מתפרץ לדלת פתוחה. תופעת הנסקרים המשקרים ידועה שנים רבות, וגם לדעתי חלק מהסוקרים נכשלים בהתמודדות איתה (כמו שקרה בפריימריז של קדימה, ככל הנראה).

אני מקווה שבכך עניתי על כל השאלות (פרט לשאלה של נדב על הממוצע, שלא עוסקת בסקרים עצמם אלא בהגדרה של הסטטיסטיקה כמדע, וזה נושא לרשימה אחרת אי שם בעתיד). אני לא משלה את עצמי שכולם השתכנעו, בודאי לא אנשים מסוגו של ירח. מבחינתי הדיון הסתיים, אלא אם מישהו יעלה שאלה מהותית חדשה שלא נדונה עד כה.

פורסם לראשונה באתר “רשימות” בתאריך 16 בנובמבר 2008  שם התקבלו 4 תגובות

אייל בן דוד  בתאריך 11/16/2008 11:38:08 PM

גודל הדגימה וכמות הסקרים

אני לא ראיתי שהתייחסו לזה בדיון, אבל לפני פחות משבועיים היה אחד הימים הגדולים של הסוקרים, הבחירות בארה”ב, שהסקרים ניבאו בהם בצורה מאד יעילה את התוצאות.
לדעתי, הסיבה להצלחת סקרים מסוימים וכישלון אחרים קשור יותר בגודל הדגימה וכמות הסקרים (שזה כמובן הולך ביחד).
בבחירות בארה”ב נעשו מאות סקרים, ואתרי האינטרנט שביצעו מטא-אנליזה לסקרים השונים באמצעות מודלים הגיוניים יותר או פחות, העלו בכל מקרה את רמת הדיוק שלהם מאוד.
כאן אנחנו מדברים על מליוני נסקרים (לאורך כל תקופת הבחירות), בשונה כמובן מהסקרים בפריימריז השונים.
אני חושב שהסיבה שהפריימריז בקדימה נהפכו ל”יום כיפור” של הסוקרים, לא קשורה בסטטיסטיקה בכלל.
התחושה היתה שמדובר פה בבחירות לראשות הממשלה, וכשכמה אלפי עסקנים בוחרים ראש ממשלה, בבחירות שתלויות יותר בעסקן של איגוד עובדים זה או אחר מאשר בכל דבר אחר, לא צריך להתפלא שהסקרים מפשלים.

יוסי לוי  [אתר]  בתאריך 11/17/2008 8:30:00 AM

בעניין גודל המדגם

הגודל קובע – אבל רק עד גבול מסויים.
אם יש הטיה אינהרנטית, כגון נסקרים שמשקרים, או העדפה שיטתית של תת-אוכלוסיה מסויימת (ראה למשל רשימתי “בחירות 1936 – המנצח שלא היה” )
אז מדגם גדול יותר לא יבטל את ההטיה, הוא רק יעצים אותה. אני מניח שדי ברור לך מה הייתה התוצאה של מטה-אנליזה של סקרי הפריימריז של קדימה.

עמית  [אתר]  בתאריך 11/17/2008 10:19:12 AM

אני עדייו לא הבנתי

מה לא היה בסדר בסקרים של קדימה…
מה זה שהם לא ניבאו את המציאות?
הרי אפילו אם היו עושים את הכל באופן מושלם, ישנה תמיד הסתברות שהמדגם לא יחזה במדוייק את התוצאות על כלל האוכלוסיה.
אם אני לא טועה, אפילו כשאומרים ש”טעות הדגימה היא 3%” לא מתכוונים לומר שבבטחון מלא תוצאות האמת יהיו בטווח של 3% מתוצאות המדגם.
למיטב זכרוני, ואם אני לא מתבלבל, מדובר ברווחי סמך של 95% או משהו כזה.
מה שאומר, שזה לא צריך להפתיע אף אחד אם 1 מתוך 20 סקרים מושלמים יהיה רחוק מאד מהמציאות.
לא כל שכן סקרים לא מושלמים.
וגם אסור לשכוח – שאותם סקרים ניבאו ללבני נצחון, ושהיא אכן ניצחה.

סקר לבן  בתאריך 11/17/2008 11:44:36 AM

הטעיית סוקרים

צריך לזכור דבר חשוב: לא כל הסקרים נועדו לפרסום, וגם באלה שכן – לא כל הנתונים מתפרסמים.
בסופו של דבר, סקרים נועדו לאיסוף מידע – מידע שחלקו, לפחות, נשאר נחלתו הבלעדית של מי שמזמין את הסקר. ומידע כזה – אם הוא אמין – הוא כוח.
לכן, כל מי שאינו מעוניין להעניק כוח לגורם שהזמין את הסקר, יעשה כמיטב יכולתו כדי שהמידע שניתן להפיק מתוך הסקר יהיה מועט ובלתי אמין.
לדוגמה: תומכי מופז בפריימריז בקדימה יכולים לשקר בסקרים ולומר שהם תומכים בלבני, וכך אנשי לבני – שיראו שהיתרון שלהם בסקרים גדול מאוד – ייכנסו לשאננות. זה טוב למופז. אני לא יודע אם כך קרה, אבל זה צעד סביר והגיוני. למה להעניק מידע שיכול לשמש את היריב לתועלתו? אם כבר, עדיף למסור מידע מטעה ומבלבל.
כאשר סוקר שואל אותי למי אצביע בבחירות, אני שואל את עצמי איזו תוצאה הייתי רוצה שהסקרים יראו, ועונה בהתאם. אין לי שום סיבה לשרת את האינטרס של מזמין הסקר (לקבל מידע אמין), ואני מעדיף לשרת את האינטרסים שלי.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

סקרים: הזדמנויות ואתגרים – מאמר אורח מאת פרופ’ רון קנת

הקדמה

בקישורים ברשימה ההערות בעקבות כשלון הסקרים בפריימריס של קדימה, כללתי גם את הרשימה על דבריו פרופ’ ישראל אומן בנושא הסקרים. הדברים הנ"ל נאמרו, כזכור, בכנס האיגוד הישראלי לסטטיסטיקה שנערך במאי 2006 (סקרי דעת קהל – מי כאן הטיפש?). לאחר שדברים אלה עלו שוב לדיון, פנה אלי ידידי פרופ’ רון קנת והציע לפרסם את התגובה שכתב לדבריו של פרופ’ אומן, והופיעה בזמנה באתר הישן של האיגוד הישראלי לסטטיסטיקה. אני נענה להצעתו בשמחה. פרופ’ קנת הוא יו"ר ומנכ"ל חברת הייעוץ KPA ומרצה באוניברסיטת טורינו, איטליה ובמרכז לחקר סיכונים, אוניברסיטת ניו יורק, ארה"ב. הדברים נכתבו במקור בשפה האנגלית, ותורגמו על ידי.

סקרים: הזדמנויות ואתגרים
תגובה להרצאתו של פרופ’ ישראל אומן בכנס האיגוד הישראלי לסטטיסטיקה ב 8.05.2008
מאת פרופ’ רון קנת

חלק משמעותי מהכנסותיה של חברת KPA נובע מעריכת סקרים. פרופ’ אומן התייחס בהערותיו לסקרים באופן גורף ומכליל, אולם הסקרים שאנו עורכים עבור לקוחותינו שונים מהסקרים אליהם התייחס פרופ’ אומן. בתגובה לדבריו של פרופ’ אומן על הסקרים, מן ההכרח להגדיר היטב את המונחים בהם אנו משתמשים, ולהבדיל בין סקרי דעת קהל, סקרי יציאה מקלפי, סקרי בחירות, סקרים בהם האוכלוסיה מוגדרת ונתונה (closed list surveys), סקרי דגימה, סקרי עובדים, סקרי משקי בית, סקרים מבוססי פאנל, וכן הלאה.

ההגדרות והתכונות של כלי איסוף נתונים אלה נחקרו בהרחבה, ופורסמו בספרות המקצועית ([1]) . הסוקר מנו גבע, שהשתתף בדיון שנערך לאחר דבריו של פרופ’ אומן, הקפיד להבחין בין הסוגים השונים של הסקרים, והתייחס בדבריו רק לנושאים הקשורים בתכנון וניתוח של סקרי יציאה מקלפי (סקרים הנערכים בקרב מצביעים מייד לאחר שהצביעו הצבעת אמת, עם יציאתם מהקלפי).

ארגונים (ציבוריים ועסקיים) נעזרים בסקרים כדי לתמוך בתהליכי קבלת החלטות. חברות נעזרות בסקרים כדי להחליט איזה מוצרים לפתח, לדעת אלו שירותים זקוקים לשיפור, ללמוד מה מצפים הלקוחות מהמוצרים והשירותים המסופקים להם, להבין מה משפיע על נאמנות הלקוחות וכך להגדיל את הסיכוי לשמרם, ועוד. האמדנים המתקבלים מסקרים אלה תומכים בהחלטות עסקיות רבות, ותוקפם מתבטא, בסופו של דבר, בדו"חות הכספיים ([2], [3]).

לסקרים תפקיד חשוב גם  באסטרטגיות ניהוליות כוללות, כגון גישת ה-six-sigma. בהקשר זה נערכים ניתוחי מגמה והשפעה של מדדים כגון שביעות רצון לקוחות או מדדי שירות שונים הנאספים לאורך זמן. "מדד השלום", שפרופ’ אפי יער הציג בדיון שנערך לאחר דבריו של פרופ’ אומן,משתמש בגישות דומות. באמצעות ניתוחים כאלה ניתן לבסס ולהוכיח גורמי סיבה ותוצאה. הסקרים משקפים את ההחלטות הניהוליות, וכשבעיות מופיעות או נפתרות, נתוני הסקרים מראים זאת ([5]). טענתו של פרופ’ אומן, לפיה סקרים מספקים מידע בלתי אמין, אינה מבוססת, לפחות במקרים אלה.

הטכנולוגיה יצרה אתגרים חדשים עבור סקרי הדגימה. כיצד מנתחים סקרים שתוצאותיהם נאספות באינטרנט? או על ידי הודעות SMS? לסקרים כאלה יש מאפיינים מיוחדים, העלולים להשפיע על שיעורי השתתפות ולגרום הטיה פוטנציאלית בתוצאות. לדוגמא, הטלפונים הסלולריים הופכים בהדרגה לתחליף יחיד לטלפון הקווי. עקב כך, דגימה מקרית מספר הטלפונים הישן והטוב כבר אינה יעילה כפי שהייתה בעבר. יותר מכך: משתמשי הטלפון הסלולרי נמצאים במגוון רחב של תנאים סביבתיים, ועקב כך עלולה להיווצר הטיה בדפוסי התגובה שמימדיה עדיין אינם ידועים. פיתוח מתודולוגיות סטטיסטיות לטיפול בבעיות אלו נמצא בשלביו הראשוניים ([4]).
בתכנון שאלונים, ניתן להיעזר רבות במדעי הקוגניציה בכל הנוגע לניסוח השאלות, השמתן בקונטקסט הנכון, וקביעת טווח התשובות האפשריות ([6],[7]). לשם כך, יש צורך בשיתוף פעולה בין תחומי בו סטטיסטיקאים ואנשי המדעים הקוגניטיביים ולעודד מחקר משותף. כך יוכלו לעלות רעיונות חדשים, שיביאו ליצירת שיטות דגימה חדשות.

לסיום, גישות לא סטנדרטיות (כגון Structural Equation Models, Decision Trees, Partial Order Maps and Rasch models ) לניתוח סקרי שביעות רצון של לקוחות מיושמות כעת ויישומן מביא לגילוי תובנות חדשות ואתגרים מתודולוגיים חדשים (, [9][8]).

מטרת כל הדברים שנאמרו עד כה הייתה לאזן במידת מה את דברי הביקורת של פרופ’ אומן בנושא הסקרים. ככל הנראה הוא כיוון את דבריו לסקרי דעת הקהל, אך נוצר הרושם כאילו דבריו התייחסו לסקרים בכללותם. מתודולוגית הסקרים מתפתחת ומתאימה את עצמה להזדמנויות והאתגרים החדשים, ומספקת אותות חזקים יותר ומידע נרחב יותר למקבלי ההחלטות. לכן דבריו הגורפים של פרופ’ אומן  בגנות הסקרים אינם מסתייעים. עם זאת, עלינו להודות לפרופ’ אומן על כך שדבריו דירבנו דיון ענייני בצורך לבסס סטנדרטים מקצועיים שיהוו בסיס לעריכת כל סוג של סקר. האיגוד הישראלי לסטטיסטיקה הוא אכן מסגרת ראויה לדיון כזה,  ואני מקווה כי הדיון יניב תוצרים מועילים.

רשימת ספרות

[1] R. Kenett, "Customer Surveys: Why and How" (in Hebrew) in Surveys: Some Good, Some Less edited by S. Bar-Lev and C. Fuchs, Hakibbutz Hameuchad Publishing House Ltd. And Haifa University press, 1998.

[2] R. Kenett, "Issues in Customer Satisfaction Surveys", DEINDE 2002, Torino, Italy, February 2002.

[3] R. Kenett and R. Fainstein, "Customer Retention: The Key to Success in Unstable Economic Times" (in Hebrew) in Researchers Speak: Market Research and its application in the Israeli Market edited by O. Kaplan, Globes Business Publishing, 2003.

[4] R. Kenett, O. Kaplan and Y. Raanan, "Statistical properties of internet based market research surveys", European Network for Business and Industrial Statistics (ENBIS) Third Annual Conference on Business and Industrial Statistics, Barcelona, Spain, August 2003.

[5] R. Kenett, "The Integrated Model, Customer Satisfaction Surveys and Six Sigma", The First International Six Sigma Conference, CAMT, Wroclaw, Poland, January 2004.

[6] R. Kenett, "On the Planning and Design of Sample Surveys", European Network for Business and Industrial Statistics (ENBIS) Fourth Annual Conference on Business and Industrial Statistics, Copenhagen, Denmark, September 2004.

[7] R. Kenett, "On the Planning and Design of Sample Surveys", Journal of Applied Statistics. Vol. 33, No. 4, 405-415, May 2006.

[8] Non standard analysis of customer satisfaction surveys, University of Torino and University of Milan, Italy, www.economia.unimi.it/projects/CSProject%20 ,  to appear as a special issue in Quality Technology and Quantitative Management, 2009.

[9] R. Kenett and S. Salini, “New Frontiers in Survey Data Analysis”, Quality Progress, to appear in 2009.

פורסם לראשונה באתר "רשימות" בתאריך 7 בנובמבר 2008

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

הבהרה והתנצלות

בתגובה לרשימה הקודמת שפרסמתי אתמול, "דברי תמר הרמן על הסקרים – המשך הדיון", כתב לי אלעד-וו:
"יוסי, אתה יוצא מגדרך כדי להראות שמי שלא מסכים איתך הוא מטומטם. אתה מוציא את דבריהם מההקשר, ואז מותח עליהם ביקורת בוטה ומזלזלת שמגובה בקריאה לא נכונה של טענותיהם. אני מבין שאתה מרגיש שפרופ’ הרמן התקיפה את המדע, אבל אני לא מבין למה אתה מתקיף דווקא את המגיבים, ולא מוכן אפילו לנסות להבין את טענותיהם."
מייד כשראיתי תגובה זו, הגבתי לה במלים הבאות:
"אלעד, תודה על תגובתך.
לא הייתה לי כוונה לזלזל ו/או לפגוע בקוראים, ואם כך התפרשו דברי, אני מתנצל בפני כל מי שנפגע".
אני מוצא לנכון לחזור ולפרסם את התנצלותי ברשימה נפרדת. אני מעריך את קוראיי, ודעתם חשובה לי גם אם איני מסכים איתם.

פורסם לראשונה באתר "רשימות" בתאריך 26 באוקטובר 2008 שם התקבלו 10 תגובות

אלעד-וו  בתאריך 10/26/2008 12:59:02 PM

תודה על התודה

ואני מתנצל אם הייתי בוטה מדי בתגובתי אליך. (אפקט "אני לא יכול ללכת לישון, מישהו טועה באינטרנט" 🙂 ).

נ.א.  בתאריך 10/26/2008 4:42:09 PM

יופי יופי

הוא אוהב אותך, אתה אוהב אותו, שולם שולם לעולם.
עכשיו אפשר התייחסות עניינית לטענות שעלו? כי בינתיים אני עם ירח. כבר שנים שאני מקפיד לשקר לסוקרים, וכך גם רוב מכרי. ירח תיאר את הסיבות יפה מאוד, ואין צורך לחזור עליהן.
לאור זאת, ולאור הבעיות האחרות שהועלו, האם יש טעם בסקרים?

גיל  [אתר]  בתאריך 10/26/2008 7:21:15 PM

לדעתי בהחלט יש טעם לפגם בשקר לסוקרים

והבעייה חמורה בסקרי פריימריס אבל פחות בסקרי בחירות כלליים. יש גם אמצעים לנסות לנבא מי ישקר ולהתאים את התוצאות לפי זה. בניגוד מה שנכתב בפוסט הקודם על ידי אחד המגיבים סטטיסטיקה יש רק אחת וזו תיאוריה מתמטית מדויקת. הבעייה היא לא בתאוריה אלא ביישום שלה כי לא כל ההנחות מתקיימות ויש כל מיני פרמטרים שצריך להעריך ולקחת בחשבון.
אנשים גם מתבלבלים במה שהם חושבים זה התפקיד של סקרים. סקר לא נועד לתת תשובה מדויקת אלא להצביע בעיקר על מגמות. בסך הכל, סקרי בחירות וסקרים שנעשים בצורה קבועה עושים עבודה לא רעה בזה.

נ.א.  בתאריך 10/26/2008 7:58:52 PM

זו אקסיומה?

למה יש טעם לפגם לשקר לסוקרים? אפילו ונניח שהסוקרים הם אנשים תמימים וישרי דרך (והם לא). אם מישהו משתמש בתוצאות הסקר למניפולציה, למה יש טעם לפגם לחבל במניפולציה הזו?

גיל  [אתר]  בתאריך 10/26/2008 8:38:27 PM

בעיניי, לא מוסרי לשקר לסוקרים

לא רוצים לענות, אז לא חייבים. אני לא חושב שמישהו משתמש בסקרים למניפולציה וגם אם כן, רעה אחת לא מצדיקה רעה אחרת.

נ.א.  בתאריך 10/26/2008 10:08:00 PM

ללא נושא

מה זאת אומרת רעה אחת לא מצדיקה רעה אחרת?
לשלול את חופש התנועה מאנשים ולכלוא אותם זה דבר רע, אני לא חושב שיש ספק לגבי זה. אבל אם האנשים האלו בצעו רעה אחרת (גנבו, רימו וכו’), אז כולאים אותם. לדעתך זה לא מצדיק?
כל מערכת הצדק שלנו בנוייה על עשיית רע למי שעשה רע. הביקורת שלך היא בהחלט רדיקלית.

גיל  [אתר]  בתאריך 10/26/2008 10:51:36 PM

אין שום קשר בין מה שאמרת לנושא

ובכל מקרה, אני מעדיף לא להתדיין עם אנונימיים ברשת אז אסיים כאן.

עמית  [אתר]  בתאריך 10/27/2008 2:10:53 AM

גיל

סתם לשם הבהרה.
זה לא מוסרי לשקר לאף אחד אף פעם.
עכשיו זה נשמע אולי קצת רדיקלי, ובטח אפשר לחשוב על סיטואציות בהן סביר לשקר (ואז יקראו לזה שקר לבן, או כל שם מכובס אחר).
אם יש סיטואציות שבהן סביר לשקר, הן יחולו באופן זהה על סוקרים.
למשל, אם מישהו חושב שמותר לשקר אם אתה מרגיש מאויים – זה יחול גם לגבי סוקרים, אם הנסקר מרגיש מאויים בסיטואציה. אם מישהו חושב שזה סביר לתת תשובות חפיפיות ולא רציניות לאנשים מטרידים שהוא לא מכיר – זה יחול גם לגבי סוקרים.
בקיצור סוקר וחוקר לא מותרים משאר בני האדם. מוסרי לשקר להם בדיוק כמו שמוסרי לשקר לכל אדם אחר – איש איש על פי אמונתו.

ירח  בתאריך 10/27/2008 10:25:15 AM

הסוקרים אינם טלית שכולה תכלת

מחוייבות לאמת היא מחוייבות הדדית. אני מרגיש מחוייבות לאמת כלפי מי שישר וגלוי כלפי.
האם הסוקרים תמיד ישרים וגלויים כלפי הנסקרים?
בדרך כלל לא!
האפקטיביות של סקרים מבוססת לעתים קרובות על כך שהנסקרים אינם מבינים את המשמעות המלאה של השאלות שהם עונים להם. ואין מסבירים להם.
כאשר הסקר נעשה למטרות מחקר מדעי אמיתי, זה סביר בעיני.
כאשר הוא נעשה למטרות מסחריות-פוליטיות, כדי למצוא את הדרך האפקטיבית למניפולציה שלי – לא.
יתרה מזו – בסקרים הטלפוניים למטרות מסחריות-פוליטיות אף פעם לא גילו עבור מי הם נעשים.
כמדומני שחייבים על פי חוק, לא?
אבל אף פעם לא הסכימו לגלות. זה לא יותר טוב משקר. זה מבטל כל מחוייבות לאמת, שמבחינת הנסקר משמעותה להיות גלוי, כלפי הסוקרים.
העובדה שעמית כותב כי "זה לא מוסרי לשקר לאף אחד אף פעם" רק מדגימה את מה שקראתי האובססיה המערבית לאמירת אמת.
ומה ההבדל בין שקר לבן לאחר אני אף פעם לא הבנתי. שקר הוא שקר.
אבל עצם קיום הביטוי אומר שלפעמים, גם בתרבות המערבית, יש הצדקה לשקר.
לדעתי, בסקרים מסחריים-פוליטיים ישנה הצדקה מלאה לשקר ולהטעות ולהתאים את התשובות למה שנראה לנסקר כאינטרס האמיתי שלו.
ואם הבנתי מה שעמית כותב, הוא מסכים אתי.

עמית  [אתר]  בתאריך 10/27/2008 4:20:24 PM

אני מבקש לא לגייס את הסכמתי ללא הסכמתי..

מדבריך נראה שהבנת את מה שאני מנסה לטעון עד הרגע שבו הסקת שאני מסכים לגישה שלך.
ראשית, מדברי אפשר לשער שאני מאמין שלכל אדם יכולה להיות מערכת ערכים מוסרית שונה במעט מזו של אחרים – וזה בסדר.
אבל בדיוק בגלל זה אי אפשר להסיק מדברי שאני חושב שירח צודק. ירח – אם אתה מרגיש שסוקרים מנסים לבצע עליך מניפולציות, ואתה מרגיש שבסיטואציות כאלה אתה מתגונן על ידי זה שאתה משקר – אין לי נגדך כלום.
אבל אני אישית אינני חושב שסוקרים מנסים לבצע עלי מניפולציות – הטיעון שלך בעניין הזה לא שיכנע אותי. שנית – גם אם הסוקרים כן מנסים לבצע עלי מניפולציות – ספציפית במקרה הזה אני באופן אישי מתגונן באופנים אחרים (לא פחות מגעילים אגב…), אבל לא נוהג לשקר לסוקרים.
כך שבסופו של דבר, אין לי כלום נגד עמדתך והתנהגותך, לא ברמה המוסרית ולא ברמה הפרקטית. אבל גם אינני מסכים לתפיסת העולם שלך בעניין הסקרים.

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

דברי תמר הרמן על הסקרים – המשך הדיון

בעקבות סקרי הפריימריז של קדימה שכשלו, הביא אתר הידען דברים שאמרה הפר ופ’ לסוציולוגיה תמר הרמן בנושא הכללי על עריכת סקרים. למרות שפירטה באריכות את חשיבותם של הסקרים, אמרה פרופ’ הרמן כי לדעתה הסקרים אינם עומדים בקריטריונים מדעיים, וגרוע מכך, כי הסוקרים בכללם אינם מחוייבים לכללי אתיקה כלשהם. כמו כן הלינה על כלי התקשורת הממלאים תפקיד בעייתי בתהליך פרסום תוצאות הסקרים.
ברשימה “על מדע וסוציולוגיה” הגבתי לדבריה של פרופ’ הרמן. טענתי כי טענתה של פרופ’ הרמן בדבר “הקריטריונים המדעיים” (טענה שלא ממש הוסברה) אינה רלוונטית, כיוון שסקרים הם בסופו של דבר יישום של מדע הסטטיסטיקה, כשם שמכוניות הם יישום של מדע הפיזיקה. האם המכוניות אינן עומדות בקריטריונים מדעיים? באיזה קריטריונים מדעיים המכונית צריכה לעמוד, אם בכלל?

כמו כן הבהרתי כי דרישתה של פרופ’ הרמן לקבוע כללי אתיקה לסוקרים וסטטיסטיקאים לכל היותר מדגימה את חוסר הידע שלה בנעשה בתחום הסטטיסטיקה היישומית, כיוון שכללי אתיקה מקצועית לעוסקים בסטטיסטיקה קיימים זה מכבר, וחברי האיגוד הישראלי לסטטיסטיקה מחויבים לו.

לרשימה שכתבתי התקבל מספר רב של תגובות קוראים, וכאן אענה להם.

הגולש אילן חולק על דעתי, תוך שימוש במשל המכונית: “הבעיה איננה שימוש לא נכון במכונית, אלא מכונית שלא נוסעת בגלל פגם טכני”. ובכן אילן, יש הרבה מכוניות שלא נוסעות בגלל פגמים טכניים, או שנוסעות ומקרטעות. בשביל זה יש מוסכים. אין טכנולוגיה מושלמת, ואין יישום מושלם. סקרי הפריימריז של קדימה נתנו לנו דוגמא כזו. זה לא מספיק כדי לפסול את כל הטכנולוגיה.

אילן ממשיך ואומר ש”משהו דפוק בתיאוריה”. התיאוריה, אילן, היא מתמטית, ומבוססת על הוכחת משפטים מתוך אקסיומות. ההוכחות נכונות, ייתכן תיאורטית כי האקסיומות שגויות, אבל העדויות האמפיריות מראות שלא כך (אלה אותן האקסיומות שבבסיס כל המתמטיקה). הדוגמאות שניפנפת בהן לגבי הסקרים בהתמודדות בין אובאמה לקלינטון, שטעו לטובת אובאמה לטענתך (הוא ניצח את קלינטון, ככל הזכור לי) לא מצביעות לדעתי על בעיה בתיאוריה.

דרומי נותן טיעון מתוחכם: “סטטיסטיקה, כמו כל ענפי המתמטיקה, אינה מדע, ולו בגלל שאין בה שביב של אמפיריות. האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?”. אני לא רוצה להכנס לויכוח פילוסופי בדבר ההגדרה מהו מדע. דרומי צודק בטענתו כי המתמטיקה וענפיה, כולל הסטטיסטיקה, אינם מבוססים על תצפיות אמפיריות, ולכן לא עומדים בקריטריון של פופר לפיו תיאוריה מדעית חייבת לכלול קריטריונים אובייקטיביים להפרכתה. סטטיסטיקה היא מדע מתמטי, המתבסס על הוכחת משפטים מתוך אקסיומות. בכל זאת, הדוגמא שדרומי נתן מראה פשוט חוסר התמצאות בחומר. הממוצע של קבוצת מספרים מוגדר כסכום המספרים חלקי מספרם ולכן מי שיקבל תוצאה אחרת פשוט עשה טעות חישוב.

ולנושא היותר רציני שהעלה דרומי. הוא כתב: “כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד”. דרומי, אתה כנראה לא מבדיל בין איכות לבין אתיקה. האיכות של סקרי הפריימריז של קדימה הייתה בעייתית, אני לא חושב שיש מישהו שחולק על כך. שלושת הסוקרים ידעו זה שנים רבות שיש הטיה בתוצאות עקב תשובות לא אמינות של הנסקרים, אם מתוך דיסוננס קוגניטיבי ואם מתוך זדון. הם לא עשו (או לא עשו מספיק) כדי להתמודד עם הבעיה. מבחינה מקצועית היה כאן כשלון. אבל, אתה טוען כי טעות מקצועית היא לא אתית. נדמה לי שלא צריך להסביר מדוע זה לא כך. טעויות קורות. מותר לטעות, אם כי רצוי מאוד להמנע מכך. לא כל טעות מקורה בחוסר אתיקה.

הקורא ירח כתב: “סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור… אין לי שום סיבה לשתף פעולה עם סקר כזה…לכן, ככלל, אני תמיד מוסר מידע בלתי נכון… נכון שהאובססיה המערבית לאמירת אמת גורמת לי אי נוחות, כשאני מוסר את המידע השקרי, אבל אני מתגבר ועושה זאת.”

ובכן ירח,זה אמיץ מאוד להודות בפומבי שאתה שקרן, כל הכבוד.

אבל למה בעצם לשקר? אם יש לך משהו נגד הסקרים, מדוע לא לענות לסוקר “לא תודה, אני לא מעוניין לענות”? זה מה שאדם תרבותי היה עונה.\

תאר לך מצב של תומך קיצוני בעקרונות איכות הסביבה, הסבור כי כל מכונית היא אסון, ויש להשבית את כל המכוניות מייד ולאלתר. כדי לקדם את האג’נדה שלו, אותו אדם מתחיל לעבוד בתחנת דלק, ולכל מכונית שהוא מתדלק הוא מכניס גם “תוסף” שהורס את המנוע. האם זו התנהגות ראויה בעיניך? זה המשל. אתה הנמשל.

ועוד שאלה לי אליך, ירח: איך בדיוק סקרים גורמים למניפולציה של הציבור? תסביר לי, שאבין.

הקוראים עמית ושוקי סבורים כי הבעיה היא לא בתוכן הדברים שפרופ’ הרמן אמרה אלא באופן בו ניסחה אותם, ולו היתה מתנסחת בזהירות וביתר דיוק ל א היתה לי שום בעיה עם מה שהיא אמרה.

ובכן, אני לא חושב שהבעיה עם דבריה של פרופ ‘ הרמן היא בניסוח. אני חושב שהיא הראתה חוסר הבנה בסיסי בכך שנכשלה בהבחנה בין מדע ליישום/טכנולוגיה. יותר מכך, דבריה גרמו להכפשה של ענף מדעי ללא כל בסיס עובדתי, ולדעתי ההשתלחות הזו לא הייתה פליטת פה מקרית, אלא התקפה מתוכננת במסגרת כנס שעסק בנושא אחר לגמרי.

הקורא רון מעיר כי “פרופ’ הרמן היא לא סתם “פרופ’ לסוציולוגיה”, היא עומדת בראש פרויקט ‘מדד השלום’ באוניברסיטת תל-אביב, שמבצע סקרים בנושאים מדיניים ופוליטיים מדי חודש מאז שנת 1993, כך שהנגיעה שלה לסטטיסטיקה ולסקרים היא מעבר ל”פרופ’ לסוציולוגיה”.

ובכן רון, בוא נעורר שוב את משל המכונית. העובדה שתמר הרמן מעורבת בפרוייקט המשתמש במתודולוגיות סטטיסטיות, לא עושה אותה מומחית לסטטיסטיקה, כפי שהחזקה ברשיון נהיגה אינה הופכת את המחזיק בו למהנדס המסוגל לתכנן ולבנות מכונית. הסקרים של מדד השלום מתבצעים של ידי מכון  ב. י. כהן שבאוניברסיטת תל-אביב.

גיל ושוקי מעירים על אופן ההצגה של סקרים בתקשורת. גיל כותב: “יש להבדיל בין המדעיות של עריכת סקרים באופן כללי, ובין הצורה שהם מוצגים לציבור.  לעורכי המחקר יש חלק מסוים בצורה שבה מוצגים סקרים אבל אין להם שום שליטה על אמצעי התקשורת אם הם מציגים דברים בצורה מעוותת. האתיקה אם כבר, צריכה לחול על אמצעי התקשורת ולא על עורכי הסקרים לבד. זה בסך הכל מצטרף לאינספור הצגות מעוותות של אירועים בחדשות ועל זה צריך לבקר אותם”. שוקי מוסיף וכותב: “אני חושב שאכן ישנה בעיה אתית בכך שמכוני סקרים רציניים ומקצועיים ממשיכים לעבוד עם עיתונים שעושים שימוש ציני בשמם ובמידע שהם מעבירים ועורכים ומציגים אותו באופן מגמתי. מצד שני, אני לא יכול לדמיין מציאות בה זה לא יהיה כך, כאשר ברור שפרנסתם של מכוני הסקרים תלויה בלקוחות בעלי עניין”.

באופן כללי אני מסכים איתם. הבעיה האתית העיקרית שאני רואה שוב ושוב בפרסומי סקרים היא בכך שכלי תקשורת מפרסמים תוצאות של סקרים מבלי לעמוד בדרישות החוק המחייב אותם לפרסם מידע בדבר עריכת הסקר, כמפורט בתיקון 22 לחוק הבחירות (ראו למשל את הרשימה “סקר לדוגמא“). עד היום לא נתבע אף כלי תקשורת על הפרה של סעיף זה. אולי הגיע הזמן.

פורסם לראשונה באתר “רשימות” בתאריך 25 באוקטובר 2008 שם התקבלו 10 תגובות

אילן  בתאריך 10/25/2008 2:16:35 PM

תודה על התשובה

ושאלה לי:
כיצד מתמודדת התיאוריה עם נטייה הולכת וגוברת לשקר לסוקרים?
ולאיזה אחוז של שקרנים צריך להגיע כדי שכל הרעיון של סקרים אמינים ייזרק לפח הזבל?
תודה

יוסי לוי  [אתר]  בתאריך 10/25/2008 4:02:40 PM

תשובה לאילן

שאלה טובה. אני לא מומחה לסקרים ולכן לא יודע לענות לך.

ירח  בתאריך 10/25/2008 6:30:59 PM

תשובה ליוסי לוי

ליוסי לוי שלום,
אענה ואסביר,
גם מדוע צריך למסור מידע לא נכון בסקרים מסחריים ופוליטיים – ואני קורא לכל לע שות זאת – וגם איך עוותת את דברי באופן דמגוגי.
אבל תחילה הערה על מתמטיק ה, מדע וטכנולוגיה, היחס ביניהם, ומעמדה של הסטטיסטיקה בשילוש הזה:
המדע הוא מה שעושים כדי לתאר ולהבין את העולם הממשי ואת חוקיותו.
המדע הוא יותר מזה , הוא מערכת חברתית של ערכים ומוסדות שתפקידם להעמיד את הידע המדעי לרשות הכל, ובין השאר לבחון אותו.
אם המתמטיקה היא מדע זו שאלה של השקפה, אם הישויות שהי א חוקרת הן חלק מהעולם הממשי או רק מבנים מחשבתיים.
בכל מקרה, המתמטיקה שותפה למערכת החברתית של המדע.
הטכנולוגיה היא מה שעושים כדי לעשות דברים בעולם הממשי.
הטכנולוגיה כיום מבוססת ברובה על ידע שנרכש כמדע, ומשתמשת לפיתוח טכנו לוגי בשיטות מחקר לקוחות מהמדע,
וזה יוצר חוסר הבחנה מספקת בין השניים,
מ ה גם שהמחקר המדעי משתמש בטכנולוגיה שמדענים פיתחו לצורך עבודתם ובמסגרת עבודתם המד עית.
כל זה פשטני מאד, כמובן, אבל מספיק, אני מקווה, להבחנה העקרונית בין מדע לבין טכנולוגיה.
דוגמה פשוטה:
מכניקה קלסית, ענף של הפיזיקה, מ שתמשת הרבה במתמטיקה, בין השאר, נאמר, בתורת המשוואות הדיפרנציאליות.
הנדסה מכ נית, חלק מהטכנולוגיה, משתמש במכניקה הקלסית, לרבות תורת המשוואות הדיפרנציאליות, ל יצירת מכונות.
הבעיה בסטטיסטיקה היא שמשתמשים באותו מונח, “סטטיסטיקה”, < BR/>גם לסטטיסטיקה המתמטית, שהיא ענף של המתמטיקה הנקרא תורת ההסתברות,
גם לתי אור ולהבנה של הסטטיסטיקה של מערכות המתנהגות באופן כזה,
וגם ככלי, הנקרא בד”כ “שיטות סטטיסטיות”, למחקר מערכות הכוללות אלמנטים דומים רבים.
לכן “הסטט יסטיקה” איננה או זה או זה אלא גם זה וגם זה.
עכשיו לפני שאענה לשאלותיך, אגיב על האשמותיך:
האשמה א: אני שקרן.
זה לא נכון.
אחד מתפקיד יו של קצין מודיעין הוא להטעות את האויב.
הוא איננו שקרן. הוא לוחם.
הוא יהיה שקרן אם ישקר לעמיתיו, לחבריו, לבני משפחתו, לרשויות.
להאשמתך שהודיתי בפ ומבי שאני שקרן אין בסיס. להפך, כתבתי שאני שותף לאובססיה המערבית לאמירת אמת.
אני כמו קצין המודיעין הזה. אני מוסר מידע מטעה רק בסקרים שמטרתם מסחרית או פוליטי ת.
אז אולי הארגונים עבורם נעשים הסקרים בעלי המטרה המסחרית או פוליטית אינם ממש אויב, אבל בוודאי הם יריב.
האשמה ב: אמרתי שהסקרים גורמים למניפולציה של הציבור.
זה עיוות של דברי.
כתבתי כי סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור.
לא הסקר גורם למניפולציה.
הסקר הוא כלי, ז”א טכניקה, שפותח לצורך מחקר מדעי, ומבוסס על המדע והמתמטיקה של הסטטיסטיקה.
כאן משתמשים בו לראות מה הציבור, או חלק מוגדר ממנו, חושב ומרגיש על דברים הקשורים במוצר, או איך הוא מגיב על פרסומת.
מי שמעוניין לעשות את המניפולציה – חברות שיווק מזון, לדוגמה – משתמשות בתוצאות הסקרים כדי לתכנן את הפרסומת שלהם,
כדי לעשות אותה יותר מניפולטיבית ויותר אפקטיבית.
והפרסומת, לפחות זו של הארגונים הגדולים, היא אמנם לרוב מניפולטיבית. כתבו על זה כל כך הרבה שאין סיבה להוסיף.
רוב הציבור אפילו איננו מבין איך “עובדים” עליו (ומחקרים מראים שגם אם הוא מבין, זה לא עוזר הרבה).
אני חושש שזה נכון במידה רבה גם בפוליטיקה, אמנם שם קוראים לזה “יחסי ציבור”.
האשמה ג: כאשר אני מוסר מידע בלתי נכון בסקר, אני דומה לעובד תחנת דלק המחבל במכוניות הלקוחות.
זו דמגוגיה.
נחשוב על חבלה אחרת:
חזרתי הביתה, והנה כנופיית גנבים חמושים מעמיסים את רהיטי על מכונית גנובה.
אינני יכול להתמודד אתם פנים אל פנים, אז בסתר אני שופך חול למיכל הדלק של מכוניתם.
המכונית תתקע במרחק מה מהבית, והגנבים יאלצו לנטוש אותה ואת רהיטי.
ואם רבים מהנגנבים יצליחו לנהוג כמוני, הגנבים יפסיקו לגנוב בשיטה זו.
האם גם החבלה הזאת בלתי מוסרית?
זו דוגמה מתאימה יותר למסירת מידע בלתי נכון בסקר מסחרי או פוליטי.
אני חושב שבזה כבר עניתי למרבית שאלותיך. נשארה רק אחת – מדוע לא להסתפק בסירוב לענות.
ובכן למעשה, גם לזה כבר עניתי:
לענות אמת, זה כמו לעזור לגנבים לשאת את רהיטי אל מכוניתם;
להמנע מלענות, זה כמו לעמוד מהצד ולהסתכל;
רק מסירת מידע מטעה דומה להפרעה לגנבים!
אני חוזר וקורא לכל הציבור – הצטרפו אלי! מסרו מידע מטעה בכל סקר מסחרי או פוליטי!
ואם לשפוט לפי מה שהתפרסם על סקרי בחירות פוליטיים, רבים כבר עושים את זה.

ירח  בתאריך 10/25/2008 8:31:46 PM

הבהרה קטנה נוספת

הבעיה שאני מעלה שונה מזו שמעלה פרופ’ תמר הרמן,שסקרים מוטים מדאיגים אותה.
לטעמי הבעיה היא דווקא הסקרים שנעשים היטב, ונותנים תמונה נכונה של המציאות שהם רוצים לבדוק, אבל משתמשים בתוצאותיהם למטרות פסולות.

קורא  בתאריך 10/26/2008 12:33:06 AM

הבעיה היא לא ששיקרו לסוקרים

הבעיה היא שכשיש 500 איש שעונים על סקר והם אומרים שהם יצביעו לציפי לבני, היא מקבלת 100% הצבעה על פי הסקר. אבל מתוך המאה האלה, רק עשרים הולכים להצביע. לעומת זאת, מצביעי מופז הם נאמנים יותר והולכים כולם להצביע, אבל הם ממוקמים נגיד בישוב אחד, נתיבות, שאליו הסוקרים לא הגיעו ולא סקרו.
זו סתם דוגמה, אבל זה המצב האמיתי. סקרים פוליטיים הולכים ומאבדים את יכולת הניבוי שלהם יותר ויותר בדיוק בגלל דברים כאלה. ואין דרך לפתור את זה.

אלעד-וו  בתאריך 10/26/2008 3:19:01 AM

flame wars

יוסי, אתה יוצא מגדרך כדי להראות שמי שלא מסכים איתך הוא מטומטם. אתה מוציא את דבריהם מההקשר, ואז מותח עליהם ביקורת בוטה ו מזלזלת שמגובה בקריאה לא נכונה של טענותיהם. אני מבין שאתה מרגיש שפרופ’ הרמן התקיפ ה את המדע, אבל אני לא מבין למה אתה מתקיף דווקא את המגיבים, ולא מוכן אפילו לנסות להבין את טענותיהם. הנה כמה התייחסויות מזלזלות מהפוסט שלך (עם זאת, הרוב הוא בנימה שבה דבריך נכתבו):
“התיאוריה, אילן, היא מתמטית”
“דרומי נותן טיעון מתוחכם”
“הדוגמא שדרומי נתן מראה פשוט חוסר התמצאות בחומר”
“דרומי, אתה כנראה לא מבדיל בין איכות לבין אתיקה.”
“ובכן ירח,זה אמיץ מאוד להודות בפומבי שאתה שקרן, כל הכבוד. ”
“זה מה שאדם תרבותי היה עונה”
“ועוד שאלה לי אליך, ירח: איך בדיוק סקרים גורמים למניפולציה של הציבור? תסביר לי, שאבין.”
אני אתייחס באופן פרטני לטענות של כמה מהמגיבים המקוריים ולהתיחסויותיך אליהם, כדי להבהיר:
1. דרומי כתב “האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?” ואתה בתגובה שמת אותו ללעג. באותה מידה דרומי היה יכול להגיד “האם הסטטיסטיקה יכולה להוכיח שראשו של מלך ספרד אינו קירח”, ואתה בתגובה היית משיב שדרומי לא מתמצא בחומר, כי לספרד אין מלך. מה שדרומי התכוון לומר הוא בדיוק שמתימטיקה וסטטיסטיקה עובדות עם טקסיומות, הגדרות ומשפטים, ולכן אין להן ביסוס אמפירי.
2. דרומי דיבר על זה שהמחקר של קמיל פוקס לא מקצועי, אפילו שהוא עומד בראש ועדות אתיקה. אתה כתבת שדרומי לא מבדיל בין איכות לבין אתיקה. מה שדרומי רמז הוא שקמיל פוקס מכריז על תוצאות סקרים באופן מסויים כשאין מובהקות סטטיסטית _מתוך מניעים מוסטים, ובידיעה מלאה_, וזה לא אתי (אני לא אומר שזה נכון, או שזה מה שדרומי טען; זו הקריאה שלי את דבריו). אתה רידדת את טענותיו, ואז הגחכת אותן.
3. ירח כתב שסקרים הם אמצעי בעייתי כי אנשים משקרים. אתה בתגובה הגחכת את טענותיו, והטפת שאסור לשקר. איך זה בדיוק מתייחס לנקודה, שהיא שסקרים הם בעייתיים כי אנשים משקרים?
4. ירח אמר שסקרים גורמים למניפולציה של הציבור. ידוע למשל שאנשים לא אוהבים להצביע למועמד חלש (במקרים כמו בחירות לכנסת, יש לזה סיבה טובה, כשמדובר במפלגות שלא ברור אם יעברו את אחוז החסימה). לכן, תוצאות סקר, במיוחד סקר מוטה, יכולות להטות את התנהגות הבוחרים (כפי שנטען שקרה בבחירות 96). להבנתי, לזה בין השאר התכוון ירח כשהשתמש במילה “מניפולציה”.

יוסי לוי  [אתר]  בתאריך 10/26/2008 8:24:18 AM

אלעד (וכולם)

אלעד, תודה על תגובתך.
לא הייתה לי כוונה לזלזל ו/או לפגוע בקוראים, ואם כך התפרשו דברי, אני מתנצל בפני כל מי שנפגע.

אלעד-וו  בתאריך 10/26/2008 12:58:05 PM

תודה על התודה

ואני מתנצל אם הייתי בוטה מדי בתגובתי אליך. (אפקט “אני לא יכול ללכת לישון, מישהו טועה באינטרנט” 🙂 ).

דני  [אתר]  בתאריך 10/29/2008 3:58:41 PM

עוד על סקרי בחירות

אני לא רוצה לשפוך עוד שמן למדורה, אבל נראה לי שתהנו מקריאת הפוסט הבא:
http://iowahawk.typepad.com/io….wk/2008/10/balls-and-urns.html

יוסי לוי  [אתר]  בתאריך 10/29/2008 8:11:26 PM

תודה, דני

לנץ מאיובה יש שאלות טובות, אבל יש גם תשובות טובות לשאלות שלו

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו

על מדע וסוציולוגיה

דווקא בכנס שעסק בנושא “מדע ומדע לכאורה” בחרה הפרופסור לסוציולוגיה תמר הרמן לדון בנושא הסקרים בפרט ובסטטיסטיקה בכלל. הפרופסורית הנכבדה קבעה נחרצות: “סקרים פוליטיים ומסחריים אינם בגדר מדע”. עוד אמרה: “סוקרים פוליטיים ומסחריים אינם עומדים בקריטריונים מדעיים”, אך לא ממש פירטה. לפרופסורית הנכבדה היה גם פתרון פלא. היא מציעה “שכל העוסקים בתחום יאמצו קוד אתי בדומה לעמיתיהם בארה”ב”. בהמשך תוקפת פרופ’ הרמן  (כמו כולם) את התקשורת: “המדיה אינה מוכנה לקבל את כל ההסתייגויות שכל סוקר מקצועי רוצה להוסיף לסקר. הם לא יתנו לקמיל פוקס או למינה צמח להתחיל לפרט בעת מתן התוצאות שרמת הביטחון של הסקר היא כזו או כזו, וטעות הדגימה הוא 4.5% ושבנסיבות אלה סקר הוא לא הדרך הכי טובה לנבא מה קורה. כלי התקשורת רוצים משהו אינסטנט, חד ממדי, חד וחלק בלי שום הסתייגויות מתודולוגיות וגם מהר מאוד ואז זה מה שקורה. כי אחרת אפשר לעשות סקר, וסקר חוזר וליישם טכניקות אחרות כדי לאמת את התוצאות. הבעיה היא לא עם הטכניקה אלא עם היישום האינסטנטי שלה לצרכים של התקשורת הרעבה. התקשורת ממלא תפקיד מאוד בעייתי. היא גורמת להזנייה של מקצוע”.

האמת, כשקראתי את אוסף הקשקושים האלה התעצבנתי. הבטחתי לכם, הקוראים, תגובה לדברים בפוסט נפרד, אבל האמת היא למעשה, שאין מה לומר. פרופ’ הרמן אומרת שסוקרים פוליטיים ומסחריים אינם עומדים בקריטריונים מדעיים? נו, אז היא אמרה.

הכשל של פרופ’ הרמן הוא כל כך בסיסי עד שקשה להבין אותו בקריאה ראשונה. היא לא מבדילה בין מדע ליישום של מדע (אולי בגלל שהדיסציפלינה שלה היא לא ממש יישומית). סקרים הם יישום של מדע שנקרא סטטיסטיקה, כמו שמכונית היא יישום של מדע הפיזיקה. כאשר נעשה שימוש לא נכון במכונית, קורים דברים לא נעימים, אפילו מקרי מוות. האם המכוניות אינן עומדות בקריטריונים מדעיים? באיזה קריטריונים מדעיים המכונית צריכה לעמוד, אם בכלל? האם צריך לאסור את השימוש במכוניות?

רגע, תגידו. כדי לנהוג במכונית צריך רשיון נהיגה, וכדי להשיגו צריך לעמוד בבחינות תיאורטיות ומעשיות. ויש גם קוד אתי לנוהגים במכוניות – אלה הם חוקי התנועה הידועים.

אני מסכים. אני חושב בהחלט שכדי לעסוק ביישום של סטטיסטיקה יש להוכיח את הידע המתאים: לימודים, תעודות, אולי גם תקופת התמחות. יש עוד מקצועות שכדאי ליישם בהם את הפרקטיקה הזו: אינסטלטורים למשל, או פרופסורים לסוציולוגיה. אבל זה לא המצב במדינה שלנו, בה תקף חוק יסוד חופש העיסוק. יש מקצועות בודדים שבהם יש לעמוד בכל הדרישות האלה: רפואה, עריכת דין, ראיית חשבון, אבל גם כל הדרישות האלה לא מצילות אותנו מטעויות של רופאים ועורכי דין, ואף לא מרופאים ועורכי דין גרועים, כך שאני בספק אם קוד אתי לאינסטלטורים שכל השרברבים יחויבו לנהוג לפיו יהיה מעשי או יעיל.

מה כן אפשר לעשות?

כללי אתיקה מקצועית לעוסקים בסטטיסטיקה קיימים. חברי האיגוד הישראלי לסטטיסטיקה מחויבים לו. פרופ’ הרמן מציעה את מה שכבר קיים. פרופ’ קמיל פוקס הוא חבר מכובד באיגוד ואף שימש כנשיאו. האם פרופ’ הרמן טוענת כי פרופ’ פוקס לא פועל באופן אתי כסוקר?

מה עושים עם סוקרים לא מקצועיים? כבר התייחסתי לכך בעבר ברשימה “מי צריך לתבוע את הסוקרים?“. כמו שמי שמזמין אליו אינסטלטור הביתה כדי לבצע תיקון צריך לוודא את רמתו המקצועית ואת יכולתו לבצע את התיקון, כך גם מי שמזמין סקר, ראוי כי יבדוק האם הסוקר הוא בעל הכשרה מקצועית מתאימה והאם הוא מחויב לכללי האתיקה המקצועית.

ולבסוף – אין תחליף לחינוך, שיאפשר לציבור הרחב לשפוט בביקורתיות את התוצאות של הסקרים. הסופר הנודע ה.ג. וולס טען כי בחברה המודרנית יכולת חשיבה סטטיסטית תהיה חיונית באותה מידה כמו יכולות הקריאה והכתיבה. העתיד של וולס הוא ההווה שלנו.

פורסם לראשונה באתר “רשימות” בתאריך 20 באוקטובר 2008  שם התקבלו 14 תגובות

אילן  בתאריך 10/20/2008 11:51:58 AM

מעניין

הרשה לי לא להסכים איתך.
אם נשתמש במשל המכונית שלך, הבעיה איננה שימוש לא נכון במכונית, אלא מכונית שלא נוסעת בגלל פגם טכני.
למשל: בכל הסקרים (הזכורים לי) במאבק בין אובאמה לקלינטון,
הסוקרים טעו לטובת אובאמה.
ההסבר לטעות די ברור, וגם הסוקרים היו ערים לכך, ובכל זאת מדינה אחרי מדינה הם המשיכו לספק תוצאות שגויות.
אני מניח שמדובר בטובי הסוקרים, המשתמשים במיטב הכלים המדעיים, ולפיכך אין לי אלא להסיק שמשהו דפוק בתיאוריה, ולא רק ביישומה.

ערן  בתאריך 10/20/2008 11:56:45 AM

ללא נושא

אני לא בטוח שתמר הרמן היא סוציולוגית. עד כמה שאני יודע היא עוסקת יותר בתחומי מדע המדינה.

דרומי  [אתר]  בתאריך 10/20/2008 12:45:55 PM

ללא נושא

ראשית להערה הקטנונית: סטטיסטיקה, כמו כל ענפי המתמטיקה, אינה מדע, ולו בגלל שאין בה שביב של אמפיריות. האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?
סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה.
ולעניין: כשמתקשר אלי סוקר לסקר מסחרי, ושואל אותי סדרה של שאלות באורך הגלות, כשברור ש90% מהנסקרים לא מגיעים לשאלה האחרונה – זה סקר לא מקצועי, ואת זה אני יכול להגיד לך כמי שלקח רק קורסי בסיס בתחום. את השיעור על סקרים טלפוניים פתחו באמירה ש’סקר טלפוני חייב להיות קצר’.
כשקמיל פוקס מספק לנו תוצאות לפיהן ‘X מנצח’, כשבעצם הכל בתחום טעות הדגימה, הוא מבצע סקר לא מקצועי – ולא משנה בראש כמה ועדות אתיקה הוא עמד.
הסוקרים מקריבים את המקצועיות שלהם על מזבח המסחריות. זה לגיטימי מצדם – אם הם לא יעשו את זה, יבוא סוקר אחר שיסכים – אבל זה דורש מאיתנו לקחת את התוצאות שלהם בערבון מוגבל.
(וזה עוד לפני שאמרנו מילה על היעילות של סקרים לביצוע מחקרים במדעי החברה, אבל זה נושא אחר לגמרי)

ירח  בתאריך 10/20/2008 2:43:09 PM

נגד הסקרים

ההבחנה בין מדע לטכנולוגיה חשובה מאד, ולרבים איננה כל כך ברורה.
אבל ישנה גם הבחנה נוספת, לפי מטרת הסקר, בין סקר שמטרתו מחקר מדעי (נאמר סוציולוגי), לבין סקר שמטרתו מסחרית או פוליטית. רוב הסקרים הנעשים כיום, לפחות כל הסקרים הטלפוניים שבהם הגיעו אלי, היו מסחריים או פוליטיים.
סקר מסחרי או פוליטי הוא כלי עזר למניפולציה של הציבור, בדרך כלל כצרכנים (ואני כולל בזה צרכנות פוליטית), זאת אומרת למניפולציה שלי. אין לי שום סיבה לשתף פעולה עם סקר כזה.
לכן, ככלל, אני תמיד מוסר מידע בלתי נכון.
ישנן לי שתי מטרות. האחת, אם אני חושב שעמדתי על מטרת הסקר – לעשות מניפולציה נגדית ולתת את התשובות הנוחות לי (מתוך ההבנה של חלקי הצנוע ביותר בתוצאות הסקר). שנית, כדי לערער את התקפות של הסקרים האלה באופן עקרוני וכללי.
נכון שהאובססיה המערבית לאמירת אמת גורמת לי אי נוחות, כשאני מוסר את המידע השקרי, אבל אני מתגבר ועושה זאת.

עמית  [אתר]  בתאריך 10/20/2008 6:47:15 PM

אני מניח שאם תמר הרמן

היתה מתנסחת בזהירות וביתר דיוק לא היתה לך שום בעיה עם מה שהיא אמרה. למשל:
השימוש בסקרים כפי שנעשה על ידי התקשורת במערכות בחירות אינו עומד בסטנדרטים מדעיים בסיסיים, ולכן הסקת מסקנות מסקרים אלה אינה ראויה.
זה בעצם כל מה שאמרה הפרופסורית הנכבדה – ואני מאד אופתע אם תחלוק על האמיקה הזו.
הרי בסופו של דבר אני מסכים איתך – סקר הוא כלי. כוחו של הכלי הזה מעוגן במחקר מדעי די רציני, וכך גם מגבלותיו. על מנת להשתמש בו נכון, צריך לעמוד בכמה וכמה כללים של תכנון וביצוע סקרים, ולנקוט בזהירות בהדקת המסקנות מתוצאותיהם.
בד”כ מחקר בסוציולוגיה נוקט בכל אמצעי הזהירות האלה – ואז בעגת העם (או זו של תמר הרמן) הסקר הוא מדעי. ולפעמים לא ננקטות אותן פעולות, ואז הסקר הוא לא יותר מאשר מציצנות שמתאימה מאד לעיתונות הצהובה בארץ.
לי אישית יש גם הזגות על שימוש בסקרים בהקשרים מדעיים… אבל זה סיפור אחר לגמרי שאולי אכתוב עליו יום אחד (אני כרגע מבצע מחקר שמתבסס על סקר… אכתוב על כך כשאסיים את ניתוח התוצאות)

רון  בתאריך 10/20/2008 6:50:06 PM

“מדד השלום”

כדאי לציין שפרופ’ הרמן היא לא סתם “פרופ’ לסוציולוגיה”, היא עומדת בראש פרויקט ‘מדד השלום’ באוניברסיטת תל-אביב, שמבצע סקרים בנושאים מדיניים ופוליטיים מדי חודש מאז שנת 1993,
כך שהנגיעה שלה לסטטיסטיקה ולסקרים היא מעבר ל”פרופ’ לסוציולוגיה”.

אדם   בתאריך 10/20/2008 7:31:07 PM

לדרומי –

סקרים שלא הושלמו לא נספרים ע”י הסוקרים. ואתה תתפלא לשמוע שאחוז נכבד מתוך האנשים שהתחילו את הסקר מסיימים אותו.
חברות הסקרים, למיטב ידיעתי, מבינות את ההשלכות של אי-מקצועיות ומשתדלות לעמוד בסטנדרט כלשהו, נמוך ככל שיהיה.

גיל  [אתר]  בתאריך 10/20/2008 9:50:11 PM

מעניין מה היא חושבת על הסקרים שלה

אני בטוח שהיא לא מעריכה בצורה דומה את הסקרים שהיא עושה. בכל מקרה, יש להבדיל בין המדעיות של עריכת סקרים באופן כללי, ובין הצורה שהם מוצגים לציבור. לעורכי המחקר יש חלק מסוים בצורה שבה מוצגים סקרים אבל אין להם שום שליטה על אמצעי התקשורת אם הם מציגים דברים בצורה מעוותת. האתיקה אם כבר, צריכה לחול על אמצעי התקשורת ולא על עורכי הסקרים לבד. זה בסך הכל מצטרף לאינספור הצגות מעוותות של אירועים בחדשות ועל זה צריך לבקר אותם.

שוקי  [אתר]  בתאריך 10/21/2008 3:24:24 AM

יוסי

אני חושב שהבעיה היא לא בתוכן הדברים שפרופ’ הרמן אמרה אלא באופן בו ניסחה אותם. הלא גם אתה בעצם אומר שסקרים הם פרקטיקה שמיישמת ידע ממדע הסטטיסטיקה, בדומה למכונית שמיוצרת על בסיס ידע ממדעי הפיזיקה והכימיה.
אישית, אני חושב שאכן ישנה בעיה אתית בכך שמכוני סקרים רציניים ומקצועיים ממשיכים לעבוד עם עיתונים שעושים שימוש ציני בשמם ובמידע שהם מעבירים ועורכים ומציגים אותו באופן מגמתי. מצד שני, אני לא יכול לדמיין מציאות בה זה לא יהיה כך, כאשר ברור שפרנסתם של מכוני הסקרים תלויה בלקוחות בעלי עניין.
אני חושב שאולי נדרש תיקון לחוק הבחירות, שיש בו כבר התייחסות לסקרים. אני חושב שעל המחוקק לקבוע סייגים מקצועיים שחייבים להיות חלק מכל פרסום שנוגע לסקר. אני לא חושב שישנם חוקים כאלה במדינות אחרות, אבל מכיוון שאני מכיר את התקשורת הישראלית מבפנים אני חושב ששום דבר אחר לא יעזור.

אבים  [אתר]  בתאריך 10/21/2008 11:20:08 PM

סקרים רבותי סקרים

הבעיה היחידה היא שכולם שוכחים (דוקא מפרופ’ לסוציולוגיה הייתי מצפה לזכור) שלאנשים יש נטייה לא לומר את האמת ובמיוחד בסקרים פוליטיים. הבעיה היא שאף אחד לא יודע למדוד את השקר ואף אחד לא יודע כמה, מתי ואיך זה משפיע לע הסקר.
ובנוסף, אף אחד לא אמר שהתואר פרופ’ הוא תמיד ערובה לשכל ישר או ליכולת להשתמש בו…

גיל  [אתר]  בתאריך 10/21/2008 11:25:32 PM

שוקי ואחרים

בהחלט יש חשיבות לאיך אומרים את הדברים. על פי אותו הגיון אפשר לומר שאין שום בעייה בפרסום סקרים באמצעי התקשורת כי הבעייה לא בסקרים אלא איך שמציגים אותם. כמו שנאמר, אלוהים נמצא בפרטים הקטנים.

י.  בתאריך 10/22/2008 2:24:04 AM

באופן חד משמעי

מר לוי היקר, עם כל הכבוד לנושא הכתבה ולטענות, הרשה לי להתקומם ולומר, ובאופן נחרץ, שהגעתי לבלוגך זו הפעם הראשונה ואני ממש מחבב את הכתיבה והחשיבה שמצאתי כאן. אחזור לבקר,
שלך לכמה רגעים בעבר הקרוב ובעתיד כך נראה
י.

יוסי לוי  [אתר]  בתאריך 10/25/2008 10:38:12 AM

תודה לכל המגיבים עד כה

הנכם מוזמנים לקרוא את תשובותי ברשימה “דברי תמר הרמן על הסקרים – המשך הדיון

דרומי  [אתר]  בתאריך 11/8/2008 10:20:28 AM

הטרקבק לא עובד

אז הנה תגובתי
http://nadav.blogdebate.org/archives/סקרים-מדעי-החברה-סטטיסטיקה

לקריאה נוספת בנושאים הקשורים לנושא רשימה זו