נסיכת המדעים

פרופ'  דן כספי פרסם בשבוע שעבר מאמר ב-Ynet בעקבות תחקיר ערוץ 10 על מכוני הסקרים. כספי, שביקש כנראה לייצר מאמר פרובוקטיבי, נתן לו את הכותרת "מי יתבע את הסוקרים?".  כספי אמנם נסחף קצת במסקנותיו, אך מעלה גם מספר נקודות חשובות.

ראשית, אבהיר כי לא ראיתי את התחקיר, ולכן איני יכול להתייחס לתחקיר ישירות. האינפורמציה היחידה שיש לי אודות התחקיר היא ממאמרו של כספי עצמו. למיטב הבנתי, התחקיר חשף ליקויים בתהליכי איסוף המידע והפיקוח על המראיינים האוספים אותו. המראיינים "אינם מקצועיים", היו מקרים שבו מראיינים זייפו תשובות לשאלונים כדי להשלים את מכסת השאלונים הדרושה, וכן היו ראיונות חוזרים עם אותם מרואיינים. לצורך הדיון, אני מניח שכל ההאשמות שהועלו בתחקיר וכספי תיאר במאמרו הינן נכונות.

אולם, חלק ממסקנותיו של כספי מרחיקות לכת. התחקיר, טוען כספי, "מעורר סימני שאלה כבדים על איכות השלטון בארץ". איזה סימני שאלה בדיוק? מה לאיכות השלטון ולסקר לקוי? כספי מסביר: "הסקר הפך לא מכבר לאחד המכשירים המרכזיים בזירה הפוליטית. על פי ממצאיו, פוליטיקאים ותועמלנים גוזרים גורלות אישיים… ואף החלטות הרות גורל". ובכן – האם הבעיה היא בסקר, או במי שמשתמש בו? למי עלינו לבוא בטענות? ובכן – עלינו לבוא בטענות לפוליטיקאים שגוזרים גורלות על פי תוצאות הסקרים, ולעצמנו – כי אנו, ציבור הבוחרים, בחרנו בפוליטיקאים אלה.

אולם כספי מעלה גם עניין חשוב – והוא העניין האתי. כספי טוען, וכנראה בצדק מסויים, כי האתיקה המקצועית אינה נר לרגליהם של חלק ממכוני הסקרים. שיקולים עסקיים אכן עלולים להביא לקיצוץ בהוצאות, גם אם מדובר בפיקוח חסר על תהליך איסוף הנתונים ובפגיעה במהימנותם. תחקרי ערוץ 10 מצביע על כשלים אלה. כספי מספר כי נעשה בעבר נסיון לגבש תקנון אתיקה שיהיה מוסכם על כל מכוני הסקרים, אך לא הושגה הסכמה והנסיון נגנז.
אני יכול להוסיף לכך כי לפני כ-12 שנה ניסה האיגוד הישראלי לסטטיסטיקה, שנשיאו אז היה פרופ' גד נתן מהמחלקה לסטטיסטיקה באוניברסיטה העברית, לגבש תקנון אתיקה לסטטיסטיקאים. האיגוד קרא לסטטיסטיקאים ולמכוני המחקר במגזר העסקי להודיע על אימוץ התקנון והתחייבות לפעול לפיו, אולם היוזמה הזו גוועה בסופו של דבר. הכללים אכן נמצאים באתר האיגוד הישראלי לסטטיסטיקה, אולם לא ברור מי אכן אימץ כללים אלה. חיפוש באינטרנט אחרי צירוף המלים "אתיקה" ו-"סטטיסטיקה" מוביל בסופו שלח דבר אל כללי האתיקה של הלשכה המרכזית לסטטיסטיקה, שאכן מבוססים על אותם כללים שנוסחו ע"י האיגוד הישראלי לסטטיסטיקה באמצע שנות התשעים.

אני מצטרף לדעתו של כספי, וקורא לאיגוד הישראלי לסטטיסטיקה לחדש את היוזמה הזו. האם הנושא צריך להיות מעוגן בחוק – כפי שדורש כספי? ייתכן, אך התשובה לכך אינה חד משמעית, וחורגת מתחום הדיון הנוכחי. אציין רק שאין טעם בחקיקת חוק אם החוק לא ייאכף.

כספי מצביע על חוק אחד שאינו נאכף – תיקון מספר 22 לחוק הבחירות (דרכי תעמולה) קובע כללים ברורים לאופן פרסום תוצאות סקרי בחירות, ולמידע שעל הסוקר למסור יחד עם תוצאות הסקר. מעיון בסקרים שונים המפורסמים באמצעי התקשורת, המידע הנמסר הינו בדרך כלל חלקי בלבד, ולא עונה על דרישות החוק. ובכל זאת, לא ידוע לי על מקרה יחיד בו אכפו חוק זה.

ובכל זאת, דברי הסיכום של כספי מוגזמים. הוא מדבר על "נזקי הסקרים האם כספי ידבר על "נזקי הרפואה" באופן גורף בגלל רופאים בלתי מקצועיים?  הסקרים עצמם אינם גורמים נזק. הנזק נגרם על ידי סקרים בלתי מקצועיים, ועל ידי מי שמשתמש בתוצאותיהם לצורך קבלת החלטות. בניגוד למה שכספי טוען, יש מודעות ציבורית לכשלים הנובעים מפרקטיקה סטטיסטית לקויה. אני סבור כי יש לחדד את המודעות הזו, על ידי קידום נושא תקנון האתיקה לסטטיסטיקאים, ויידוע הציבור על הגופים המקצועיים שהתחייבו לאמץ אותו.

ומי צריך לתבוע את הסוקרים? מובן מאליו – הלקוחות שלהם, אם הם סוברים כי ספקי השירות התרשלו.

פורסם לראשונה באתר "רשימות" בתאריך 20 בפברואר 2006 שם התקבלו 2 תגובות

שקדיה  [אתר]  בתאריך 2/20/2006 9:46:55 AM

חוסר מקצועיות אינה תמימות

מכוני סקרים נבחנים במהיימנות הסקרים והמחקרים שהם מנפיקים. מאחר ולסקרים יש השפעה על דעת הקהל (בעיקר בזמן בחירות, ובעיקר על הקול הצף), המשמעות היא שסקר "משופץ" אינו תמים, אלא מגמתי. מטרתו להשפיע על הבוחרים באופן שיקרי.

אורן  [אתר]  בתאריך 2/20/2006 10:59:18 AM

מה שאני לא מבין

זה איך כוחות השוק לא מעיפים את הסוקרים הביתה. כאשר סקר נעשה בצורה רשלנית/לא אתית אזי התוצאות מדברות בעד עצמן וצרכן הסקרים כלומר העיתן, הציבור או מזמין הסקר יכול לבחון את תוצאות הסקר אל מול תוצאות האמת.
איך זה שסוקרים שנכשלים בחיזוי פעם אחר פעם ממשיכים לשווק את מרכולתם ויש לא מעט קונים. לכאורה היו צריכים להישאר בשוק רק אותם סוקרים רציניים שמגדירים נכון את מרחב הדגימה ובונים את שיטת הדגימה בהתאם.
זו פשוט חידה ואולי כדאי להזמין סקר בנידון.

לפני שבוע חזרתי מהועידה השנתית לסטטיסטיקה יישומית ע"ש דמינג, הנערכת מדי שנה בשבוע הראשון של דצמבר. למרבה האירוניה, מיקום הועידה הוא במלון טרופיקנה שבאטלנטיק סיטי, עיר ההימורים שבדרום מדינת ניו-ג'רזי, שבו נמצא גם הקזינו הגדול ביותר בעיר. הועידה הייתה מוצלחת ביותר, ורכשתי בה ידע רב שיועיל לי בעבודתי בתעשיית פיתוח התרופות. יתר על כן, מבחינה חינוכית, הביקור בקזינו היה מעניין ביותר – זו הייתה הפעם הראשונה שביקרתי במקום כזה, ותמיד מעניין לראות איך אפשר לעשות כסף גדול תוך כדי שימוש בסטטיסטיקה.

מלבד שיטוט בבתי קזינו והאזנה להרצאות על סטטיסטיקה יישומית, אין עוד הרבה מה לעשות באטלנטיק סיטי, שהיא עיר מכוערת ומשעממת בעיני. בכל העיר אין אפילו חנות ספרים נורמלית אחת, ולכן ערב אחד, לאחר סיום תכנית הכנס היומית, נסעתי אל חנות הספרים הקרובה ביותר, סניף של רשת Border's שנמצא כ-20 מייל ממערב למרכז העיר. חזרתי כשבאמתחתי שני ספרים מדוברים. הספר הראשון הוא Freakonomics, או בעברית: "חלחלה". כותרת המשנה אומרת: "כלכלן נודד מביט אל הצד האפל של כל דבר". הספר שנכתב ע"י פרופ' סטיב לויט מאוניברסיטת שיקגו  והעיתונאי סטיבן דאבנר מהניו-יורק טיימס, אכן עוסק בנושאים "אפלים" כגון הכלכלה של סחר הסמים והונאות בבחינות ותחרויות סומו. לויט נעזר רבות בסטטיסטיקה כדי להגיע למסקנותיו, אך גם נכשל לפעמים בכשלים סטטיסטיים. אקדיש לספר רשימה בעתיד הלא רחוק. בינתיים, אתם מוזמנים לעיין באתר הספר, בו כותב לויט בלוג משלו, ומביא קישורים לטור שלו בטיימס.

הספר השני אותו רכשתי הוא Moneyball, מאת מייקל לואיס. כותרת המשנה של הספר היא "אמנות הנצחון במשחק לא הוגן". הספר מתאר שנה בחייו של בילי בין, מנהל קבוצת הבייסבול המקצוענית אוקלנד אייס. בעזרת תקציב מהקטנים בליגה (כ-40 מליון דולר "בלבד"), הצליח בין להעמיד על המגרש קבוצת בייסבול שהתמודדה בהצלחה עם קבוצות בעלות תקציב גדול בהרבה (תקציב הניו-יורק יאנקיס בשנה שעבר היה מעל 200 מליון דולר). איך בין עושה זאת? על ידי שימוש יעיל ביותר בנתונים סטטיסטיים, שאיפשרו לו לאתר שחקנים זולים בעלי פוטנציאל גבוה. גם לספר זה אקדיש רשימה בעתיד (לאחר שאקרא אותו, כמובן).

ועתה לסקרת. מדובר כמובן בקדחת הסקרים שמפעפעת כל השנה, אך מתגברת עם התקרבות הבחירות. במילה "סָקֶרֶת" נתקלתי השבוע פעמיים. פרופ' גבי וימן כותב על כך במאמר חריף בהארץ, בו הוא מאשים את התקשורת ועורכי הסקרים בחוסר אתיקה מקצועית והתעלמות מדרישות החוק. חלק מטענותיו של פרופ' וימן מוצדקות, אם כי לדעתי האשמותיו גורפות מדי ועושות הכללות מסוכנות. בנוסף, מתעלם פרופ וימן מבעיות נוספות שיש בתחום הסקרים בישראל ובפרט. הקדשתי כאן  מספר רשימות שסקרו את הבעייתיות שבסקרי דעת הקהל הנערכים בקרב הציבור (להשיב או לא להשיב, בחירות 1936 – המנצח שלא היה, הרהורים בין כרכור לסינגפור (א) ) ואני ממליץ שוב לכולכם לקרוא שוב את המדריך לצרכן הסקרים שהופיע ב"סלייט" לפני כשנה  ואת המאמר על סקרי דעת קהל שהופיע באתר של מכון שריד.

מי שמודע בהחלט לכל ההטיות האפשריות בסקרי דעת קהל הם אנשיו של משה פייגלין, המתמודד בפריימריז על ראשות הליכוד. בעדכון השבועי שבאתרו מתאריך 1.12.2005, מביאים אנשיו של פייגלין את תוצאות אחד מהסקרים שנערכו לקראת הפריימריז האלה, ומצביעים על הבעיות האפשריות שיכולות להביא להטיה בתוצאות הסקרים  – אי יציבות במערכת הפוליטית ובדעת הקהל, אי התאמה אפשרית בין אוכלוסית המדגם והאוכלוסיה בפועל, וטעויות דגימה אפשריות שגודלן לא תמיד ידוע.

פורסם לראשונה באתר "רשימות" בתאריך 17 בדצמבר 2005שם התקבלו 3 תגובות

עזי  בתאריך 12/17/2005 4:19:06 PM

*ה*בעיה עם הסקרים

יוסי, בנוסף לבעיות שמנית או הזכרת — הבעיה המרכזית, לדעתי, שעצם פרסום תוצאות הסקרים — בין מדוייקים אם לאו, מוטים או בלתי-מוטים — משפיע בצורה מהותית, בעיקרון, על התנהגות אנשים בנוגע לנושא הסקר. מה שמסבך עוד יותר את העניין הוא שאין אנו יודעים *מהי* ההשפעה (גודלה וכיוונה), ויתכן ואף אין בעצם כלל לגבי זה…
תוצאות סקר בחירות, למשל, אפילו אם הסקר נעשה על מדגם גדול ומייצג היטב את אוכלוסיית המטרה, יכול להשפיע על בוחרים שלא ללכת להצביע (שכן התוצאות ידועות מראש, כביכול…), או לשנות את דעתם לכיוון הרוב (ע"מ להיות נורמטיבי), או דווקא להיפך מכיוון הרוב (כדי להיות נונקונפורמיסט או "סתם" מיוחד), או כל מיני השפעות אחרות…
וזוהי אמנם אחת המטרות בפרסום תוצאות סקרים — לא רק לתת אומדן למי שעומד לבחירה בקשר לכוחו ולפלחי אוהדיו/מתנגדיו, אלא להשפיע באמצעות פרסום זה על האנשים באורח מניפולטיבי ויזום בכיוון זה או אחר… כלומר, אם נשתמש באנאלוגיה רפואית, ההסקר אינו מהווה בהכרח מכשיר לאיבחון אלא כחלק מהטיפול…
הבעייתיות בכך נעוצה הן בפן האתי, כמובן, אך לא פחות גם בפן הענייני לכשעצמו, שכן ניבוי השפעת המניפולציה יכול להביא לנזק דווקא (כמו שגם רופא היה טוען לגבי המצב הרפואי האנאלוגי).

יובל  בתאריך 12/18/2005 11:18:24 PM

חלחלה

תרגום מקסים של השם. הצעה שלי לתרגום כותרת המשנה:
כלכלן ארחי-פרחי מביט אל הצד האפל של כל דבר
אגב, באחד המאמרים בבלוג מתואר סטיבן לויט כמי שהצליח מאד ככלכלן למרות (או בגלל) חולשתו המתמטית יחסית לסטודנטים שלמדו איתו.

מאיר  בתאריך 12/22/2005 2:13:59 PM

אני מסכים עם עזי

לדעתי הסקר הכי משפיע הוא הסקר הראשון שנעשה לאחר מקרה שקורה. לדוגמא הסקר שניבא למפלגת "קדימה" 40 מנדטים מיד לאחר הקמתה הוא הסקר שישפיע הכי הרבה. מדוע? כי אנשים באותו זמן התלבטו לגבי בחירתם והנה מופיע סקר שקובע ש"קדימה" תקבל 40 מנדטים. אותם אנשים ינהרו מיד אחרי המפלגה שהרי היא תהפוך להיות הרוב והם יהפכו להיות אנשים משפיעים ומקובלים חברתית. גורם נוסף של אותם סקרים הוא פגיעה במפלגות קטנות – מפלגות קטנות שקיבלו באותם סקרים 3-4 מנדטים עלולות לא לעבור את אחוז החסימה מפני שאנשים יעדיפו להמר על סוס מנצח ולא ירצו להצביע למפלגה שמקומה בכנסת לא מובטח.
כאמור אלו הן השערות אך אשמח לשמוע תגובות על כך.

הסטטיסטיקן הראשי, פרופ' שלמה יצחקי (שאינו סטטיסטיקאי במקצועו, אלא כלכלן), ערך היום מסיבת עיתונאים לרגל פרסום השנתון הסטטיסטי לישראל. אתם מוזמנים לקרוא את דבריו ב-Ynet. חלק מהדברים מתייחסים לנושאים סטטיסטיים, ובהמשך חורגים דבריו אל תחומי הכלכלה והמדיניות החברתית. התייחסות לדבריו מאת יוסי דהאן שמומלץ לקרוא מופיעה באתר "העוקץ". ברצוני להתייחס כאן לדבריו הקשורים ישירות בסטטיסטיקה.

אומר פרופ' יצחקי: "ההצלחה והכישלון של תכניות למלחמה בעוני תלויה בדיוק הטכני של שיעור העוני…אם רוצים אפשר גם לקבוע שכל תושבי המדינה עניים…מדידת עוני צריכה להיות מדוייקת כמו מדידת עושר או גובה".

אכן, דברים כדורבנות. אבל אז ממשיך פרופ' יצחקי ואומר: "שיטת המדידה הקיימת מקנה "עדיפות" למשפחות מרובות ילדים…בגלל שסופרים נפשות ולא בודקים את הצרכים שלהם, מובטח שמספר העניים יגדל מדי שנה, בלא קשר למדיניות הממשלה".

ובכן, כמה דברים לידיעת פרופ' יצחקי: קיימות מספר שיטות למדידת רמת העוני, ושיטת המדידה של הביטוח הלאומי – שהיא השיטה "הרשמית" – שמרנית למדי, ועל פי מדידות אחרות שעורכים ארגונים אחרים מימדי העוני בישראל רחבים הרבה יותר.

כמו כן, דבריו של יצחקי על העיוות הנגרם במדידת המוסד לביטוח לאומי עקב גודלן השונה של משפחות שונות. האם פרופ' יצחקי עיין אי פעם בדו"ח העוני של המוסד לביטוח לאומי (קובץ pdf)? אילו עשה כן, היה ודאי יודע שקו העוני מחושב בנפרד לכל גודל של משפחה – קו העוני למשפחה בת נפש אחת שונה מקו העוני למשפחה בת 4 נפשות, וקו זה שונה מקו העוני של משפחה בת 8 נפשות. אין לינאריות. לנפש אחת קו העוני היה ב-2004 בגובה 1777 ש"ח, אך עבור משפחה בת 4 נפשות גובה קו העוני היה 4548 ש"ח, ולא 7108 ש"ח. משפחה בת 8 נפשות נחשת ל-"לא עניה" אם הכנסת המשפחה היא מעל 7391 ש"ח בלבד, ולא 14216 ש"ח – הקו שהיה צריך להתקבל אילו רק "ספרו נפשות בלי לבדוק את הצרכים שלהן", כמו שחושב הסטטיסטיקן הראשי.

כמו כן, לא ברור לי איך "מובטח שמספר העניים יגדל מדי שנה". זה כנראה דבר שברור לכלכלנים מסויימים, ואני איני כלכלן. אשמח להסברים.

ממשיך יצחקי ואומר: "כשמוסיפים מעט לקצבאותיהם של הקשישים, קו העוני יכול לרדת מכיוון שהם מאוד קרובים אליו". ובכן, קו העוני נקבע כ-50% מההכנסה החציונית. כל סטטיסטיקאי יודע כי שינוי בערכן של תצפיות קצה אינו משנה את ערך החציון. איך העלאת הקצבאות לקשישים תוריד את קו העוני? זה יכול לקרות רק אם יותר ממחצית האוכלוסיה חיה מקצבאות זקנה. זה לא המצב כרגע, אז "התרגיל הזה שכבר נעשה לא מזמן", לטענת הסטטיסטיקן, כנראה שלא היה ולא נברא.

אבל הסטטיסטיקן אינו רוצה שנבין אותו לא נכון: "אני בעד שיעזרו למבוגרים. אני לא מתנגד, בשום אופן, לסיוע לעניים, אני מותח ביקורת על דרכי המדידה ועל דרכי הסיוע שנובעות ישירות מהן. אני מתנגד בכלל למדידה של עוני ותומך במדידה של אי שוויון".

ובכן, פרופ' יצחקי, סטטיסטיקאי השומר על האינטגריטי המקצועי שלו לעולם לא יאמר  כי הוא מתנגד למדידה של תופעה מסויימת. אחד מתפקידי הסטטיסטיקה הוא לספק מדידות מדוייקות, או במלים מדוייקות יותר – לספק אמדנים מדוייקים לאנשי מקצוע. אם לא נמדוד את שיעור העוני – האם העוני ייעלם? כל בת יענה תאמר שכן, אבל אנחנו לא יענים. פרופ' יצחקי הוא כלכלן ופוליטיקאי, ולכן כנראה קרוב יותר בהשקפותיו אל ציבור בנות היענה.

פורסם לראשונה בשתי רשימות נפרדות אתר "רשימות" בתאריכים 4 באוקטובר 2005 ו-28 בספטמבר 2005  שם התקבלו 2 תגובות

אבי  בתאריך 9/28/2005 4:23:08 PM

ללא נושא

לא כל כך הבנתי מה הוא מציע? במחקר שנערך לאחרונה אודות עוני אבסולוטי (עוני סל) נמצא שבישראל יש יותר עניים מאשר בבדיקה של עוני יחסי (50% מהשכר החציוני). כך שבישראל יש הרבה עניים לא משנה איך בודקים את זה
בדיקה של עוני יחסי מקובלת בכל העולם וגם האו"ם מקבל שיטה זו וטוען שהיא טובה יותר, שיטה זו מאפשרת לבדוק כמה אנשים נחשבים לעניים בחברה מסויימת, תוך הבנה שעני בשבדיה הוא לא עני ברואנדה, יש לו צרכים אחרים ומצבו שונה, אולם בחברה שבה הוא נמצא הוא נחשב לעני
אם נבדוק את ההבדלים בעוני במדינות המתועשות נמצא שאין הבדל גדול- בארה"ב ובבריטניה הן העוני היחסי והן העוני האבסולוטי גבוה לעומתן בשבדיה ובנורבגיה הן העוני היחסי והן העוני האבסולוטי נמוך
כמו כן לא הבנתי את טענתו על ישראל, בישראל רמת עוני גבוהה ופערים גבוהים, אך ישאל לא ענייה במיוחד, אם כי גם לא עשירה ברמה אירופאית

זוריק  בתאריך 10/10/2005 10:37:22 PM

תודה

פשוט ככה

בעקבות הרשימה על האוניברסיטאות הטובות ביותר כתב אלי גיא יריב מחברת "מעל הממוצע – מחקר וייעוץ ללימודים אקדמיים" והפנה את תשומת ליבי לדרוג האוניברסיטאות והמכללות בישראל שעורכת החברה. מאחר וזו חברה מסחרית, ניתן לראות רק את צמרת הדירוג. דירוג זה נעשה על סמך פרמטרים הקשורים לרווחת הסטודנט, על פי התפיסה הרואה את הסטודנט כלקוח ואת המוסד האקדמי כנותן שירות, ולכן סדר הדירוג שונה מסדר הדירוג של אוניברסיטת זיאו טנג, וזה לגיטימי, כמובן.

באתר של "מעל הממוצע" ניתן למצוא גם סקירה רחבה של מתודולוגית המחקר והדירוג, שנעשתה על ידי פרופ' יעקב הורניק מאוניברסיטת תל-אביב. מומלץ לקרוא.

פורסם לראשונה באתר "רשימות" בתאריך 26 באוגוסט 2005 14:48שם התקבלו 4 תגובות

lior  [אתר]  בתאריך 8/26/2005 7:33:13 PM

ומה עם ביקורת?

מה שאתה מציג נראה לי חסר ערך כמעט לחלוטין. קודם כל, כפי שאתה מציין, לא מדובר בדירוג אוניברסיטאות ואפילו לא בדירוג איכות ההוראה באוניברסיטאות אלא בדירוג רווחת הסטודנט. דבר שני מדובר בסקר, ולא בפרמטרים אובייקטיביים אמיתיים. קשה לעשות דירוג אמיתי בלי לכלול פרמטרים כמו השכר הממוצע של הבוגרים, אחוז הממשיכים לתארים מתקדמים, מספר הפטנטים שרושמים בוגרי המוסד ומספר הזוכים בפרסים הישגיים בתחום המדע. אלה הפרמטרים החשובים באמת. לדעתי הדירוג שאתה כותב עליו שווה ביקורת פחות מרומזת.

יוסי לוי  [אתר]  בתאריך 8/27/2005 12:51:14 PM

תשובה לליאור

אני מסכים איתך.

אלי  בתאריך 2/5/2006 6:25:00 PM

ובכן …

מה עם לטביה …הסטודנטים הכי אוהבים אותה התואר בא בקלות .
מספר המסיימים בפתוחה הוא הנמוך מבין כל המוסדות בודאי ..
אז למה שסטודנטים יאהבו את המוסד??

גיא יריב  [אתר]  בתאריך 6/28/2006 2:30:48 PM

לא כדאי לקרוא קודם לפני שמותחים ביקורת?

הדרוג מתבסס על הרבה יותר מידע מאשר רווחת הסטודנט, במיוחד בהתחשב במאמצים שהאוניברסיטאות עושות למנוע פרסום מידע בכלל ומידע שלילי בפרט.
נתונים אלמנטריים כמו מספר הסטודנטים בפקולטה (כדי להשוות למספר הסגל) או תקציב המוסד (והחלק ממנו שמוקדש למחקר) אינם מתפרסמים.
כתוצאה מכך היה צורך לאסוף מידע באמצעים 'עוקפי צנזורה' כמו ספירת תעודות זהות על לוחות ציונים או הערכת מספר פרסומים לפי מספר הדרגות המוענק. אלו כמובן כלים גסים יותר, אבל הם נותנים מידע בעל מהימנות ותוקף סבירים לגמרי.
אגב, גם הסטודנטים הרבה פחות מטומטמים ממה שאתם נותנים להם קרדיט- במוסדות שמתאפיינים בעומס נמוך ורמת דרישות נמוכה ישנה שביעות רצון נמוכה. הם יודעים בדיוק מה הם מקבלים.
גיא