את ההשראה לתחרות כדור הבדולח שאבתי מתחרות דומה שערכה החברה המלכותית לסטטיסטיקה. לכאורה, היה באפשרותי להשתמש באותם כללי ניקוד (הלינק יתחיל הורדת קובץ pdf) המשמשים את התחרות המקורית. אולם, עיון באותם כללי ניקוד הראה כי ייתכן מצב אבסורדי בו מי שיחזה בדיוק את התשובה הנכונה יקבל ניקוד פחות טוב מאדם אחד ש”יטעה קצת”. לכן, כללי הניקוד שישמשו אותי שונים.
לפני ההסבר על כללי הניקוד, אכניס כמה סימונים.
ראשית, אציין כי לכל שאלה הניקוד מחושב בנפרד. הניקוד מחושב באופן שככל שהניחוש/ניבוי/תחזית טוב יותר, כך הניקוד נמוך יותר.
באות T אסמן את הערך האמיתי, שאותו על המתחרים לנחש/לנבא/לחזות, עבור שאלה מסויימת.
באות G אסמן את הניחוש/ניבוי/תחזית של המנחש/נביא/חוזה, ובאות S אסמן את סטיית התקן בה העריך המנחש/נביא/חוזה את מידת אי הודאות של הניחוש/ניבוי/תחזית.
כעת אחשב שלושה מדדים להערכת טיב הניחוש/ניבוי/תחזית:
המדד הראשון יעריך עד כמה הניחוש/ניבוי/תחזית קרוב לערך האמיתי. ערכו יהיה שווה לריבוע המרחק של הניחוש/ניבוי/תחזית מהערך האמיתי. ניחוש/ניבוי/תחזית מדוייק ייתן תוצאה אפס:
המדד השני יעריך עד כמה המנחש/נביא/חוזה היטיב להעריך את מידת אי הודאות של הניחוש/ניבוי/תחזית: אם הניחוש/ניבוי/תחזית נמצא בתוך התחום של הערך האמיתי פלוס מינוס סטיית התקן, הניקוד יהיה אפס. אם הניחוש/ניבוי/תחזית יחרוג מהתחום, הניקוד יהיה מרחק הניחוש/ניבוי/תחזית מקצה התחום, בריבוע. לחובבי נוסחאות:
כמובן, מי שיציין ערך גבוה מאוד של S יוכל להגדיל מאוד את הסיכוי כי המדד השני יהיה שווה ל-0. כמובן, ערך גבוה של S פירושו מידת אי ודאות נמוכה (בואו ניקח את זה לקצה: מי שיציין ש-S שלו שווה לאינסוף, כאילו אמר בודאות שהניחוש/ניבוי/תחזית שלו הוא בין מינוס אינסוף לאינסוף, והוא צודק בודאות כמובן, אבל הניחוש/ניבוי/תחזית שלו לא שווה הרבה). כדי למנוע מהמשתתפים בתחרות לציין ערכים גבוהים מידי של S, בא המדד השלישי, ששווה פשוט לארבע פעמים הריבוע של S:
הניקוד הראשוני לשאלה יהיה סכום שלושת המדדים:
השלב הבא יהיה נירמול התוצאות – כדי שיהיה אפשר להשוות בין תשובות לשאלות שונות (כיוון שהניקוד תלוי באופי השאלה, היחידות בהן נמדדות התשובות לשאלות, וכדומה).
יש דרכים יותר מתוחכמות לבצע את הנירמול, אולם אני בחרתי בדרך הפשוטה הבאה: לכל שאלה אקח את התוצאה Z הגבוהה ביותר שהתקבלה, אחלק את הניקוד של כל משתתף שענה על שאלה זו בתוצאה הגבוהה ביותר, ואכפיל ב-100. כך הניקוד הסופי לכל שאלה יהיה מספר בין אפס למאה, וכאמור, ככל שהניקוד הסופי נמוך יותר, כך הניחוש/ניבוי/תחזית טוב יותר.
הניקוד הסופי למשתתף יהיה סכום הנקודות עבור ארבע השאלות עם הניקוד הטוב ביותר עליהן ענה.
כלומר, אם ניחשתי במדוייק אבל נתתי סטיית תקן גבוהה, עדיין אקבל ציון פחות טוב ממישהו שפספס בנקודה אחת אבל נתן סטיית תקן של 1?
כן.
איך רואים שאתה סטטיסטיקאי בנשמה …. נותן ציון שהוא למעשה פונקציית הפסד :]
אני הייתי ממשקל את הציון הסופי אחרת. את ההפסד הריבועי הייתי לוקח במשקל הכי גדול (0.5) ואת שני האחרים במשקלים שווים (0.25). גם כי קיימת תלות חזקה בינהם … וגם כי האמידה של S היא הרבה יותר בעייתית ותנודתית מהאמידה של הגודל האמור.