חיפוש באתר

קישורים

עמודים

קטגוריות

יצירת דו”חות בפורמט Word מתוך R על ידי שימוש בחבילת officer

אם אתם עובדים עם תכנת R וצריכים ליצור דו”חות בפורמט Word באופן שגרתי, חבילת officer עשויה להיות שימושית עבורכם. הבעיה היא שהשימוש בחבילה מסורבל – manual שלה הוא בן 80 עמודים.

לכן כתבתי מספר פונקציות שמאפשרות לבצע את כל הפעולות שאני באמת צריך לעשות וליצור דו”חות בסגנון אחיד. בניגוד לפונקציות של החבילה המקורית, לפונקציות שלי יש מבנה אינטואיטיבי, מכיוון שכל הגדרות הסגנונות מוטמעים בתוכן.

אתם מוזמנים לקרוא את הפרטים בגירסה האנגלית של הבלוג: https://sciprincess.wordpress.com/2020/02/17/creating-ms-word-reports-using-the-officer-package/

ויזואליזציה של נתוני יחס חוב/תוצר

לפני מספר ימים ראיתי את הגרף הזה בטוויטר:[1]

גיגול קצר העלה כי מדובר בגרף ישן יחסית מאוקטובר 2017. מצד אחד, זהו באמת גרף מאוד יפה ומרשים. מצד שני, מקומו בדפי פייסבוק כגון Trust me, I’m a Statistician או Trust me, I’m a Data Scientist.

גרף זה הוא סוג של דיאגרמת עוגה (pie chart).  בדיאגרמת עוגה קלאסית הפרוסות הן בצורת “משולשים”, או גזרות של עיגול אם רוצים לדייק. כאן לפרוסות יש צורות אחרות, הכוללות משולשים, מרובעים, מצולעים אחרים, וצרות שאין לי מושג מה שמן[2]

אני מודה שהגרף הזה די בילבל אותי. מדובר בנתונים של חוב לאומי ויחס חוב/תוצר. בתחילה התייחסתי לנתון של יחס חוב/תוצר, ומשום מה חשבתי שהשטח של כל פרוסה בעוגה הזו מייצג את יחס החוב/תוצר של כל מדינה. זאת כנראה בגלל שהעין שלי תפסה קודם כל את הכותרת התחתונה.

בפועל, כל פרוסה מראה את החלק של המדינה מתוך סך כל החובות הלאומיים בעולם, ולכן סך כל השטחים אמור להסתכם ל-100%. [3].ניתן לראות בבירור כי המדינה עם החלק הגדול ביותר מתוך סך החובות היא ארצות הברית, ומכאן ג ניתן להסיק כי לארצות הברית יש את החוב המוחלט הגבוה ביותר במונחים דולריים. המדינה עם החלק השני הכי גדול בסך החובות היא יפן, וסין שלישית. מצאו בעוגה את הפרוסות של  איטליה, גרמניה, צרפת ובריטניה. לאיזה מדינה מבין הארבע יש חלק יותר גדול בעוגת סך החובות? האם אתם יכולים לקבוע זאת על ידי השוואת השטחים של הפרוסות?

יחס החוב/תוצר של כל מדינה מבוטא על ידי הצבע של הפרוסה בעוגה. ככל שהצבע בהיר יותר, כך יחס החוב/תוצר גבוה יותר. אפשר לראות מייד כי ליפן יש יחס חוב/תוצר גבוה מאוד. ניתן להבחין כי גם ביוון היחס הזה גבוה, למעשה השני בגובהו. האם אתם יכולים לזהות את המדינה עם היחס השלישי בגובהו? זוהי לבנון. חפשו אותה בפינה הימנית עליונה. איטליה ופורטוגל, שתופסות את המקום הרביעי והחמישי, בולטות יותר. האם אתם יכולים לראות לאיזה מדינה יש את יחס החוב/תוצר הנמוך ביותר?

לאחר שהבנו את הנתונים המוצגים בדיאגרמה הזו, אנו יכולים לנסות למצוא תובנות.

דיאגרמה זו היא למעשה גרף דו-מימדי, במובן שמוצגים בה שני משתנים שונים. בדרך כלל גרפים כאלה אמורים להראות את הקשר בין שני המשתנים. אז מה הקשר בין יחס החוב/תוצר ובין חלק החוב בסך כל החובות? אתם יכולים לראות? כי אני לא יכול. לזכותם של הכותבים ייאמר שהם לא ניסו לדון בכלל בעניין.

האם יש דרך טובה יותר להציג את הנתונים האלה באופן גרפי? כמובן שיש. בואו נשכח את כל מה שראינו עד עכשיו ונשחק קצת בנתונים.

לקחתי את נתוני יחס החוב/תוצר של כל מדינות העולם וגם את נתוני התוצר עצמם מויקיפדיה. לצורך ההדגמה, התמקדתי בנתוני מדינות ה-OECD  משנת 2017. מנתוני יחס החוב/תוצר ונתוני התוצר אפשר כמובן לחשב את גובה החוב, משם את סך החובות, ולבסוף את חלקה של כל מדינה מתוך סך החובות. הנתונים נמצאים כאן.

האפשרות הפשוטה ביותר היא לשרטט תרשים פיזור (scatter plot) משרטטים את הנתונים במערכת צירים, כשכל מדינה מיוצגת על ידי נקודה. המרחק של הנקודה מכל אחד מהצירים מייצג את הערך המתאים של הנתון.

הנה דיאגרמת פיזור בסיסית המציגה את הנתונים שלנו. למעוניינים, קוד R נמצא בגרסה האנגלית של הפוסט הזה.

בדיאגרמה ניתן לראות בבירור כי יש שתי נקודות/מדינות חריגות: אחת מהן עם יחס חוב/תוצר גדול מ-200%, חלקה של השניה בסך כל החובות גבוה מ-30%.

עיון נוסף מגלה מדינה שיחס החוב/תוצר שלה גבוה מ-150%, ועוד שתי מדינות שיחס החוב/תוצר שלהן באיזור ה-130%.

מאחר ויש כלכלנים שסבורים כי חוב גבוה זה רע, וחוב גבוה ביחס לתוצר הוא עוד יותר רע, החלטתי לחלק את הנקודות/מדינות לשלוש קבוצות:

  • בקבוצה הראשונה נכללות המדינות שיחס החוב/תוצר שלהן גבוה מ-100% או שחלקן בסך החובות גבוה מ-10%. אלה המדינות שמצבן הכלכלי “רע” על פי הפרמטרים האלה.
  • בקבוצה השניה נכללות המדינות שיחס החוב/תוצר שלהן נמוך מ-50% וגם חלקן בסך החובות נמוך מ-2%. אלה המדינות שמצבן הכלכלי “טוב” על פי הפרמטרים האלה.
  • הקבוצה השלישית כוללת את כל שאר המדינות.

קווי הגבול בין הקבוצות (2%, 10% וכולי) הם שרירותיים משהו. קבעתי אותם על פי מיטב שיפוטי.[4]

שרטטתי מחדש את הגרף: את הנקודות של המדינות שמצבן “רע” צבעתי באדום, והוספתי לגרף גם את שמה של כל מדינה מקבוצה זו. את הנקודות של המדינות שמצבן “טוב” צבעתי בירוק, ואת שאר הנקודות צבעתי בכתום:

עכשיו ניתן לראות כי:

  • יחס החוב/תוצר של המדינות שמצבן “טוב” משתרע על כל הטווח מ-0 עד 50, אם כי יש בקבוצה זו יותר מדינות שיחס החוב/תוצר שלהן מתקרב ל-50%.
  • מדינות הביניים מתחלקות בערך לשתי קבוצות: קבוצה אחת עם רמת חובות מוחלטת (כאחוז מסך החוב) נמוכה ויחס חוב/תוצר בין 50 ל-75 בערך, וקבוצה שניה של חמש מדינות  עם רמת חובות מוחלטת גבוהה יותר, כאשר לא ניתן לומר אמירה ברורה על מכנה משותף ביניהן לגבי יחס חוב/תוצר.

הערות
  1. הערה: ביצעתי כמה עריכות מינוריות בגרף לצורך ההדגמה בהמשך הפוסט []
  2. ראו לדוגמא את בריטניה בתחתית הדיאגרמה []
  3. לא בדקתי את הנתונים האלה, אני מאמין למי שיצר את הדיאגרמה, וזה גם לא כל כך משנה לדיון כאן []
  4. אם אתם מכירים כלכלן שיכול לקבוע את קווי הגבול באופן יותר מדוייק (במובן accuracy, לא במובן precision) , אשמח אם תכירו לי אותו []

ממתאם לסיבתיות – מבחן הסיבתיות של גרייג’ר

היסטוריה וקונטקסט

קלייב גריינג’ר הוא סטטיסטיקאי וכלכלן וולשי אמריקני, שזכה בפרס נובל לכלכלה[1] בשנת 2003, בזכות תרומותיו לתיאוריה ולמתודולוגיה של ניתוח סדרות עיתיות. בשנת 1969 הציע גריינג’ר מבחן סטטיסטית לבדיקת השערת הסיבתיות בקונטקסט של סדרות עיתיות.

 

הקריטריונים של ברדפורד היל שהוצגו ב-1965 מתאימים בעיקר לבעיות בתחום האפידמיולוגיה ובריאות הציבור, שם מתעניינים בדרך כלל בחשיפה לגורם סיכון או התערבות, ובתוצאה בריאותית חיובית או שלילית, לפי ההקשר. בעוד שניתן ליישם את הקריטריונים גם בתחומים אחרים, למשל פסיכולוגיה ותחומים נוספים במדעי החברה, חלק ניכר מקריטריונים אלה אינם ישימים כאשר דנים בסדרות עיתיות, שלהן חשיבות מיוחדת בכלכלה. לכן נדרש כאן פיתרון אחר. מבחן הסיבתיות של גרייג’ר הוא פיתרון אפשרי.

 

סדרה עיתית היא סדרה של נתונים הנאספים לאורך זמן. לכל נתון מצורפת נקודת הזמן בה נדגם הנתון. אתם מכירים הרבה סדרות כאלה. הלשכה המרכזית לסטטיסטיקה מפרסמת כל חודש את השכר הממוצע ואת מדד המחירים לצרכן.  בנק ישראל מפרסם מדי יום את שער החליפין בין השקל לדולר. השירות המטאורולוגי מפרסם כל יום מה הייתה הטמפרטורה בצהריים בכל מיני מקומות בארץ.

מבחן גריינג’ר

גריינג’ר התבסס על שתי הנחות יסוד:

  1. הגורם מתרחש לפני התוצאה
  2. הגורם מכיל מידע ייחודי על התוצאה

בעוד שההנחה הראשונה ברורה ומובנת מאליה, ההנחה השניה דורשת הסבר.

קודם כל, זכרו כי כאן אנו דנים בסיבתיות בקונטקסט של זמן. לכן ניסוח יותר מדוייק של ההנחה השניה היא כי הגורם מכיל מידע ייחודי אודות הערכים העתידיים של התוצאה. כלומר, מדובר בגורם המכיל מידע ייחודי לחיזוי של התוצאה.

נניח כי אנחנו יכולים לחזות במידת הצלחה כלשהי את הערכים העתידיים של התוצאה כאשר בידינו כל המידע האפשרי בעולם. מה יקרה אם נשליך החוצה את המידע על המשתנה שלדעתנו גורם את התוצאה, ונשתמש רק בשאר המידע?

אשתמש בדוגמה: האם הטמפרטורה בצהריים בתל אביב משפיעה על היקף מכירות הגלידה בעיר? ובפרט, האם טמפרטורה גבוהה יותר גורמת למכירת יותר גלידה?

אנחנו יכולים לאסוף נתונים על שני המשתנים האלה, ולקבל שתי סדרות עיתיות.

השלב הבא הוא לבנות שני מודלים לחיזוי היקף מכירת הגלידה היומי. במודל אחד אתם יכולים להסתמך על כל המידע שיש בעולם ועומד לרשותכם. כמובן שנתוני הטמפרטורה נכללים במידע עליו אתם יכולים להסתמך.

והנה הטוויסט: במודל השני אסור לכם להסתמך על נתוני הטמפרטורה. חוץ מזה הכל הולך.

אם החיזויים של שני המודלים שונים באופן משמעותי, המסקנה היא כי הטמפרטורה משפיעה על היקף מכירות הגלידה. במקרה כזה נאמר כי הטמפרטורה היא גורם סיבתית על פי גריינג’ר להיקף מכירות הגלידה.

עכשיו נמקד את תשומת ליבנו על המילים “באופן משמעותי”. איך מחליטים אם הבדל הוא משמעותי? גריינג’ר הציע להשתמש במבחן סטטיסטי, כלומר לזהות משמעות עם מובהקות סטטיסטית. המבחן שלו מסתמך על מודלים של אוטורגרסיה, מבחני t ומבחני F, שהם הכללות של רגרסיה לינארית. רגרסיה לינארית היא הפנים האחרות של המתאם על פי פירסון. במילים אחרות, גריינג’ר הציע נתיב שמוביל ממתאם לסיבתיות.

זהו נתיב מסוכן, וגריינג’ר ידע זאת היטב. בנאום שנשא בטקס שבו הוענק לו פרס נובל, גריינג’ר התייחס למבחן הסיבתיות שהציע ואמר כי “התפרסמו הרבה מאמרים עם תוצאות מגוחכות”.

ביקורת על מבחן גריינג’ר וחולשותיו

ראשית, יש לשים לב כי הסיבתיות מוסקת על סמך חיזוי. לא מוצע מנגנון סיבתי, ופורמלית אין צורך להציע מנגנון כזה. זהו פער משמעותי בין גריינג’ר ובין הקריטריונים של ברדפורד היל המחייבים הצעה של מנגנון כזה. טענה שקולה היא הטענה כי מבחן גריינג’ר אינו עונה על השאלה הפורמלית ושאלת הנימוק של אריסטו.

שנית, מי שמשתמש במבחן בחוסר זהירות, עלול ליפול בכשל הפוסט הוק, טענה מוטעית לפיה אם Y  קרה לאחר X  אז X  גרם ל-Y. אמנם, כפי שטען דייוויד יום, קיום הטמפורליות הוא תנאי הכרחי לסיבתיות, אך תנאי זה בהחלט אינו מספיק.

המבחן גם לא לוקח בחשבון משתנים מתערבים, כאלה המשפיעים על שני משתנים אחרים ויוצרים ביניהם מתאם מלאכותי (spurious correlation). לא במקרה בחרתי לדוגמה את הגלידה והטמפרטורה. אני מניח שכולם מכירים את הדוגמה המשעשעת שבה יש מתאם בין מכירות הגלידה ומספר הטביעות בבריכה. ככל שמוכרים יותר גלידה, יותר אנשים טובעים. האם ניתן להסיק על פי מבחן גריינג’ר כי קניית גלידה גורמת לטביעות? ייתכן מאוד שכן.

מגבלות נוספות של סיבתיות גריינג’ר הן:[2]

  • רגישות לתדירות הסדרות העיתית ולמשך הזמן בו צופים בהן. לדוגמה, מחקר האוצר על מה שכונה “שכר המינימום ונזקיו” שפורסם בשנת 2004, חזה כי העלאת שכר המינימום תגרום לעליה באבטלה, בין היתר על ידי שימוש בסיבתיות גריינג’ר. כפי שציינתי בפוסט שהתייחס למחקר הנ”ל, בעיה מרכזית במחקר הייתה בכך שהוא הסתמך על נתונים שהתייחסו לתקופה קצרה יחסית של 11 שנים, בעוד שבזמן עריכת המחקר שכר המינימום כבר היה נהוג בישראל במשך יותר מ-30 שנה.
  • חוסר יכולת לזהות סיבתיות לא לינארית
  • חוסר יכולת להתמודד עם סדרות עיתיות לא לינאריות ו/או לא סטציונריות
  • ההנחה של ההתפלגות הנורמלית של טעויות המדידה לא תמיד מתקיימת.
  • היפוך הזמן: בתנאים מסויימים ניתן לחזות את ערכי העבר על ידי ערכי העתיד. מבחני גריינג’ר יראו גם במקרים אלה סיבתיות, אלא שהגורם קרה לאחר התוצאה.

למרות המגבלות האלה, מבחן גריינג’ר וההכללות שלו נמצאים בשימוש נרחב. על המשתמשים בו לעשות זאת בזהירות, וכל טענה לסיבתיות על פי גריינג’ר צריכה להיבחן לגופה באופן ביקורתי.

הפוסטים הקודמים בסדרה


הערות
  1. במשותף עם רוברט פ. אנג’ל []
  2. ראו A review of the Granger-causality fallacy –  Mariusz Maziarz – קישור לקובץ pdf []

הודעה – עמוד מצגות

היום יצרתי עמוד חדש באתר נסיכת המדעים ובו יהיו קישורים למצגות של הרצאות שנתתי במשך השנים. העמוד יתעדכן עם הזמן, והודעות על העדכונים יתפרסמו בדף הפייסבוק של נסיכת המדעים.

הליידי הטועמת תה קר

הקוראים הוותיקים של הבלוג זוכרים בוודאי את סיפור הליידי הטועמת תה. השאלה שעמדה אז על הפרק הייתה הם ניתן להבדיל בין הטעם של תה שנמזג לתוכו חלב ובין הטעם של חלב שנמזג לתוכו תה. הניסוי שהוכיח כי אכן ניתן להבדיל בין הטעמים הוא אחד הניסויים הקלאסיים בתולדות המדע בכלל והסטטיסטיקה בפרט.

אנוכי הקטן ניסיתי היום לברר את התשובה לשאלה לא פחות חשובה.

בבית הספר של בני הצעיר נערך מדי שנה “יום ההורה המעשיר”, בו הורים מגיעים לבית הספר ומעבירים לתלמידים שיעורים בנושאים שונים לפי בחירתם, רצוי בנושאים שהם מבינים בהם משהו. ואני מה אני מבין? בקושי קצת סטטיסטיקה. לכן החלטתי לשחזר את ניסוי הליידי הטועמת תה.

השאלה שעמדה על הפרק היא האם יש הבדלים בין הטעם של שני המותגים המובילים של תה קר בישראל: נסטי ופיוז טי. וזו שאלה קריטית, מכיוון שבני הוא חסיד של אחד המותגים האלה ומסרב בכל תוקף לצרוך את המותג השני, דבר שמטיל על משפחתנו הקטנה מגבלות בלתי סבירות.

כמובן שאת השיעור התחלתי בסקירה קצרה של נושא תכנון הניסויים ותיאור הניסוי הקלאסי של פישר, אבל גולת הכותרת הייתה הניסוי עצמו.

תכנון הניסוי היה כדלקמן: בכל שלב, הוצגו לאחד התלמידים[1] שתי כוסות תה קר. לעיתים בשתי הכוסות נמזג אותו מותג תה, לעיתים בכל כוס נמזג מותג אחר. לאחר טעימה ורחרוח היה על שפן הניסוי לומר האם הוא חש בהבדל טעמים בין הכוסות או לא.

ההחלטה האם למזוג לתוך שתי הכוסות את אותו סוג תה או האם למזוג לכל כוס סוג אחר נקבעה על ידי הטלת מטבע. במקרה שהגורל קבע כי לשתי הכוסות יימזג אותו מותג תה, הטלת מטבע נוספת קבעה את המותג שיימזג לשתי הכוסות.

הזמן שלנו הספיק לביצוע של 17 טעימות, והנה התוצאות:

 

 

 

 

 

 

 

 

האם הטועם צדק
כן לא סך הכל
האם תכולת הכוסות זהה כן 5 5 10
לא 4 3 7
סך הכל 9 8 17

 

המסקנה שלי היא כי לא נמצאה עדות להבדלים בטעמים בין שני המותגים[2].  הבן שלי שוכנע. בארוחת הצהריים הוא שתה להנאה מהמותג שעד כה הוחרם. הניסוי הוכתר כהצלחה.


הערות
  1. אני נצמד לכללי האקדמיה ללשון העברית, אבל אני גם חייב לציין כי מספר הבנות היה גדול פי 3 ממספר הבנים []
  2. אתם מוזמנים לערוך מבחן חי בריבוע או מבחן פישר []