הגיעו המשובים של קורס ניהול המוצר האחרון שלימדתי במכללת Product Experts. בדיקה קצרה של המשובים גילתה שאני המדריך הכי טוב בעולם. שימו לב:
מה היא רמת שביעות הרצון שלך ממדריך הקורס? תוצאה 10/10.
איך היית מדרג\ת את רמת המקצועיות והידע של המדריך? תוצאה: 10/10.
אם היינו כולנו אנשי מכירות – זה כל מה שהיינו צריכים. מייד היינו מעבירים לצוות הפרסום טקסטים למודעות עם כותרות כגון “אורי ליפשיץ – מדריך מושלם!”, “100% מהסטודנטים מסכימים – אורי הוא המדריך האולטימטיבי!”, או “אורי ליפשיץ – הבחירה של מנהלי המוצר של הדור החדש!”.
אבל אנחנו לא אנשי מכירות. אנחנו מנהלי מוצר. וכמנהלי מוצר אנחנו צריכים לוודא שהמידע שיש בידינו באמת נכון ומייצג את המציאות. אז בואו נעצור רגע, נסתכל על הנתונים ונבחן ביחד למה התוצאות הללו הן לא מושלמות כמו שהן נראות.
גודל דגימה (sample size)
אחת השאלות הראשונות שאנחנו צריים לשאול את עצמנו לגבי כל סקר הוא גודל הדגימה שלנו. בקורס המדובר 21 סטודנטים סיימו את הקורס בהצלחה. מתוכם הסוקרת של המכללה הצליחה לתפוס רק 7 למילוי הסקר. 7 מתוך 21 זה 33%. נתח נכבד אבל לאו דווקא מייצג, בטח במספרים כאלו קטנים. אז ברור שהמגמה היא חיובית אבל גם ברור שאני הייתי מחכה לסבב ב’ שבשאיפה יוסיף נתונים מ-14 הסטודנטים הנוספים.
כשל בחירה (selection bias)
האם בדקנו סטודנטים בפיזור נכון? יכול להיות שרק הסטודנטים שהיה להם משהו טוב להגיד הגיבו לסקר, יכול להיות שסטודנטים שהיה להם קורס בינוני לא רצו להגיב ולומר דברים שליליים. אני יודע שכנראה זה לא המקרה כי משוב שלילי אנחנו מקבלים כל הזמן ומשפרים בהתאם אבל תמיד חשוב לוודא שהדגימה שלנו מכסה כמה תתי-אוכלוסיות שונות.
האם אלו הפרמטרים הנכונים למדידה?
בסדר, נניח שאני מדריך ממש אחלה. האם זה הפרמטר החשוב ביותר עבורינו?. אין תשובה חד משמעית לשאלה הזו. אנחנו חייבים לדעת מה אנחנו רוצים לבדוק לפני שאנחנו בוחרים את הפרמטרים למדידה. אם אנחנו מתלבטים בין כמה מרצים לאותו הקורס אז כן, הפרמטר הזה הוא החשוב ביותר.
אבל אם אנחנו מתלבטים בין כמה קורסים בין מכללות שונות אז שאלות כגון “עד כמה אתה מרוצה מהקורס?” יכול להיות פרמטר יותר מוצלח. אם אני יודע על עצמי שאני עצלן ואם לא יתנו לי כמות גדולה של תרגולים אז הפרמטר “האם היתה כמות מספקת של תרגול?” תהיה הרבה יותר חשובה לי. בשני המקרים הללו הממוצע הוא 9. עדיין מעולה, אבל לא ה-10 המושלם שראינו קודם.
קטיף דובדבנים (Cherry-picking)
לפעמים יש לנו הרבה מידע. וזה ממש נוח להתמקד בחלק ממנו (שכן תומך בהנחה שלנו) ולהתעלם מהחלק (שלא תומך בהנחה שלנו). אם היו לנו עוד שאלות על ביצועי המדריך בסקר (ואין) אז יכלתי בקלות להשמיט אותם כדי שיראה כאילו התוצאה היא יותר חיובית משהיא באמת. לפעמים הגורם לכך הוא שאני כל כך “מתאהבים” ברעיון שלנו שאנחנו פשוט לא מוכנים לקבל נתונים שלא תומכים בו. זו בעיה נפוצה אצל מנהלי מוצר שבטוחים שהתחושת בטן שלהם היא הדבר הנכון.
התמקדות רק על המספרים
למספרים יש קסם. הם נראים מאוד מדויקים. אבל חשוב לזכור שהמספרים שלנו מייצגים משהו בעולם האמיתי. והדברים שהם מייצגים לא תמיד מיתרגמים היטב למספרים. למשל, יחד עם סקר הההוראה יש שאלה פתוחה של “מה היית משפר בקורס?”, בכמעט כל קורס שהעברתי – התשובות לשאלה הזו היו מכרה זהב של הצעות מעולות. אבל הצעות בטקסט זה לא משהו שאפשר לשים על גרף ולכן נוטים להתעלם ממנו. ודווקא החלק הזה הוא אחד מההכי חשובים בשבילי כי הוא גורם לי ולקורס שאני מלמד להשתפר.
התמונה הגדולה
לפעמים אנחנו מאוד ממוקדים בדברים כמו מדריך או תרגולים שקל לשכוח להסתכל על התמונה הגדולה. עבור מוצרי טכנולוגיה זה יכול להיות קריטי. הוספת יכולות למוצר אחד או לפיצ’ר ספציפי של החברה עלולה לפגוע בחלקים אחרים של המוצר, או לגרום להשפעה כוללת שלילית ובסופו של דבר לגרום להפסדים. בגלל זה תמיד חשוב שנשקול את ההשפעה על מה שאנחנו עושים על המכלול של המוצר שלנו ולא רק על הפרט. וכמובן שאנחנו רוצים לבדוק פרמטרים שכוללים את כל המכלול, למשל “עד כמה אתה מרוצה מהקורס?”:
לסיכום
אני מקווה שברור לכולנו שאנחנו צריכים להיות קצת ספקנים לגבי המידע שאנחנו נתקלים בו בעולם בפרסומים או סקרים. וגם אם ברור – תזכורת זה תמיד טוב. אבל חשוב שנזכיר לעצמנו להיות קצת ספקנים גם לגבי המידע שאנחנו אוספים בעצמנו. כשלים לוגיים והטיות יש לכל אחד ואם אנחנו לא מודעים אליהם אז אנחנו נמשיך ליפול באותם כשלים.
