Vanity Metrics กับ Actionable Metrics: แยกความแตกต่างอย่างไร
Vanity metrics ทำให้รู้สึกว่าก้าวหน้าแต่ไม่ได้สร้างความก้าวหน้าใดๆ นี่คือแบบทดสอบเชิงปฏิบัติสำหรับแยกความแตกต่าง พร้อมตารางอ้างอิงของตัวชี้วัดที่พบบ่อยที่สุด
คำว่า "vanity metric" เป็นที่รู้จักแพร่หลายจาก Eric Ries ในหนังสือ The Lean Startup แต่แนวคิดนี้มีมาก่อนหนังสือหลายสิบปี หมายถึงตัวชี้วัดใดก็ตามที่ทำให้คุณรู้สึกดีกับธุรกิจ โดยไม่ได้ช่วยให้เข้าใจหรือปรับปรุงธุรกิจ เช่น ยอดเข้าชมหน้าเว็บ ยอดดาวน์โหลดรวม ยอดสมัครรวม การได้รับการกล่าวถึงในสื่อ และ impressions บน Twitter ตัวเลขเหล่านี้เพิ่มขึ้น และการเพิ่มขึ้นให้ความรู้สึกเหมือนชนะ ซึ่งนั่นเองคืออันตราย เพราะแรงที่ใช้ฉลองและรายงาน vanity metrics คือแรงที่ไม่ได้ใช้กับตัวเลขที่ขับเคลื่อนการตัดสินใจจริงๆ
ความแตกต่างระหว่าง vanity กับ actionable ไม่ได้ชัดเจนเสมอไป และบางตัวชี้วัดก็เข้าได้ทั้งสองประเภทขึ้นอยู่กับบริบท ต่อไปนี้คือกรอบการตัดสิน และตารางอ้างอิงที่ครอบคลุมตัวชี้วัดที่มักถูกถกเถียงมากที่สุด
แบบทดสอบสามคำถาม
ใช้สามคำถามนี้กับตัวชี้วัดใดก็ตามที่คุณกำลังพิจารณาติดตาม หากไม่ผ่านมากกว่าหนึ่งข้อ แทบแน่นอนว่าเป็น vanity metric
คำถามที่ 1: ตัวชี้วัดนี้ลดลงได้หรือไม่? ตัวชี้วัดที่มีแต่เพิ่มขึ้น เช่น ผู้ใช้ที่ลงทะเบียนทั้งหมด ยอดเข้าชมสะสม ยอดดาวน์โหลดตลอดกาล ไม่มีข้อมูลบอกว่าตอนนี้สิ่งต่างๆ กำลังดีขึ้นหรือแย่ลง Actionable metrics เคลื่อนได้ทั้งสองทิศทาง ความสามารถในการลดลงนี่เองที่ทำให้ตัวชี้วัดมีความหมายในฐานะสัญญาณ
คำถามที่ 2: การเปลี่ยนแปลงของตัวชี้วัดนี้กระตุ้นให้เกิดการลงมือทำที่เฉพาะเจาะจงหรือไม่? หากตัวชี้วัดนี้ลดลง 20% ในเดือนหน้า คุณจะรู้หรือไม่ว่าต้องทำอะไรต่างออกไป หากคำตอบคือ "เราจะตรวจสอบเพิ่มเติม" แสดงว่าตัวชี้วัดกว้างเกินไปที่จะนำไปลงมือได้โดยตรง หากคำตอบคือ "เราจะเพิ่มการโทรขายขาออก" หรือ "เราจะแก้โฟลว์ onboarding ที่ขั้นตอนที่สาม" แสดงว่าเป็น actionable
คำถามที่ 3: ตัวชี้วัดนี้ปั่นให้สูงขึ้นได้ยากหรือไม่ หากไม่ได้ปรับปรุงความเป็นจริงเบื้องหลัง? ผู้ใช้ที่ลงทะเบียนทั้งหมดปั่นได้ด้วยการซื้อรายชื่ออีเมลหรือเปิดตัวบน Product Hunt ส่วนผู้ใช้งานรายสัปดาห์ปั่นไม่ได้ หากไม่ดึงผู้ใช้กลับมาที่ผลิตภัณฑ์จริงๆ ตัวชี้วัดที่ปั่นง่ายโดยไม่สร้างคุณค่าที่แท้จริงคือ vanity metrics โดยธรรมชาติ
Vanity metric ไม่ใช่ตัวชี้วัดที่ดูดี แต่เป็นตัวชี้วัดที่ทำให้คุณรู้สึกว่ากำลังดีขึ้นทั้งที่อาจไม่ได้เป็นเช่นนั้น ความรู้สึกนั้นคือกับดัก
ตารางอ้างอิง
| ตัวชี้วัด | ข้อสรุป | เหตุผล |
|---|---|---|
| ผู้ใช้ที่ลงทะเบียนทั้งหมด | Vanity | มีแต่เพิ่มขึ้น ไม่บอกอะไรเกี่ยวกับการมีส่วนร่วม คุณค่าที่ส่งมอบ หรือว่าผลิตภัณฑ์ใช้งานได้ผลหรือไม่ ควรใช้ผู้ใช้งานรายเดือนหรืออัตรา activation แทน |
| ผู้ใช้งานรายเดือน (MAU) | Actionable | เพิ่มหรือลดได้ สะท้อนว่าผู้ใช้กลับมาหรือไม่ ซึ่งเป็นเงื่อนไขเบื้องต้นของ retention และรายได้ ทรงพลังเป็นพิเศษเมื่อติดตามแยกตามกลุ่ม cohort |
| ยอดเข้าชมหน้าเว็บ / เซสชันเว็บไซต์ | Vanity | ปั่นได้ด้วยทราฟฟิกจากบอต กระแสโซเชียลชั่วคราว หรือการใช้เงินซื้อโฆษณา หากไม่มีอัตรา conversion ประกอบ จะอธิบายได้เพียงความสนใจ ไม่ใช่แรงขับเคลื่อน ควรใช้อัตรา conversion จากทราฟฟิกเป็นการทดลองใช้แทน |
| อัตรา conversion จากช่วงทดลองใช้เป็นผู้ใช้แบบชำระเงิน | Actionable | วัดว่า funnel การหาลูกค้าของคุณทำงานหรือไม่ เมื่อลดลงจะกระตุ้นให้ตรวจสอบ onboarding ราคา หรือการสื่อสารโดยเฉพาะ ปั่นได้ยากหากไม่ได้ปรับปรุง conversion จริง |
| ผู้ติดตามบนโซเชียลมีเดีย | Vanity | จำนวนผู้ติดตามซื้อได้ เป็นไปตามกฎกำลัง (power law) ที่ไม่เกี่ยวกับคุณภาพธุรกิจ และทำนายผลลัพธ์ทางธุรกิจปลายทางได้แย่ ควรติดตามอัตราการแนะนำต่อหรือ share of voice ในคอมมูนิตี้ที่ตรงกลุ่มแทน |
| ขนาดรายชื่ออีเมล | ขึ้นอยู่กับบริบท | เป็น vanity หากไม่ได้คัดกรองและไม่มีการมีส่วนร่วม เป็น actionable หากแบ่งกลุ่มตามระดับการมีส่วนร่วมและสัมพันธ์กับ conversion ปลายทาง ขนาดรายชื่อสำคัญก็ต่อเมื่ออัตราการเปิดและอัตราการคลิกอยู่ในเกณฑ์ดี |
| Net Promoter Score (NPS) | ขึ้นอยู่กับบริบท | เป็น actionable เมื่อติดตามอย่างสม่ำเสมอตามช่วงเวลา แยกย่อยตามกลุ่ม และมีกระบวนการติดตามผู้ให้คะแนนต่ำ (detractor) เป็น vanity เมื่อสำรวจครั้งเดียว ฉลอง แล้วเก็บเข้าแฟ้ม คะแนนมีค่าน้อยกว่าแนวโน้มและการติดตามผลเชิงคุณภาพ |
| รายได้ (รวม) | ขึ้นอยู่กับบริบท | เป็น actionable เมื่อแยกย่อยตาม cohort ช่องทาง และกลุ่มลูกค้า อาจทำให้เข้าใจผิดเมื่อนำเสนอเป็นตัวเลขรวมตัวเดียวที่บดบัง churn สูงไว้เบื้องหลังการได้ลูกค้าใหม่ที่แข็งแกร่ง ควรจับคู่กับ net revenue retention เสมอ |
| การถูกกล่าวถึงในสื่อ / การได้รับการรายงานข่าว | Vanity | แทบไม่สัมพันธ์กับผลลัพธ์ทางธุรกิจในระยะเริ่มต้น ให้วัดว่าข่าวนำไปสู่การทดลองใช้หรือการสมัครหรือไม่ หากไม่ ก็ควรอยู่ในคลังเก็บด้านการตลาด ไม่ใช่แดชบอร์ดธุรกิจ |
| อัตรา retention วันที่ 30 | Actionable | วัดโดยตรงว่าผู้ใช้ใหม่พบคุณค่าเพียงพอที่จะยังใช้งานต่อหนึ่งเดือนหลังสมัครหรือไม่ เป็นหนึ่งในตัวชี้วัดนำที่ตรงไปตรงมาที่สุดของ retention ระยะยาวและ LTV สำหรับทีมระยะเริ่มต้น |
| คะแนนใน App Store | Vanity | สะท้อนกลุ่มตัวอย่างที่เลือกตัวเองและมีอคติ ได้แก่ผู้ใช้ที่พอใจมากที่สุดและน้อยที่สุด มีประโยชน์สำหรับฟีดแบ็กเชิงคุณภาพ แต่ใช้เป็นตัวชี้วัดธุรกิจไม่ได้ ควรติดตาม retention วันที่ 30 และอัตรา churn เพื่อวัดความพึงพอใจต่อผลิตภัณฑ์ที่แท้จริง |
| ต้นทุนการได้ลูกค้ามา (CAC) | Actionable | นำไปลงมือได้โดยตรง เมื่อเพิ่มขึ้นจะกระตุ้นให้ตรวจสอบประสิทธิภาพช่องทาง อัตรา conversion และต้นทุนบุคลากร มีความหมายก็ต่อเมื่อคำนวณโดยรวมต้นทุนครบ (บุคลากร + ค่าโฆษณา + เครื่องมือ) และติดตามแยกตามช่องทาง ไม่ใช่แค่ตัวเลขรวม |
หมวด "ขึ้นอยู่กับบริบท" ควรได้รับความสนใจ
ตัวชี้วัดหลายตัวในตาราง ได้แก่ NPS รายได้ และขนาดรายชื่ออีเมล อยู่ในหมวด "ขึ้นอยู่กับบริบท" ซึ่งควรขยายความ ตัวชี้วัดเหล่านี้เป็น actionable ในบริบทหนึ่งและเป็น vanity ในอีกบริบทหนึ่ง ความแตกต่างแทบทุกครั้งอยู่ที่วิธีติดตาม แบ่งกลุ่ม และติดตามผล ไม่ใช่ตัวชี้วัดเอง
NPS เป็นตัวอย่างที่ชัดเจนที่สุด ตัวเลข NPS รวมตัวเดียวที่สำรวจปีละครั้งและนำเสนอในสไลด์ประชุมบอร์ดเป็น vanity metric มันบอกบางอย่าง (คะแนน) รู้สึกมีความหมาย (ตัวเลขเกิน 40 ถือว่า "ดี") แต่ไม่ได้บอกว่าลูกค้ารายใดเป็น detractor เพราะอะไร หรือควรทำอะไรเพื่อเปลี่ยนใจพวกเขา NPS ที่ติดตามรายเดือนแยกตามกลุ่มลูกค้า พร้อมกระบวนการติดตามผลที่สม่ำเสมอกับทุกคำตอบของ detractor เป็นตัวชี้วัดที่ actionable ตัวเลขเดียวกัน แต่ประโยชน์ต่างกันโดยสิ้นเชิง
ตัวชี้วัดแทบทุกตัวใช้ลงมือได้มากขึ้นเมื่อแบ่งกลุ่ม รายได้รวมที่แยกตามช่องทางการได้ลูกค้า กลุ่มลูกค้า และขนาดสัญญา ให้ข้อมูลเชิงลึกที่ต่างจากยอดรวมโดยสิ้นเชิง งานของการทำให้ตัวชี้วัดใช้ลงมือได้ มักคืองานแยกมันออกเป็นกลุ่มย่อยที่ความแตกต่างอยู่ เพราะความแตกต่างคือที่ที่โอกาสในการตัดสินใจอยู่
ต้นทุนเชิงองค์กรของ vanity metrics
Vanity metrics ไม่ได้ไร้พิษภัย ต้องใช้เวลาจัดทำ เวลารายงาน และที่เสียหายที่สุดคือทำให้ทีมรู้สึกดีกับงานที่อาจไม่ได้ผลักดันธุรกิจ ทีมที่ฉลองผู้ใช้ที่ลงทะเบียน 100,000 รายคือทีมที่ไม่ได้ถามว่าทำไมมีเพียง 4,000 รายที่ใช้งานอยู่ คำถามที่ไม่ถูกถามนั้นคือความต่างระหว่างผลิตภัณฑ์ที่แก้ปัญหา retention ได้ในเดือนที่ 6 กับผลิตภัณฑ์ที่เพิ่งค้นพบในเดือนที่ 18 เมื่อเส้นทางการเติบโตถูกกำหนดไปแล้ว
วิธีแก้ที่ใช้ได้จริงไม่ใช่การห้ามตัวชี้วัดระดับสูงทั้งหมดออกจากแดชบอร์ด แต่คือการจับคู่ตัวชี้วัดที่ฉลองง่ายทุกตัวกับตัวชี้วัดที่ยากกว่าซึ่งให้บริบทที่มันขาด ผู้ใช้ที่ลงทะเบียนทั้งหมด จับคู่กับผู้ใช้งานรายเดือนและอัตรา activation ทราฟฟิกเว็บไซต์ จับคู่กับอัตรา conversion การทดลองใช้ รายได้รวม จับคู่กับ net revenue retention แต่ละคู่สร้างแรงตึงที่ป้องกันไม่ให้ตัวชี้วัดที่ทำให้สบายใจนำไปสู่ความชะล่าใจ
นักลงทุนบางราย โดยเฉพาะในระยะแรกสุด จะขอผู้ใช้ที่ลงทะเบียนทั้งหมด ยอดดาวน์โหลดแอป หรือจำนวนผู้ติดตามโซเชียลเป็นหลักฐานของแรงขับเคลื่อน ควรเข้าใจเหตุผล ตัวชี้วัดเหล่านี้เปรียบเทียบข้ามบริษัทและระยะได้ง่าย และนักลงทุนที่ไม่มีความเชี่ยวชาญเชิงลึกใช้เป็นตัวแทนคร่าวๆ ให้ไปเมื่อถูกขอ แต่ให้เริ่มด้วย actionable metrics ที่เล่าเรื่องจริงเสมอ ผู้ก่อตั้งที่อธิบายว่า "เรามีผู้ใช้ลงทะเบียน 8,000 ราย ในนั้น 3,400 รายใช้งานรายเดือน และมี retention วันที่ 30 อยู่ที่ 72%" แสดงถึงความชัดเจนด้านการดำเนินงานที่จำนวนผู้ใช้เฉยๆ สื่อไม่ได้
การเปลี่ยนจาก vanity มาเป็น actionable metrics เป็นนิสัยเชิงวัฒนธรรมพอๆ กับเรื่องเทคนิค ใน FabricLoop ทีมที่เปลี่ยนแล้วมักมีโน้ตกลางที่ใช้ร่วมกันหนึ่งฉบับ ซึ่งระบุตัวชี้วัดทางการ ได้แก่ตัวที่ปรากฏในการทบทวนรายสัปดาห์ ตัวที่มีเจ้าของ และตัวที่สร้างงานเมื่อเคลื่อนไปในทิศทางที่ไม่ดี รายการนั้นทำหน้าที่เป็นตัวกรอง เมื่อมีคนเสนอเพิ่มตัวชี้วัดใหม่ในการทบทวน คำถามว่า "ผ่านแบบทดสอบสามคำถามหรือไม่" ก็มีจุดอ้างอิงร่วมกัน รายการไม่จำเป็นต้องยาวจึงจะทรงพลัง มักมีหกถึงแปดตัวชี้วัดที่ติดตามสม่ำเสมอก็เพียงพอที่จะทำให้ทีมที่กำลังเติบโตมุ่งไปในทิศทางที่ถูกต้อง