IT SPU ชวนอ่านงานวิจัยเปิดข้อมูลจริง สร้างมาตรฐานใหม่ให้ทีมสตรีมมิงเข้าถึงการเรียนรู้ด้าน “retention modeling” ได้อย่างโปร่งใสและทำซ้ำได้
ในสนามแข่งขันของแพลตฟอร์มสตรีมมิง วันนี้เกมไม่ได้วัดกันที่ผู้ใช้ใหม่ แต่ที่ใคร “อยู่ต่อ” หรือ “ยกเลิกเงียบๆ” งานวิจัยใหม่ในวารสาร Discover Artificial Intelligence ของ Jinmei Chen และ Dongye Chen เสนอคำตอบเชิงวิศวกรรมข้อมูลที่ตรวจสอบได้จริง: พยากรณ์การคงอยู่ของผู้ใช้ด้วยกรอบการทำงานครบถ้วน บนชุดข้อมูลสาธารณะ ไม่พึ่งข้อมูลปิดของอุตสาหกรรม
หัวใจของงานคือการตั้งเวทีที่ยุติธรรมและทำซ้ำได้สำหรับทดสอบโมเดลพยากรณ์การเลิกใช้งาน (churn) โดยใช้ MovieLens 1M ซึ่งมีเรตติ้ง 1,000,209 รายการ จากผู้ใช้ 6,040 คน และภาพยนตร์ 3,952 เรื่อง (ปี 2000–2003) ผู้ใช้ทุกคนให้เรตอย่างน้อย 20 ครั้ง ทำให้มีประวัติพฤติกรรมเพียงพอ นิยาม “คงอยู่” มาจากเกณฑ์ไม่มีปฏิสัมพันธ์เกิน 30 วัน หากช่องว่างระหว่างสองกิจกรรมล่าสุดเกิน 30 วันจะถูกจัดเป็น churn ข้อมูลมีความไม่สมดุลระดับปานกลาง (คงอยู่ 59.8% / churn 40.2%) จึงประเมินด้วยเมตริกหลายมิติ ไม่ยึดติดแค่ความแม่นยำ
การสร้างคุณลักษณะ (feature engineering) แบ่งเป็น 4 กลุ่ม: พฤติกรรม (ค่าเฉลี่ย/ความแปรปรวนของเรตติ้ง), เวลา (ความถี่การให้เรต ช่วงห่างระหว่างเรต กิจกรรมล่าสุด ดัชนี binge ในวันเดียว), เนื้อหา (เวกเตอร์ความชอบแนวภาพยนตร์และความหลากหลายตามค่าเอนโทรปี) และประชากรศาสตร์ (อายุ เพศ อาชีพ แบบ one-hot) พร้อมสเกลด้วย min–max และตรวจสอบสหสัมพันธ์แบบ Pearson
ทีมงานเปรียบเทียบ 10 อัลกอริทึม ตั้งแต่ Logistic Regression, Decision Tree, SVM (RBF), Random Forest, MLP ไปจนถึงสาย boosting (Gradient Boosting, XGBoost, LightGBM, CatBoost) และโมเดลฐานสำหรับข้อมูลตารางยุคใหม่ TabPFN 2.5 จุดแข็งของการทดลองคือการแบ่งข้อมูลแบบ time-aware ป้องกัน leakage ใช้ train/test 80/20 พร้อม stratified 5-fold cross-validation ปรับจูนด้วย grid search และกำหนด seed เพื่อการทำซ้ำได้
ผลลัพธ์ชัดเจน: TabPFN 2.5 ทำคะแนนสูงสุดทุกมิติ บนชุดทดสอบได้ Accuracy 0.814, Precision 0.789, Recall 0.741, F1-score 0.764, AUC 0.866, Specificity 0.862 ขณะที่ Gradient Boosting คือแชมป์ฝั่งโมเดลตีความได้ (Accuracy 80.2%, F1 0.752, AUC 0.852) การทดสอบนัยสำคัญเชิงสถิติยืนยันว่า TabPFN 2.5 เหนือกว่า Gradient Boosting อย่างมีนัยสำคัญ สอดคล้องกับ ROC และ Precision–Recall ที่จัดลำดับโมเดลได้คงที่
การวิเคราะห์ความสำคัญของคุณลักษณะผ่าน Gradient Boosting พบว่า “พฤติกรรมและเวลา” ขับเคลื่อนการคาดการณ์มากที่สุด ได้แก่ ความถี่การให้เรต ช่วงห่างระหว่างเรต ความหลากหลายแนวภาพยนตร์ และความใหม่ของกิจกรรม ผู้ใช้ที่ยังคงอยู่มักมีปฏิสัมพันธ์ถี่ ช่วงห่างสั้น และรสนิยมที่หลากหลาย ด้านประชากรศาสตร์มีอิทธิพลน้อยกว่าอย่างมีนัย
ข้อควรระวังคือ MovieLens 1M เป็นข้อมูลเชิงประวัติศาสตร์ งานนี้จึงเป็น “มาตรฐานอ้างอิงที่โปร่งใสและทำซ้ำได้” มากกว่าการสะท้อนพฤติกรรมสมัยใหม่โดยตรง ประเด็นต่อยอด ได้แก่ ผนวก watch time/clickstream ใช้โมเดลลำดับเวลา (LSTM/Transformers) และทดสอบกับข้อมูลร่วมสมัย สำหรับทีมสตรีมมิง บทสรุปเชิงปฏิบัติคือ “พฤติกรรมการใช้งาน” บอกแนวโน้มคงอยู่ได้ดีกว่า “ข้อมูลประชากร” การมอนิเตอร์ความถี่ ความสม่ำเสมอ และความหลากหลายของการมีปฏิสัมพันธ์จึงช่วยออกแบบการแทรกแซงเชิงรุกเพื่อลด churn ได้จริง
IT SPU นำเสนอสาระจากงานนี้เพื่อเปิดทางให้นักศึกษา นักพัฒนา และวิศวกรข้อมูลเข้าถึงแนวปฏิบัติที่ตรวจสอบได้ ลดข้อจำกัดในการเรียนรู้เชิงปฏิบัติของ retention modeling ด้วยการอ้างอิงชุดข้อมูลสาธารณะและ DOI ของต้นฉบับ
Article: Chen, J., & Chen, D. (2026). Predictive modeling of user retention based on online behavior in media service platforms. Discover Artificial Intelligence, 6(1), Article 1008. DOI: 10.1007/s44163-026-02043-z
IT SPU spotlights transparent, repeatable churn prediction—bringing hands-on retention modeling within reach for streaming tech teams
In today’s streaming wars, the real contest is not sign-ups but stay-or-churn. A new study in Discover Artificial Intelligence by Jinmei Chen and Dongye Chen tackles retention with rare transparency: a complete, reproducible predictive framework built entirely on public data—no proprietary datasets required.
The authors establish a fair, standard test bed using MovieLens 1M: 1,000,209 ratings from 6,040 users on 3,952 movies (2000–2003). Every user rated at least 20 items. Retention is defined via a 30-day inactivity threshold; class balance is moderate (59.8% retained vs. 40.2% churn), so evaluation goes beyond accuracy alone.
Feature engineering spans four families: behavioral (mean/variance), temporal (rating frequency, inter-rating time, recency, binge index), content (genre affinity and entropy-based diversity), and demographics (age, gender, occupation via one-hot), with min–max scaling and Pearson checks for redundancy.
Ten models are compared: Logistic Regression, Decision Tree, SVM (RBF), Random Forest, MLP, and four boosting variants (Gradient Boosting, XGBoost, LightGBM, CatBoost), plus TabPFN 2.5—a tabular foundation model pretrained on synthetic tasks. A time-aware split avoids leakage, using 80/20 train/test with stratified 5-fold CV, grid-search tuning, and fixed seeds for repeatability.
Results are decisive: TabPFN 2.5 tops all metrics on the held-out set—Accuracy 0.814, Precision 0.789, Recall 0.741, F1 0.764, AUC 0.866, Specificity 0.862. Gradient Boosting is the strongest interpretable conventional ensemble (Accuracy 80.2%, F1 0.752, AUC 0.852). Statistical tests confirm TabPFN 2.5 significantly outperforms Gradient Boosting, mirroring ROC and precision–recall rankings.
Feature importance (via Gradient Boosting) shows behavior and timing drive retention: frequent interactions, shorter gaps, and higher genre diversity (notably drama/action) characterize retained users; demographics play a secondary role. The authors note MovieLens 1M is historical, so the contribution is a transparent, reproducible baseline rather than a mirror of today’s platforms. Future work: add watch time/clickstream, apply sequence models, and test modern datasets.
IT SPU shares this research digest to lower learning barriers for students, developers, and data engineers—offering a rigorous, public-data baseline and DOI reference for hands-on retention modeling.
Article: Chen, J., & Chen, D. (2026). Predictive modeling of user retention based on online behavior in media service platforms. Discover Artificial Intelligence, 6(1), Article 1008. DOI: 10.1007/s44163-026-02043-z
