BI from open sources with GT data mining

מודיעין עסקי ממקורות פתוחים עם GT data mining

By:  Edith Ohri,  Datalert

Home of GT data mining

edith@datalert.co.il

האתגר הגדול של המודיעין התחרותי הוא ניצול נתונים ממקורות פתוחים, ובעיקר – חיפוש דפוסים סמויים. 
אחד הקשיים הגדולים בחיפוש דפוסים סמויים, נובע מכך שהמקורות הפתוחים באים מהשטח  ומכילים תערובת של תופעות שונות, ולכן הם אינם אינם אחידים, ובעלי תלויות פנימיות רבות, והתפלגויות עם "זנב ארוך", שבסופו של דבר גורמות ליבול מסקנות קטן שמציב סימן שאלה על כדאיות מאמץ ניתוח הנתונים.

לטיפול בנתונים כאלה פותח הפתרון GT data mining. המיוחד בפתרון זה הוא היכולת לזהות דפוסי התנהגות שאינן ידועים מראש, ובנתונים לא מפוקחים. אבחון הדפוסים הטיפוסיים  מאפשרת ל-GT לזהות גורמים משפיעים, אפילו כשהם נדירים או חדשים - first time right. זו תכונה חשובה. 

להמחשה, להלן דוגמא שבה המטרה היא לחשב את מחיריהם של מוצרים חדשים, כשהם עוד על הניר. המפעל נוהג לקבוע מחירים אלה בזמן השיווק, תוך ניסוי ותעייה ולימוד מחירי המתחרים ותגובת הלקוחות. במפעל משוכנעים שרק כך ניתן להגיע למחיר מכירה מיטבי. הדוגמא מוכיחה שישנה עוד דרך, ע"י שחזור נוסחאות ממחירים הסטוריים.

דוגמא: חיזוי מחירי שוק של מוצרים חדשים על סמך מחירונים ישנים.

נתונים:

מחירונים של כ-20 אלף מוצרים על פני מספר שנים בארצות שונות. על כל מוצר יש 22 משתנים שמתארים אותו,את מחיריו בכל ארץ ותאריך המחירון.

ממצאים: 

GT מזהה 3 קבוצות של משפחות מוצרים (ידועות) ובתוכן 9 תת-קבוצות כולל תת-קבוצה חריגה אחת. לכל משפחת מוצרים יש חוקי התנהגות משלה, כולל גורמי מפתח ונוסחאות חיזוי מחירים.

ההפרדה הברורה לתת-קבוצות מדיקת את החיזוי, מאפשרת לקבוע בשלב מוקדם מחירים של מוצרים חדשים, וגם - לשפר את האפיון שלהם ולזרז את הגעתם לשוק. 

 

Fig 1 מחירים חזויים מול מחירים בפועל על פי נוסחאות GT – תוצאות סימולציה ב3 תת קבוצות טיפוסיות

תבנות חדשות (בדוגמא) 

* אפשר להשיג מידע על מחירי מתחרים בעקיפין, ע"י reverse-engineering של מחירונים ישנים.

* אפשר לחשוף באותה שיטה את התמחיר של המתחרים עצמם, וייתכן שאפילו לדעת את מחיריהם לפני שהם יודעים! זאת מאחר והמקור של מחירונים הינו גלוי וקל להשגה. 

* עוד תבנה בלתי צפוייה שהתקבלה בעבודה זו - אפשר לשדרג את נוסחאות השיווק הנוכחיות ולהגדיל את הרזולוציה והדיוק במודלים הקימים, בעזרת פרטים שמספק GT לתיאור הסיווגים של - "קבוצות מכירות" ו"קבוצות פריטים".

סיכום יתרונות GT:

1.      חשיפת סיבות שורש

2.      גילוי מוקדם

3.      אפשרויות מחשוב בכל פלטפורמה

4.      עלות נמוכה ליישום

5.      התאמה מהירה לשינויים

6.      הרחבה בקנה מידה גדול (ע"י התאמה מהירה במחירים נמוכים)

 

איך זה עובד? - עקרונות של GT שמאפשרים את הביצועים הנ"ל: 

האיסור לנקות נתוני קלט

הדרישה לכלול חריגים

הדרישה להוספת משתני-סביבה, ועוד.

About the author

Edith Ohri  is the developer of GT data mining and founder of Datalert startup for early detection, an Industrial & Management Eng. from the Technion and MSc from NY Polytech.

Management member of IE group in Association of Engineers and Architects in Israel, and a Liaison to Israel Society for Quality.

GT applications include:

SMU Singapore – early detection of top students and dropouts.

RAFAE”L – root cause of late deliveries in Purchasing

SCD Israel – root cause of a quality issue in production

Detection of earthquakes seismology patterns of behavior – Israel