פחות זה יותר

גודל הנתונים אינו כל מה שאתם צריכים. הגדלה עיוורת של גודל מערך הנתונים בזמן אימון מקדים של מודל מעמידה חברות המתמקדות ב-AI בסיכון לביצוע טעויות חמורות. אימון מודלים על מערכי נתונים גדולים עם התפלגות לא ידועה מוביל להתנהגויות בלתי צפויות: ברובוטיקה זה עלול להוביל למסלולים שגויים ומסוכנים, עבור חברת בריאות להערכות סיכון לא מדויקות, ועבור LLMs לייצור דיבור מזיק ⁹. ב-X, Grok עשה את הטעות הזו, ייצר דיבור מזיק בפוסט שנמחק המוצג באיור 0a. אפילו מנכ"ל xAI הודה שהם צריכים להיות יותר "סלקטיביים לגבי נתוני האימון, במקום פשוט להתאמן על כל האינטרנט". אבל איך בוחרים נתונים כראוי כדי לאמן ולהעריך את המודלים האלה כראוי? אילו כלים קיימים?

הפתרון הוא לייצג נתונים בצורה חכמה בצורה שניתן לקיים איתה אינטראקציה ושמגוונת מספיק מבחינה סמנטית. גישה זו עוזרת: 1. ליצור מערכי נתונים לאימון והערכה הן לאימון מקדים והן לאימון לאחר מכן, 2. לזהות חורים בנתונים ו-3. להמליץ כיצד למלא את הפערים האלה (על ידי קנייה או איסוף).

גלגלי נתונים וחברות הערות

בתעשייה, רוב מנכ"לי חברות ה-AI, חוקרי ה-AI והמהנדסים אינם מרוצים מחברות ההערות המודרניות המשתלבות בגלגלי הנתונים שלהם.

הפתרון הנפוץ כיום עבור חברות AI הוא לצבור מערך נתונים גדול ללא תיוג לאימון מקדים (או להשתמש במודל מאומן מראש בקוד פתוח), לאחר מכן לתייג מערך נתונים גדול נוסף ספציפי למשימה המיועדת, ולבסוף לאצור ידנית סט אימון וסט הערכה. התיוג בדרך כלל מועבר במיקור חוץ לחברות הערות (ScaleAI, SuperAnnotate, Labelbox וכו') המשתלבות במנוע הנתונים. אבל תיוג של הכל במערך נתונים גדול לא עובד טוב כי הרחבת תיוג נתונים למיליוני או מיליארדי דוגמאות נוטה לטעויות, יקרה באופן בלתי בר-קיימא וגוזלת זמן, מה שמותיר את חברות ה-AI לא מרוצות. אבל חשוב יותר, לולאת התיוג היא תהליך שאינו נגמר מכיוון שגלגלי נתונים מסתגלים ברציפות למודלים מתפתחים ולנתונים שנאספים יותר, מה שהופך את דרישות התיוג לנזילות ומשתנות לאורך זמן; חברות ההערות לא יכולות לעמוד בקצב השינויים מכיוון שעדכוני מודל יכולים לקרות תוך שבועות בעוד שתיוג יכול לקחת חודשים.

לולאת התיוג המודרנית במנוע נתונים היא:

1. איסוף נתונים.
2. עיצוב או עדכון של מפרט תיוג כלשהו.
3. שליחת הנתונים והמפרט לחברת תיוג כלשהי (Scale, SuperAnnotate וכו'). תשלום עבור התיוג.
4. איטרציה עם חברת התיוג ואימון המודל.
5. התבוננות בתוצאות ולאחר מכן חזרה על שלבים 2-5 ללא הגבלה.

לדוגמה, חברת נהיגה אוטונומית עשויה לרצות לתייג תמרורי עצור אבל לאחר תיוג של מיליון תמרורי עצור וראיית התוצאות הם מבינים שהם רוצים לתייג את "הנראות" של תמרור העצור, ואז הם מבינים שהם גם רוצים לתייג עצים שעשויים להקיף תמרורי עצור ולהוסיף תווית "מוסתר". עכשיו כל הנתונים (שגם גדלו בינתיים מכיוון שאיסוף נתונים הוא רציף) צריכים להיות מתויגים מחדש! המחזור לעולם לא ייגמר כל עוד חברה משפרת את המודל שלה!

ההשקעה של Meta של 14.3 מיליארד דולר עבור 49% מהמניות כדי לשכור את מנכ"ל Scale.AI ¹¹ עשויה להיות אחד המהלכים המסוכנים ביותר שהחברה אי פעם עשתה בגלל הקשיים האלה עם חברות תיוג.

אז, אם אימון עיוור על מערכי נתונים עצומים הוא בעייתי, ותיוג של הכל הוא קשה, מה עוד עלינו לעשות? לאחר עבודה על הנושא הזה במשך ארבע השנים האחרונות, מצאנו שהפתרון הטוב ביותר הוא לייצג נתונים מספיק טוב כך שיהיה קל יותר לבחור ולהבין מה יש בנתונים שלנו וכיצד הנתונים האלה משפיעים על המודלים שלנו. אנחנו צריכים להיות מסוגלים לשוחח עם הנתונים שלנו בצורה שמאפשרת לנו לחפש במהירות דוגמאות ולבנות במהירות סטים להערכה כדי לבדוק מודלים.

זה מה שאנחנו בונים ב-Interpret AI. אנחנו בונים פלטפורמת התבוננות פנימית בנתונים, פלטפורמת אוצרות נתונים ושוק נתונים חכם המאפשר לחברות הבונות מערכות AI לקיים אינטראקציה ולהבין את מערכי הנתונים שלהן. אנחנו רואים עולם שבו אתם יכולים לשוחח עם הנתונים שלכם באמצעות שפה טבעית, אודיו, תמונה ווידאו כדי לחפש מופעים דומים כך שחברות יכולות לסמוך ולדעת את הנתונים שלהן (או את הפערים בנתונים שלהן) שמניעים את המודלים שלהן.

הרחיבו תחילה את מה שכנראה מועיל

גלגלי נתונים מסורתיים

1. לחברה יש תשתית כלשהי שאוספת נתונים באופן מתמיד למערך נתונים (1b). צוות אז יוצר תת-קבוצות נתונים היוריסטיות שבתקווה ברגע שיתויגו ישפרו את המודל שלהם (1a).
2. הנתונים נשלחים לחברת התיוג (הערות). חברת התיוג מייצרת תוויות (הערות) שאז נבדקות על ידי הצוות, מה שיכול לקחת חודשים של הלוך ושוב כדי להתכנס.
3. מודל ה-AI המאומן מראש אז מאומן מראש.
4. המודל המאומן מראש אז מכוונן באמצעות התוויות מחברת התיוג
5. המודל הסופי מוערך באמצעות מערכת ההערכה של החברה, מייצר מדדים.
6. החברה אז משתמשת במשוב הזה כדי אולי לבחור תת-קבוצות נתונים אחרות, לעדכן את דרישות התיוג, ו/או לבצע שינויי מודל. שימו לב שבשלב זה תת-קבוצת הנתונים כבר הולכת ומתיישנת.

הערה: מדדים עשויים להיות מוטים על ידי הערות גרועות הדורשות איטרציה מתמדת מהצוות שהיא גם יקרה וגם לא יעילה בזמן (6).

איור 1b: מגבלות זמן והגדרה של מערכת AI של חברה מסורתית עם לוחות זמנים משוערים לאיטרציה של כל אחד מהחלקים האלה באופן עצמאי. שימו לב שעם חברת תיוג בלולאה, ייקח חודשים של איטרציה כדי לייצר תוויות שמשפרות כראוי מודל AI. ראו איור 1a לאופן שבו כל אחד מהחלקים האלה מקיימים אינטראקציה עם חברה מסורתית.

גלגל הנתונים של Interpret AI: התחילו לדעת עם תובנות נתונים עמוקות

איור 2a: גלגל הנתונים של Interpret AI.

1. המלצות מיידיות על תת-קבוצות נתונים והצעות נתונים משופרות לאימון מקדים ואימון (1a ו-1b בהתאמה).
2. הצוות עכשיו בודק תת-קבוצות נתונים קטנות משמעותית שהוצעו על ידי Interpret לפני שליחה לחברת תיוג. תת-קבוצות הנתונים האלה הן נזילות ומתעדכנות ברציפות כשהנתונים משתנים (אופציונלי, אם חברה משלבת את מודל הבסיס שלה, Interpret AI יכולה לספק יותר תובנות על האופן שבו הנתונים משפיעים על ביצועי המודל).
3. ההלוך ושוב בין חברת תיוג מואץ מחודשים לשבועות והוא זול משמעותית מכיוון שמפרטי ההערות ובחירת מערך הנתונים ברורים.

• המשוב ממוקד במודל (6).
• לבסוף, Interpret AI מנתחת את מרחב הנתונים שלכם כדי לספק תובנות על אילו נתונים לאסוף או לקנות כדי להאיץ את שיפור המודל.

איור 2b: האיור מדגים כיצד Interpret AI משתלבת ישירות עם הלקוחות שלנו כדי להאיץ אימון מודל, מיון והבנת נתונים והערכה. Interpret AI מספקת פתרונות להבנת התפלגות הנתונים הקיימת.

• זיהוי פערי מודל המתואמים עם פערי נתונים.
• קנייה ואוצרות נתונים למילוי פערי נתונים.
• מקרי שימוש

אנחנו משתפים פעולה עם מספר עסקים בתעשיות הרובוטיקה, הבריאות וה-LLM הסוכני:

בריאות

HealthCo מנסה לחזות את הסיכון למחלות לב וכלי דם עבור המטופלים שלהם.

לאימון

Interpret AI מנתחת נתוני לב וכלי דם באמצעות מודלי היסוד של interpret שלנו, מעבדת EHRs, תמונות, אולי נתוני ECG ¹² אם זמינים.

• Interpret AI מבחינה באנומליות או "חורים" ב-HealthCo ומתארת את הדמוגרפיה של האנשים האלה (כלומר נשים, בגיל העמידה, ללא ילדים, נרשם להם היסטורית trimetazidine).
• הרשומות שזוהו מנותחות עוד יותר על ידי מומחים. הנתונים שנבחרו יכולים אז להתעדכן, להתעלם מהם, לשמש לעזרה ברכישת יותר נתונים של אנשים שנרשם להם היסטורית trimetazidine, או להישלח לחברת תיוג כדי להעיר על הקבוצה הספציפית הזו.
• הנתונים שנבחרו משמשים אז לאימון מודל AI למחלות לב וכלי דם. אם [LINK1]HealthCo[/LINK1] משלבת את מודל הלב וכלי הדם שלה בפלטפורמת Interpret אז אנחנו מנתחים עוד יותר היכן המודל מתפקד בצורה גרועה בזמן אמת, מה שמאפשר התבוננות פנימית מיידית.
• התהליך הזה מקטין את ציר הזמן של אימון המודל מסדר גודל של חודשים לשבועות, משפר במהירות מערכות AI וחוסך עלויות!
• לבטיחות

נניח ש-HealthCo יש דוגמאות של אנשים שסבלו מהתקפי לב והם רוצים לנתח EHRs אחרים של אנשים שדומים לאדם הזה שגם עשויים להיות בסיכון

באמצעות Interpret AI, HealthCo יכולה לבחור דוגמאות של האדם הזה ולחפש מאגר קשור של אנשים, למיין לפי רמת ביטחון.

• האנשים האלה יכולים להיות מסומנים כבסיכון, מזהים במהירות כמה מאות אנשים בסיכון ממיליוני רשומות!
• רובוטיקה

DriveCo בונה מכוניות מרוץ אוטונומיות כצעצוע לילדים לשחק איתו בחוץ.

לאימון

Interpret AI מנתחת את הריצות שנאספו של נתוני וידאו של מכוניות מרוץ. Interpret AI נותנת דוח נתונים.

• Interpret AI מבחינה שרוב השידורים החוזרים מהסרטונים אינם מגוונים גיאוגרפית ושיש מעט דוגמאות של מכוניות מרוץ נוסעות בחוץ בחצרות אחוריות.
• Interpret AI ממליצה לצוות DriveCo לאסוף יותר דוגמאות של סרטוני חוץ. אנחנו גם מנסים לאזן את מערך הנתונים בצורה נלמדת באמצעות מודל היסוד של Interpret AI כדי להקל על חוסר האיזון הזה.
• בלי Interpret AI, DriveCo עשויה הייתה לשלוח למעלה מ-1000 שעות של נתוני מכוניות מרוץ לתיוג אובייקטים שלא היה צורך בהם! עכשיו הם צריכים לתייג רק 10 שעות!
  • לבטיחות

נניח שמכוניות המרוץ האוטונומיות האלה מתמודדות עם ביקורת על בטיחות תינוקות.

DriveCo יכולה לחפש במסד הנתונים שלה סרטונים המכילים "תינוק" כדי לראות אם יש להם את הנתונים האלה.

• אם ל-DriveCo אין את הנתונים זה מודיע לצוות לאסוף אותם (באמצעות אולי תינוקות מזויפים אני מקווה) או זה מאפשר ל-DriveCo להראות לצרכנים ולמשקיעים שהמוצר הוא למעשה בטוח סביב תינוקות!
• איך הגענו לכאן

היסטוריה קצרה על תוויות ואימון מקדים

ב-20¹5, לפני Transformers, רוב המודלים אומנו לפתור תת-קבוצה מאוד מסוימת של בעיות: סיווג, פילוח, זיהוי אובייקטים (כלומר בעיות יסוד) ואחרות [1]. מדדים היו מערכי נתונים מתויגים "גדולים למדי" בסדר גודל של 10k עד 1M. 1

אימון מקדים מודרני נכנס לשיחה בסביבות ²017 ושינה את המשחק. בהשאלה מלמידת ייצוג, אימון מקדים הגיע כשינוי פרדיגמה יסודי שבו פתאום מערכי נתונים לא מתויגים פתחו רווחים עצומים בביצועי המודל. מערכי הנתונים הלא מתויגים ששימשו לאימון מקדים בהשוואה לאחיהם המתויגים היו מסיביים [5]. זה בשילוב עם טכניקות והתקדמויות אחרות 2 הוביל למודלי יסוד מודרניים כמו CLIP [13], DALL-E [14], DINOv2 [15], ו-BERT [16] אם נזכיר רק כמה.

אז OpenAI, שנבנתה על בסיס של transformers, אימון מקדים והתקדמות בלמידת חיזוק, שינתה את המשחק כששחררה את GPT (generative pre-trained transformer) [6]. Sora [7], DeepSeek [8], Anthropic [9] כולם משתמשים באימון מקדים על מערכי נתונים גדולים כעמוד השדרה למודלים הביצועיים שלהם. אבל מוסתר שם יש תצפית חדה שרוב האנשים לא מדברים עליה.

בעוד שאימון מקדים הוא שלב ראשון טוב, רוב המודלים האלה צריכים אימון נוסף על גבי בסיס מאומן מראש. בין אם זה RL או כיוונון מפוקח, המודלים הביצועיים ביותר מיושרים ³ איכשהו לבעיה המקורית. אבל אפילו כיוונון מתרחב עד נקודה מסוימת, כלומר שיפור אימון מקדים הוא חיוני לביצועי מודל עתידיים ⁴.

אחת הדוגמאות המשכנעות ביותר לאופן שבו לשלב כראוי אימון מקדים ולבנות גלגל נתונים בספרות היא גלגל הנתונים המתויג שנבנה על ידי Meta ב-Segment Anything Model (SAM) ו-SAM v2 [10]. אבל אפילו בדוגמה הזו, תיוג נתונים הוא קשה להפליא להרחבה.

Segment Anything: החידושים והמסר

TL;DR: מה ש-SAM מראה לנו הוא שהבטחת איכות והבנה של מה יש בנתונים שלנו היא קשה אבל בעיה חשובה לטיפול. הוספת יותר נתונים אינה בהכרח התשובה.

SAM בנתה גלגל נתונים שאצר מערך נתונים מתויג גדול באמצעות SAM מאומנת חלקית בשלבים שונים של אימון עם משוב תיוג אנושי. הגישה שלהם ממחישה את הדרך הנכונה לשלב תיוג בצינור אבל גם מדגישה שאפילו גלגל נתונים נכון לתיוג הוא יקר וקשה להרחבה. בשלב מסוים, מערך הנתונים גדל מספיק כך שבני אדם לא יכולים להעיר על הכל ולכן דורש שיטה אחרת של התבוננות פנימית (כלומר מה ש-Interpret בונה).

בערך, הגישה של SAM הייתה [10]

התחילו עם ViT היררכי מאומן מראש MAE.

1. אמנו את SAM על מערכי נתונים לפילוח זמינים לציבור.
2. השתמשו ב-SAM המאומנת חלקית כדי לייצר מסכות פילוח על תת-קבוצת נתונים.
3. בקשו מבני אדם לשכלל את תחזיות הפילוח. אז גם השתמשו במסכות כדי לאמן גלאי אובייקטים כדי למצוא יותר אובייקטים ובקשו מבני אדם לתייג את זה.
4. חזרו על שלבים 3-4 תוך הגדלה הדרגתית של גודל מערך הנתונים
5. סיימו על ידי הרצה על מיליארד תמונות כדי לקבל SA-1B. השתמשו בצוות QA כדי לסמן דוגמאות שעלולות להיות גרועות. שימו לב שמתן תוויות אנושיות לכל מיליארד התמונות הוא קשה להפליא.
6. הרעיון זהה עבור SAM 2 שהוא מודל פילוח וידאו, שייצר מערך נתונים SA-V עם 35.5M מסכות על פני 50.9K סרטונים, פי 53 יותר מסכות מכל מערך נתונים לפילוח וידאו [10].

שימו לב, מודל הפילוח הטוב ביותר אומן עם נתונים הקשורים ישירות למשימה שלו שבה משוב התווית היה כולו מחובר יפה בגלגל נתונים מהיר ויעיל. אימון מקדים ואז אימון עם אוסף של מערכי נתונים לפילוח בקוד פתוח היו רק השלב הראשון והשני.

שימו לב גם שתיוג אנושי בסופו של דבר הגיע לתקרה; כאשר גלגל הנתונים התחיל לתייג מיליארד תמונות, Meta עדיין הייתה צריכה להריץ מסנן QA כדי לסמן דוגמאות גרועות. בהתבסס על המאמר, הערה על כל 1.1B המסכות הייתה לוקחת ⁵1k ימי הערה! 5

זו Meta שאנחנו מדברים עליה אבל שכירת זה עבור רוב החברות הייתה יקרה להפליא ובלתי אפשרית! ⁶ תיוג בקנה מידה הזה הוא פשוט קשה!

חזרה על ה-TL;DR, מה ש-SAM מראה לנו הוא שהבטחת איכות והבנה של מה יש בנתונים שלנו היא קשה אבל בעיה חשובה לטיפול. זה בעצם הפער שאנחנו רואים בתעשייה היום: יותר נתונים המשמשים לאימון מקדים או כיוונון אינם בהכרח התשובה. הגישה הנכונה מזהה היכן מודל סובל, מבינה למה הוא סובל שם, ואז מדגישה נתונים (או פערי נתונים) רלוונטיים לבעיה, וזה מה שאנחנו עושים ב-Interpret AI.

המטרות של חברות הערות אינן בהכרח מיושרות עם שלכם...

יש לנו ניסיון בתעשייה ב-MAANG ולצוות שלנו יש ניסיון בעבודה עם חברות הערות כמו Scale, SuperAnnotate וכו'. עבור רוב חברות התיוג (הערות), מודל העסקי הוא:

לתת לחברות לייצר את מפרט התיוג (הערות) שלהן עם אולי קצת הלוך ושוב בהתאם למורכבות התוויות.

• לרוב חברות ההערות יש רמות שונות של מעירים, המאגר הגדול ביותר הוא לא-מומחים שמתייגים הכל והקטן ביותר הוא מומחים בתחום (כלומר רופאים). חברת הערות אז מגייסת מאגר של מתייגים אנושיים, בדרך כלל מתחילה עם הזולים ביותר כדי לעשות מעבר ראשון באיכות נמוכה.
• המעירים אז מתייגים לפי מפרט ההערות המורכב של החברה כמיטב יכולתם, גובים תשלום לכל הערה.
• מספקים משוב ועדכונים להערות, אולי מעדכנים את מפרט ההערות.
• יש ארבע בעיות עיקריות עם התהליך הזה:

הערות אינן עקביות ובדרך כלל לא מוקצות למתייגים הנכונים,

1. התיוג גוזל זמן ויקר
2. the labeling is time-consuming & expensive,
3. the feedback loop for correcting annotations is erroneous, and
4. annotation specs change over time as model performance changes.

Addressing 1., labelers are not guaranteed to be suited to their assigned labeling task and often label differently than their peers. For instance, for a healthcare company if the task is “Pick the clinical response that bests diagnoses the patient” these labelers may not even be doctors suited to the task! Additionally, for an autonomous driving company if the task is to “Draw bounding boxes for stop signs” does this include the pole or not? What if it’s the back side of a stop sign? Different annotators will label differently without consulting each other.

Addressing 2., charging per annotation sounds great in theory as the conventional dogma is that more labels help but if and only if the company can afford the cost of a sufficient number of labels to boost model performance; a number that is typically unknown. These annotations will also typically have errors that require AI companies to build internal systems that review the annotations which takes both time (order of months) and more money.

Addressing 3., The feedback loop is not consistent either. Typically the responsibility of annotation verification is pushed to the AI company, which needs to set up their own internal monitoring system (already time-consuming and costly). When an AI company notices an annotation issue, corrections are not guaranteed to be from the same annotator who created the problematic label and sometimes annotation companies will relabel the entire problematic example instead of correcting it which costs more. For instance, for an autonomous driving company might want to label instance masks of traffic lights and people. In this dummy example, the first annotator makes a mistake and forgets to label traffic lights not facing the camera. The AI company flags it and sends it off to be re-reviewed but the way the annotation company fixes this is by sending the image to a new annotator who relabels everything from scratch! The second annotator fixes the original issue but doesn’t label policeman as “people” and now a new issue emerges! See Figure 3a and Figure 3b. This loop has an incredibly low probability of correctly annotating objects correctly ~61% for 50 labels ⁷.

Essentially, with this feedback system the labels an annotation company creates are not guaranteed to converge to the right labels!

The incentives of AI companies are not well aligned with those of labeling companies. AI companies want to improve their AI model and their product while annotation companies want to label as much company data as possible so that they can charge for it. You want to make your model performant and so should annotation companies.

Addressing 4., In industry (and research), when trying to solve a problem, there are many possible solutions. Perhaps pretraining on the entire internet will improve your LLM, or perhaps grounding an LLM by training on labeled text-images pairs will help with LLM reasoning, or perhaps adding chain of thought will help. In other words, when designing AI systems we need to try a lot of different things in parallel since sometimes it’s unclear what the best approach will be. Labeling is one solution, which means that as we better understand our problem the label definition is subject to change.

For instance, take labeling stop signs in autonomous driving; suppose that we first label stop signs. We notice that performance improves when we know if a stop sign is partially obstructed, so we update the annotation spec to add a metadata tag called “obstructed” later on when the sign is partially or not visible. We then go back to an annotation company and ask them to relabel all our stop signs with this! This “annotation-platform in the loop” means that every model experiment that updates the labeled dataset is super expensive!

So, one may wonder, why are labeling providers used at all? For two reasons: First, high quality labels on data do help as discussed earlier. In fact, less data with higher quality labels can outperform some of these large pretrained models; SAM being an excellent example. Second, the alternative to not using an annotation company is to create an internal annotation platform which is even more expensive and time consuming, since producing the same volume of labels as the other players can take years!

Conclusion

The optimal data flywheel represents data in a form that’s inherently insightful and interactable: we should be able to detect anomalies and also chat with our data to garner interesting patterns and insights. This flywheel should enhance annotation platforms by focusing on what should be labeled instead of labeling everything ⁸. And finally, this data flywheel should align with model performance, tying directly to whatever problem your AI company is solving.

The traditional dogma is that more data “just works” and sometimes deep learning feels like alchemy. Perhaps more data will work for you in the short run but when things “just don’t work” the proper way is to assess failure both in the data & the model and work from there.