תקציר מנהלים

הדוגמה עבור חברות AI היא שיותר נתונים מובילים לביצועים טובים יותר, אך למעשה קנה מידה של נתונים אינו כל מה שצריך. נתונים באיכות גבוהה מניבים ביצועים טובים יותר בהשוואה למערך נתונים גדול יותר באיכות נמוכה. ייצור נתונים באיכות גבוהה דורש סינון דרך רעש, הבנת נתונים לא מתויגים, והבנה מה לתייג. תיוג נתונים מסיבי על ידי פלטפורמות אנוטציה הוא גם בעייתי מכיוון שהתמריצים שלהם לעתים קרובות אינם מיושרים והפלטפורמה שלהם היא צוואר בקבוק שגוזל זמן, נוטה לשגיאות ויקר. הדרך הטובה ביותר לשפר מערכות AI היא להבין את הנתונים המזינים מודלים על ידי ייצוג אינטליגנטי של מערכי נתונים בצורה שניתן לקיים איתה אינטראקציה באמצעות למידת ייצוג עצמית מפוקחת, מודלים בסיסיים וסינון. שיטות אלה מונעות את הסיכון של ביצועים גרועים במערכות AI ואת הסיכון של יצירת פלטים מזיקים.

פחות זה יותר

קנה מידה של נתונים אינו כל מה שצריך. הגדלה עיוורת של גודל מערך נתונים תוך כדי אימון מקדים של מודל מעמידה חברות AI-first בסיכון לביצוע טעויות חמורות. אימון מודלים על מערכי נתונים גדולים עם התפלגות לא ידועה מוביל להתנהגויות בלתי צפויות: ברובוטיקה זה יכול להוביל למסלולים שגויים ומסוכנים, עבור חברת בריאות להערכות סיכון לא מדויקות, ועבור LLMs ליצירת דיבור מזיק {9}. ב-X, Grok עשה את הטעות הזו, ויצר דיבור מזיק בפוסט שנמחק כעת המוצג באיור 0a. אפילו מנכ"ל xAI הודה שהם צריכים להיות יותר "סלקטיביים לגבי נתוני אימון, במקום פשוט להתאמן על כל האינטרנט". אבל איך בוחרים נתונים כראוי כדי לאמן ולהעריך מודלים אלה כראוי? אילו כלים קיימים?

הפתרון הוא לייצג נתונים באופן אינטליגנטי בצורה שניתן לקיים איתה אינטראקציה ושמגוונת מספיק מבחינה סמנטית. גישה זו עוזרת: 1. ליצור מערכי נתונים לאימון והערכה הן לאימון מקדים והן לאימון לאחר מכן, 2. לזהות חורים בנתונים ו-3. להמליץ כיצד למלא את הפערים הללו (על ידי קנייה או איסוף).

גלגלי נתונים {10} וחברות אנוטציה

בתעשייה, רוב מנכ"לי חברות AI, חוקרי AI ומהנדסים אינם מרוצים מחברות אנוטציה מודרניות המשלבות את עצמן בגלגלי הנתונים שלהם.

הפתרון הנוכחי עבור חברות AI הוא לצבור מערך נתונים גדול לא מתויג לאימון מקדים (או להשתמש במודל מאומן מראש בקוד פתוח), לאחר מכן לתייג מערך נתונים גדול נוסף ספציפי למשימה המיועדת, ולבסוף לאצור ידנית סט אימון וסט הערכה. התיוג בדרך כלל מועבר במיקור חוץ לחברות אנוטציה (ScaleAI, SuperAnnotate, Labelbox וכו') המשלבות את עצמן במנוע הנתונים. אבל תיוג של הכל במערך נתונים גדול לא עובד טוב כי הרחבת תיוג נתונים למיליוני או מיליארדי דוגמאות נוטה לשגיאות, יקרה באופן בלתי בר-קיימא וגוזלת זמן ומשאירה חברות AI לא מרוצות. אבל חשוב יותר, לולאת התיוג היא תהליך שאינו נגמר מכיוון שגלגלי נתונים מסתגלים ברציפות למודלים מתפתחים ולנתונים נוספים שנאספים, מה שהופך את דרישות התיוג לנזילות ומשתנות לאורך זמן; חברות אנוטציה לא יכולות לעמוד בקצב השינויים מכיוון שעדכוני מודל יכולים לקרות תוך שבועות בעוד שתיוג יכול לקחת חודשים.

לולאת התיוג המודרנית במנוע נתונים היא:

1. איסוף נתונים מסוימים.
2. עיצוב או עדכון של מפרט תיוג כלשהו.
3. שליחת הנתונים והמפרט לחברת תיוג כלשהי (Scale, SuperAnnotate וכו'). תשלום עבור התיוג.
4. איטרציה עם חברת התיוג ואימון המודל.
5. התבוננות בתוצאות ולאחר מכן חזרה על שלבים 2-5 ללא הגבלה.

לדוגמה, חברת נהיגה אוטונומית עשויה לרצות לתייג תמרורי עצור אך לאחר תיוג של מיליון תמרורי עצור וראיית התוצאות הם מבינים שהם רוצים לתייג את "הנראות" של תמרור העצור, ואז הם מבינים שהם גם רוצים לתייג עצים שעשויים להקיף תמרורי עצור ולהוסיף תווית "מוסתר". כעת כל הנתונים (שגם גדלו בינתיים מכיוון שאיסוף נתונים הוא רציף) צריכים להיות מתויגים מחדש! המחזור לעולם לא יסתיים כל עוד חברה משפרת את המודל שלה!

ההשקעה של Meta של 14.3 מיליארד דולר עבור 49% ממניות כדי לשכור את מנכ"ל Scale.AI [11] עשויה להיות אחד המהלכים המסוכנים ביותר שהחברה אי פעם עשתה בגלל הקשיים הללו עם חברות תיוג.

אז, אם אימון עיוור על מערכי נתונים עצומים הוא בעייתי, ותיוג של הכל הוא קשה, מה עוד עלינו לעשות? לאחר עבודה על נושא זה במשך ארבע השנים האחרונות, מצאנו שהפתרון הטוב ביותר הוא לייצג נתונים מספיק טוב כך שיהיה קל יותר לבחור ולהבין מה יש בנתונים שלנו וכיצד הנתונים הללו משפיעים על המודלים שלנו. אנחנו צריכים להיות מסוגלים לשוחח עם הנתונים שלנו בצורה שמאפשרת לנו לחפש במהירות דוגמאות ולבנות במהירות סטים של הערכה לבדיקת מודלים.

זה מה שאנחנו בונים ב-Interpret AI. אנחנו בונים פלטפורמת התבוננות פנימית בנתונים, פלטפורמת אוצרות נתונים ושוק נתונים אינטליגנטי המאפשר לחברות הבונות מערכות AI לקיים אינטראקציה ולהבין את מערכי הנתונים שלהן. אנו רואים עולם שבו אתה יכול לשוחח עם הנתונים שלך באמצעות שפה טבעית, אודיו, תמונה ווידאו כדי לחפש מופעים דומים כך שחברות יכולות לסמוך ולדעת את הנתונים שלהן (או את הפערים בנתונים שלהן) שמניעים את המודלים שלהן. (אם משהו מזה מהדהד אצלך אנא אל תהסס לפנות אל ily@interpretai.tech)

קנה מידה של מה שכנראה מועיל תחילה

גלגלי נתונים מסורתיים

1. לחברה יש תשתית כלשהי שאוספת כל הזמן נתונים למערך נתונים (1b). צוות אז יוצר תת-קבוצות נתונים היוריסטיות שבתקווה ברגע שיתויגו ישפרו את המודל שלהם (1a).
2. הנתונים נשלחים לחברת התיוג (אנוטציה). חברת התיוג מייצרת תוויות (אנוטציות) שלאחר מכן נבדקות על ידי הצוות, מה שיכול לקחת חודשים של הלוך ושוב כדי להתכנס.
3. מודל ה-AI המאומן מראש אז מאומן מראש.
4. המודל המאומן מראש אז מכוונן באמצעות התוויות מחברת התיוג
5. המודל הסופי מוערך באמצעות מערכת ההערכה של החברה, ומייצר מדדים.
6. החברה אז משתמשת במשוב הזה כדי אולי לבחור תת-קבוצות נתונים אחרות, לעדכן את דרישות התיוג, ו/או לבצע שינויי מודל. שים לב שבשלב זה תת-קבוצת הנתונים כבר הולכת ומתיישנת.

הערה: מדדים עשויים להיות מוטים על ידי אנוטציות גרועות הדורשות איטרציה מתמדת מהצוות שהיא גם יקרה וגם לא יעילה בזמן (6).

איור 1b: מגבלות זמן והגדרה של מערכת AI של חברה מסורתית עם לוחות זמנים משוערים לאיטרציה של כל אחד מהחלקים הללו באופן עצמאי. שים לב שעם חברת תיוג בלולאה, ייקח חודשים של איטרציה ליצור תוויות שמשפרות כראוי מודל AI. ראה איור1a לאופן שבו כל אחד מהחלקים הללו מקיימים אינטראקציה עם חברה מסורתית.

גלגל הנתונים של Interpret AI:

התחל לדעת עם תובנות נתונים עמוקות

איור 2a: גלגל הנתונים של Interpret AI.

1. המלצות מיידיות על תת-קבוצות נתונים והצעות נתונים משופרות לאימון מקדים ואימון (1a ו-1b בהתאמה).
2. הצוות כעת בודק תת-קבוצות נתונים קטנות משמעותית שהוצעו על ידי Interpret לפני שליחה לחברת תיוג. תת-קבוצות נתונים אלה הן נזילות ומתעדכנות ברציפות ככל שהנתונים משתנים (באופן אופציונלי, אם חברה משלבת את מודל הבסיס שלה, Interpret AI יכולה לספק תובנות נוספות על האופן שבו הנתונים משפיעים על ביצועי המודל).
3. ההלוך ושוב בין חברת תיוג מואץ מחודשים לשבועות והוא זול משמעותית מכיוון שמפרטי האנוטציה ובחירת מערך הנתונים ברורים.

• המשוב ממוקד במודל (6).
• לבסוף, Interpret AI מנתחת את מרחב הנתונים שלך כדי לספק תובנות על אילו נתונים לאסוף או לקנות כדי להאיץ את שיפור המודל.

איור 2b: האיור מדגים כיצד Interpret AI משתלבת ישירות עם הלקוחות שלנו כדי להאיץ אימון מודל, מיון והבנת נתונים והערכה. Interpret AI מספקת פתרונות עבור

• הבנת התפלגות הנתונים הקיימת.
• זיהוי פערי מודל המתואמים עם פערי נתונים.
• קנייה ואוצרות נתונים למילוי פערי נתונים.

מקרי שימוש

אנו משתפים פעולה עם מספר עסקים בתעשיות רובוטיקה, בריאות ו-LLM אגנטיים. אם משהו מאלה מהדהד אצלך אנא אל תהסס לפנות אל ily@interpretai.tech

בריאות

HealthCo מנסה לחזות את הסיכון למחלות לב וכלי דם עבור המטופלים שלהם.

לאימון

• Interpret AI מנתחת נתוני לב וכלי דם באמצעות מודלי הבסיס של interpret שלנו, מעבדת EHRs, תמונות, אולי נתוני ECG [12] אם זמינים.
• Interpret AI מבחינה באנומליות או "חורים" ב-HealthCo ומתארת את הדמוגרפיה של האנשים הללו (כלומר נשים, בגיל העמידה, ללא ילדים, שנרשם להם היסטורית trimetazidine).
• רשומות אלה שזוהו מנותחות עוד יותר על ידי מומחים. הנתונים שנבחרו יכולים אז להתעדכן, להתעלם, לשמש לעזרה ברכישת נתונים נוספים של אנשים שנרשם להם היסטורית trimetazidine, או להישלח לחברת תיוג כדי לבצע אנוטציה לקבוצה ספציפית זו.
• הנתונים שנבחרו משמשים אז לאימון מודל AI למחלות לב וכלי דם. אם HealthCo משלבת את מודל הלב וכלי הדם שלה בפלטפורמת Interpret אז אנו מנתחים עוד יותר היכן המודל מתפקד בצורה גרועה בזמן אמת, ומאפשרים התבוננות פנימית מיידית.
• תהליך זה מקטין את ציר הזמן של אימון המודל מסדר גודל של חודשים לשבועות, משפר במהירות מערכות AI וחוסך עלויות!

לבטיחות

נניח ש-HealthCo יש דוגמאות של אנשים שסבלו מהתקפי לב והם רוצים לנתח EHRs אחרים של אנשים שדומים לאדם זה שגם עשויים להיות בסיכון

• באמצעות Interpret AI, HealthCo יכולה לבחור דוגמאות של אדם זה ולחפש מאגר קשור של אנשים, למיין לפי רמת ביטחון.
• אנשים אלה יכולים להיות מסומנים כבסיכון, ולזהות במהירות כמה מאות אנשים בסיכון ממיליוני רשומות!

רובוטיקה

DriveCo בונה מכוניות מרוץ אוטונומיות כצעצוע לילדים לשחק איתו בחוץ.

לאימון

• Interpret AI מנתחת את הריצות שנאספו של נתוני וידאו של מכוניות מרוץ. Interpret AI נותנת דוח נתונים.
• Interpret AI מבחינה שרוב השידורים החוזרים מהסרטונים אינם מגוונים גיאוגרפית ושיש מעט דוגמאות של מכוניות מרוץ נוסעות בחוץ בחצרות אחוריות.
• Interpret AI ממליצה לצוות DriveCo לאסוף דוגמאות נוספות של סרטוני חוץ. אנו גם מנסים לאזן את מערך הנתונים בצורה נלמדת באמצעות מודל הבסיס של Interpret AI כדי להקל על חוסר האיזון הזה.
  • ללא Interpret AI, DriveCo עשויה הייתה לשלוח למעלה מ-1000 שעות של נתוני מכוניות מרוץ לתיוג אובייקטים שלא היה צורך בהם! כעת הם צריכים לתייג רק 10 שעות!

לבטיחות

נניח שמכוניות המרוץ האוטונומיות הללו מתמודדות עם ביקורת על בטיחות תינוקות.

• DriveCo יכולה לחפש במסד הנתונים שלה סרטונים המכילים "תינוק" כדי לראות אם יש להם את הנתונים הללו.
• אם ל-DriveCo אין את הנתונים זה מודיע לצוות לאסוף אותם (באמצעות אולי תינוקות מזויפים אני מקווה) או שזה מאפשר ל-DriveCo להראות לצרכנים ולמשקיעים שהמוצר הוא למעשה בטוח סביב תינוקות!

איך הגענו לכאן

היסטוריה קצרה על תוויות ואימון מקדים

בשנת 2015, לפני Transformers, רוב המודלים אומנו לפתור תת-קבוצה מאוד מסוימת של בעיות: סיווג, פילוח, זיהוי אובייקטים (כלומר בעיות בסיסיות) ואחרות [1]. אמות מידה היו מערכי נתונים מתויגים "גדולים למדי" בסדר גודל של 10k עד 1M. {1}

אימון מקדים מודרני נכנס לשיחה בסביבות 2017 ושינה את המשחק. בהשאלה מלמידת ייצוג, אימון מקדים הגיע כשינוי פרדיגמה יסודי שבו פתאום מערכי נתונים לא מתויגים פתחו רווחים עצומים בביצועי המודל. מערכי הנתונים הלא מתויגים ששימשו לאימון מקדים בהשוואה לאחיהם המתויגים היו מסיביים [5]. זה בשילוב עםטכניקות והתקדמויות אחרות {2} הוביל למודלים בסיסיים מודרניים כמו CLIP [13], DALL-E [14], DINOv2 [15], ו-BERT [16] אם נזכיר רק כמה.

אז OpenAI, שנבנתה על בסיס של transformers, אימון מקדים והתקדמות בלמידת חיזוק, שינתה את המשחק כשהם שחררו את GPT (generative pre-trained transformer) [6]. Sora [7], DeepSeek [8], Anthropic [9] כולם משתמשים באימון מקדים על מערכי נתונים גדולים כעמוד השדרה למודלים הביצועיים שלהם. אבל מוסתר שם יש תצפית חדה שרוב האנשים לא מדברים עליה.

בעוד שאימון מקדים הוא צעד ראשון טוב, רוב המודלים הללו זקוקים לאימון נוסף על גבי בסיס מאומן מראש. בין אם זה RL או כוונון מפוקח, המודלים הביצועיים ביותר מיושרים {3} איכשהו לבעיה המקורית. אבל אפילו כוונון מתרחב עד נקודה מסוימת, כלומר שיפור אימון מקדים הוא חיוני לביצועי מודל עתידיים {4}.

אחת הדוגמאות המשכנעות ביותר לאופן שבו לשלב כראוי אימון מקדים ולבנות גלגל נתונים בספרות היא גלגל הנתונים המתויג שנבנה על ידי Meta ב-Segment Anything Model (SAM) ו-SAM v2 [10]. אבל אפילו בדוגמה זו, תיוג נתונים קשה להפליא להרחבה.

Segment Anything: החידושים והמסר

תקציר מנהלים: מה ש-SAM מראה לנו הוא שהבטחת איכות והבנה של מה יש בנתונים שלנו היא קשה אבל בעיהחשובה לטיפול. הוספת נתונים נוספים אינה בהכרח התשובה.

SAM בנתה גלגל נתונים שאצר מערך נתונים מתויג גדול באמצעות SAM מאומן חלקית בשלבים שונים של אימון עם משוב תווית אנושי. הגישה שלהם ממחישה את הדרך הנכונה לשלב תיוג בצינור אבל גם מדגישה שאפילו גלגל תיוג הנתונים הנכון הוא יקר ומאתגר להרחבה. בשלב מסוים, מערך הנתונים גדל מספיק כך שבני אדם לא יכולים לבצע אנוטציה להכל ולכן דורש שיטה אחרת של התבוננות פנימית (כלומר מה ש-Interpret בונה).

בערך, הגישה של SAM הייתה [10]

1. התחל עם MAE מאומן מראש היררכי ViT.
2. אמן את SAM על מערכי נתונים של פילוח זמינים לציבור.
3. השתמש ב-SAM המאומן חלקית כדי ליצור מסכות פילוח על תת-קבוצת נתונים.
4. בקש מבני אדם לשכלל את תחזיות הפילוח. לאחר מכן השתמש גם במסכות כדי לאמן גלאי אובייקטים כדי למצוא אובייקטים נוספים ובקש מבני אדם לתייג את זה.
5. חזור על שלבים 3-4 תוך הגדלה הדרגתית של גודל מערך הנתונים
6. סיים על ידי הרצה על מיליארד תמונות כדי לקבל SA-1B. השתמש בצוות QA כדי לסמן דוגמאות שעלולות להיות גרועות. שים לב שמתן תוויות אנושיות לכל מיליארד התמונות קשה להפליא.

הרעיון זהה עבור SAM 2 שהוא מודל פילוח וידאו, שיצר מערך נתונים SA-V עם 35.5M מסכות על פני 50.9K סרטונים, פי 53 יותר מסכות מכל מערך נתונים של פילוח וידאו [10].

שים לב, מודל הפילוח הטוב ביותר אומן עם נתונים הקשורים ישירות למשימה שלו שבה משוב התווית היה כולו מחובר יפה בגלגל נתונים מהיר ויעיל. אימון מקדים ואז **אימון עם אוסף של מערכי נתונים של פילוח בקוד פתוח היו רק השלב הראשון והשני.

שים לב גם שתיוג אנושי בסופו של דבר הגיע לתקרה; כאשר גלגל הנתונים התחיל לתייג מיליארד תמונות Meta עדיין הייתה צריכה להריץ מסנן QA כדי לסמן דוגמאות גרועות. בהתבסס על המאמר, ביצוע אנוטציה לכל 1.1B מסכות היה לוקח 51k ימי אנוטציה! {5}

זו Meta שאנחנו מדברים עליה אבל שכירת זה עבור רוב החברות תהיה יקרה להחריד ובלתי אפשרית! {6} תיוג בקנה מידה הזה פשוט קשה!

חזרה על תקציר המנהלים, מה ש-SAM מראה לנו הוא שהבטחת איכות והבנה של מה יש בנתונים שלנו היא קשה אבל בעיה חשובה לטיפול. זה הוא בעצם הפער שאנו רואים בתעשייה היום: נתונים נוספים המשמשים לאימון מקדים או כוונון אינם בהכרח התשובה. הגישה הנכונה מזהה

Annotation companies’ goals are not necessarily aligned with yours…

We have industry experience in MAANG and our team has experience working with annotation companies like Scale, SuperAnnotate, etc. For most labeling (annotation) companies, the business model is:

• Let companies generate their own labeling (annotation) spec with perhaps some back & forth depending on the complexity of the labels.
• Most annotation companies have different tiers of annotators, the largest pool being non-experts who label everything and the smallest being experts in the field (i.e. Doctors). An annotation company then marshals a pool of human labelers, typically starting with the cheapest ones to do a low quality first pass.
• The annotators then label according to the company’s complex annotation spec as best they can, charging per annotation.
• Provide feedback and updates to the annotations, possibly updating the annotation spec.

There are four main problems with this process:

1. annotations are not consistent and are usually not assigned to the right labelers,
2. the labeling is time-consuming & expensive,
3. the feedback loop for correcting annotations is erroneous, and
4. annotation specs change over time as model performance changes.

Addressing 1., labelers are not guaranteed to be suited to their assigned labeling task and often label differently than their peers. For instance, for a healthcare company if the task is “Pick the clinical response that bests diagnoses the patient” these labelers may not even be doctors suited to the task! Additionally, for an autonomous driving company if the task is to “Draw bounding boxes for stop signs” does this include the pole or not? What if it’s the back side of a stop sign? Different annotators will label differently without consulting each other.

Addressing 2., charging per annotation sounds great in theory as the conventional dogma is that more labels help but if and only if the company can afford the cost of a sufficient number of labels to boost model performance; a number that is typically unknown. These annotations will also typically have errors that require AI companies to build internal systems that review the annotations which takes both time (order of months) and more money.

Addressing 3., The feedback loop is not consistent either. Typically the responsibility of annotation verification is pushed to the AI company, which needs to set up their own internal monitoring system (already time-consuming and costly). When an AI company notices an annotation issue, corrections are not guaranteed to be from the same annotator who created the problematic label and sometimes annotation companies will relabel the entire problematic example instead of correcting it which costs more. For instance, for an autonomous driving company might want to label instance masks of traffic lights and people. In this dummy example, the first annotator makes a mistake and forgets to label traffic lights not facing the camera. The AI company flags it and sends it off to be re-reviewed but the way the annotation company fixes this is by sending the image to a new annotator who relabels everything from scratch! The second annotator fixes the original issue but doesn’t label policeman as “people” and now a new issue emerges! See Figure 3a and Figure 3b. This loop has an incredibly low probability of correctly annotating objects correctly ~61% for 50 labels {7}.

Essentially, with this feedback system the labels an annotation company creates are not guaranteed to converge to the right labels!

The incentives of AI companies are not well aligned with those of labeling companies. AI companies want to improve their AI model and their product while annotation companies want to label as much company data as possible so that they can charge for it. You want to make your model performant and so should annotation companies.

Addressing 4., In industry (and research), when trying to solve a problem, there are many possible solutions. Perhaps pretraining on the entire internet will improve your LLM, or perhaps grounding an LLM by training on labeled text-images pairs will help with LLM reasoning, or perhaps adding chain of thought will help. In other words, when designing AI systems we need to try a lot of different things in parallel since sometimes it’s unclear what the best approach will be. Labeling is one solution, which means that as we better understand our problem the label definition is subject to change.

For instance, take labeling stop signs in autonomous driving; suppose that we first label stop signs. We notice that performance improves when we know if a stop sign is partially obstructed, so we update the annotation spec to add a metadata tag called “obstructed” later on when the sign is partially or not visible. We then go back to an annotation company and ask them to relabel all our stop signs with this! This “annotation-platform in the loop” means that every model experiment that updates the labeled dataset is super expensive!

So, one may wonder, why are labeling providers used at all? For two reasons: First, high quality labels on data do help as discussed earlier. In fact, less data with higher quality labels can outperform some of these large pretrained models; SAM being an excellent example. Second, the alternative to not using an annotation company is to create an internal annotation platform which is even more expensive and time consuming, since producing the same volume of labels as the other players can take years!

Conclusion

The optimal data flywheel represents data in a form that’s inherently insightful and interactable: we should be able to detect anomalies and also chat with our data to garner interesting patterns and insights. This flywheel should enhance annotation platforms by focusing on what should be labeled instead of labeling everything {8}. And finally, this data flywheel should align with model performance, tying directly to whatever problem your AI company is solving.

The traditional dogma is that more data “just works” and sometimes deep learning feels like alchemy. Perhaps more data will work for you in the short run but when things “just don’t work” the proper way is to assess failure both in the data & the model and work from there.

Over at Interpret we hope to change the paradigm. If you are interested, reach out to us at ily@interpretai.tech