الملخص التنفيذي

العقيدة السائدة لدى شركات الذكاء الاصطناعي هي أن المزيد من البيانات يؤدي إلى أداء أفضل، ولكن في الواقع حجم البيانات ليس كل ما تحتاجه. البيانات عالية الجودة تحقق أداءً أفضل مقارنة بمجموعة بيانات أكبر منخفضة الجودة. إنتاج بيانات عالية الجودة يتطلب التصفية من خلال الضوضاء، وفهم البيانات غير المُصنفة، وفهم ما يجب تصنيفه. تصنيف البيانات الضخمة بواسطة منصات التعليق التوضيحي يمثل مشكلة أيضاً حيث أن حوافزها غالباً ما تكون غير متوافقة ومنصتها تشكل عنق زجاجة يستهلك الوقت ومعرض للأخطاء ومكلف. أفضل طريقة لتحسين أنظمة الذكاء الاصطناعي هي فهم البيانات التي تغذي النماذج من خلال تمثيل مجموعات البيانات بطريقة ذكية قابلة للتفاعل باستخدام التعلم التمثيلي ذاتي الإشراف، ونمذجة الأساس، والتصفية. هذه الممارسات تمنع خطر الأداء الضعيف في أنظمة الذكاء الاصطناعي وخطر توليد مخرجات ضارة.

الأقل هو الأكثر

حجم البيانات ليس كل ما تحتاجه. زيادة حجم مجموعة البيانات بشكل أعمى أثناء التدريب المسبق للنموذج يضع الشركات التي تعتمد على الذكاء الاصطناعي في خطر ارتكاب أخطاء جسيمة. تدريب النماذج على مجموعات بيانات كبيرة ذات توزيع غير معروف يؤدي إلى سلوكيات غير متوقعة: في مجال الروبوتات قد يؤدي هذا إلى مسارات خاطئة وخطيرة، ولشركة رعاية صحية تقييمات خاطئة للمخاطر، وبالنسبة لنماذج اللغة الكبيرة توليد خطاب ضار {9}. على منصة X، ارتكب Grok هذا الخطأ، حيث ولّد خطاباً ضاراً في المنشور المحذوف الآن الموضح في الشكل 0a. حتى الرئيس التنفيذي لـ xAI اعترف بأنهم بحاجة إلى أن يكونوا أكثر "انتقائية بشأن بيانات التدريب، بدلاً من مجرد التدريب على الإنترنت بأكمله". ولكن كيف تختار البيانات بشكل صحيح لتدريب وتقييم هذه النماذج بشكل صحيح؟ ما هي الأدوات المتاحة؟

الحل هو تمثيل البيانات بذكاء في شكل قابل للتفاعل ومتنوع بما فيه الكفاية دلالياً. هذا النهج يساعد في: 1. إنشاء مجموعات بيانات التدريب والتقييم لكل من التدريب المسبق والتدريب اللاحق، 2. تحديد الثغرات في البيانات و 3. تقديم توصيات حول كيفية سد تلك الفجوات (إما عن طريق الشراء أو الجمع).

دواليب البيانات {10} وشركات التعليق التوضيحي

في الصناعة، معظم الرؤساء التنفيذيين لشركات الذكاء الاصطناعي، وباحثي الذكاء الاصطناعي، والمهندسين غير راضين عن شركات التعليق التوضيحي الحديثة التي تدمج نفسها في دواليب البيانات الخاصة بهم.

الحل الحالي الذي تلجأ إليه شركات الذكاء الاصطناعي هو جمع مجموعة بيانات كبيرة غير مُصنفة للتدريب المسبق (أو استخدام نموذج مُدرب مسبقاً مفتوح المصدر)، ثم تصنيف مجموعة بيانات كبيرة أخرى خاصة بالمهمة المقصودة، وأخيراً تنظيم مجموعة تدريب ومجموعة تقييم يدوياً. عادةً ما يتم الاستعانة بمصادر خارجية للتصنيف إلى شركات التعليق التوضيحي (ScaleAI، SuperAnnotate، Labelbox، إلخ) التي تدمج نفسها في محرك البيانات. لكن تصنيف كل شيء في مجموعة بيانات كبيرة لا يعمل بشكل جيد لأن توسيع نطاق تصنيف البيانات إلى ملايين أو مليارات من الأمثلة معرض للأخطاء ومكلف بشكل غير مستدام ويستهلك الوقت مما يترك شركات الذكاء الاصطناعي غير راضية. والأهم من ذلك، أن حلقة التصنيف هي عملية لا تنتهي أبداً حيث أن دواليب البيانات تتكيف باستمرار مع النماذج المتطورة والمزيد من البيانات المجمعة مما يجعل متطلبات التصنيف متغيرة وتتغير بمرور الوقت؛ شركات التعليق التوضيحي لا تستطيع مواكبة سرعة التغييرات حيث يمكن أن تحدث تحديثات النموذج في أسابيع بينما يمكن أن يستغرق التصنيف شهوراً.

حلقة التصنيف الحديثة في محرك البيانات هي:

1. جمع بعض البيانات.
2. تصميم أو تحديث بعض مواصفات التصنيف.
3. إرسال البيانات والمواصفات إلى شركة تصنيف ما (Scale، SuperAnnotate، إلخ). الدفع مقابل التصنيف.
4. التكرار مع شركة التصنيف وتدريب النموذج.
5. ملاحظة النتائج ثم تكرار الخطوات 2-5 إلى أجل غير مسمى.

على سبيل المثال، قد ترغب شركة قيادة ذاتية في تصنيف علامات التوقف ولكن بعد تصنيف مليون علامة توقف ورؤية النتائج يدركون أنهم يريدون تصنيف "رؤية" علامة التوقف، ثم يدركون أنهم يريدون أيضاً تصنيف الأشجار التي قد تحيط بعلامات التوقف مضيفين تصنيف "مُحجوب". الآن جميع البيانات (التي نمت أيضاً في هذه الأثناء حيث أن جمع البيانات مستمر) تحتاج إلى إعادة تصنيف! الدورة لن تنتهي أبداً طالما أن الشركة تعمل على تحسين نموذجها!

إنفاق Meta مبلغ 14.3 مليار دولار للحصول على حصة 49٪ لتوظيف الرئيس التنفيذي لـ Scale.AI [11] قد يكون أحد أكثر التحركات خطورة التي قامت بها الشركة على الإطلاق بسبب هذه الصعوبات مع شركات التصنيف.

إذن، إذا كان التدريب الأعمى على مجموعات بيانات ضخمة يمثل مشكلة، وتصنيف كل شيء صعب، فماذا يجب أن نفعل أيضاً؟ بعد العمل على هذه المسألة خلال السنوات الأربع الماضية، وجدنا أن أفضل حل هو تمثيل البيانات بشكل جيد بما فيه الكفاية بحيث يكون من الأسهل اختيار وفهم ما هو موجود في بياناتنا وكيف تؤثر تلك البيانات على نماذجنا. يجب أن نكون قادرين على التحدث مع بياناتنا بطريقة تتيح لنا البحث بسرعة عن الأمثلة وبناء مجموعات تقييم بسرعة لاختبار النماذج.

هذا ما نبنيه في Interpret AI. نحن نبني منصة استبطان البيانات، ومنصة تنظيم البيانات، وسوق بيانات ذكي يسمح للشركات التي تبني أنظمة الذكاء الاصطناعي بالتفاعل وفهم مجموعات البيانات الخاصة بها. نتصور عالماً يمكنك فيه التحدث مع بياناتك باستخدام اللغة الطبيعية والصوت والصورة والفيديو للبحث عن حالات مماثلة بحيث يمكن للشركات الوثوق ومعرفة بياناتها (أو الفجوات في بياناتها) التي تشغل نماذجها. (إذا كان أي من هذا يتردد صداه معك، فلا تتردد في التواصل مع ily@interpretai.tech)

قياس ما هو مفيد على الأرجح أولاً

دواليب البيانات التقليدية

1. لدى الشركة بعض البنية التحتية التي تجمع البيانات باستمرار في مجموعة بيانات (1b). ثم يقوم الفريق بإنشاء مجموعات فرعية من البيانات الاستدلالية التي نأمل أنه بمجرد تصنيفها ستحسن نموذجهم (1a).
2. يتم إرسال البيانات إلى شركة التصنيف (التعليق التوضيحي). تنتج شركة التصنيف تصنيفات (تعليقات توضيحية) يتم مراجعتها بعد ذلك من قبل الفريق، والتي يمكن أن تستغرق شهوراً من التبادل للتقارب.
3. ثم يتم التدريب المسبق لنموذج الذكاء الاصطناعي.
4. ثم يتم ضبط النموذج المُدرب مسبقاً باستخدام التصنيفات من شركة التصنيف
5. يتم تقييم النموذج النهائي باستخدام نظام التقييم الخاص بالشركة، مما يولد مقاييس.
6. تستخدم الشركة بعد ذلك هذه الملاحظات لاختيار مجموعات فرعية أخرى من البيانات، وتحديث متطلبات التصنيف، و/أو إجراء تغييرات على النموذج. لاحظ أنه بحلول هذه النقطة تكون مجموعة البيانات الفرعية قد بدأت بالفعل في التقادم.

ملاحظة: قد تكون المقاييس منحرفة بسبب التعليقات التوضيحية الضعيفة التي تتطلب تكراراً مستمراً من الفريق وهو أمر مكلف وغير فعال من حيث الوقت (6).

الشكل 1b: قيود الوقت وإعداد نظام الذكاء الاصطناعي للشركة التقليدية مع جداول زمنية تقريبية لتكرار كل من هذه القطع بشكل مستقل. لاحظ أنه مع وجود شركة تصنيف في الحلقة، سيستغرق الأمر شهوراً من التكرار لتوليد تصنيفات تحسن نموذج الذكاء الاصطناعي بشكل صحيح.انظر الشكل 1a لكيفية تفاعل كل من هذه القطع مع شركة تقليدية.

دولاب بيانات Interpret AI:

ابدأ بالمعرفة مع رؤى عميقة للبيانات

الشكل 2a: دولاب بيانات Interpret AI.

1. توصيات فورية لمجموعات البيانات الفرعية واقتراحات بيانات محسّنة للتدريب المسبق والتدريب (1a و 1b على التوالي).
2. يقوم الفريق الآن بمراجعة مجموعات فرعية أصغر بكثير من البيانات المقترحة من Interpret قبل إرسالها إلى شركة تصنيف. هذه المجموعات الفرعية من البيانات متغيرة ويتم تحديثها باستمرار مع تغير البيانات (اختيارياً، إذا قامت شركة بدمج نموذجها الأساسي، يمكن لـ Interpret AI تقديم المزيد من الرؤى حول كيفية تأثير البيانات على أداء النموذج).
3. يتم تسريع التبادل بين شركة التصنيف من شهور إلى أسابيع وهو أرخص بكثير حيث أن مواصفات التعليق التوضيحي واختيار مجموعة البيانات واضحان.

• تركز الملاحظات على النموذج (6).
• أخيراً، يحلل Interpret AI مساحة بياناتك لتقديم رؤى حول البيانات التي يجب جمعها أو شراؤها لتسريع تحسين النموذج.

الشكل 2b: يوضح الشكل كيف يتكامل Interpret AI مباشرة مع عملائنا لتسريع تدريب النموذج، وفرز البيانات وفهمها، والتقييم. يوفر Interpret AI حلولاً لـ

• فهم توزيع البيانات الموجودة.
• تحديد فجوات النموذج المرتبطة بفجوات البيانات.
• شراء وتنظيم البيانات لسد فجوات البيانات.

حالات الاستخدام

نتعاون مع العديد من الشركات عبر صناعات الروبوتات والرعاية الصحية ونماذج اللغة الكبيرة الوكيلة. إذا كان أي من هذا يتردد صداه معك، فلا تتردد في التواصل مع ily@interpretai.tech

الرعاية الصحية

تحاول HealthCo التنبؤ بخطر الإصابة بأمراض القلب والأوعية الدموية لمرضاها.

للتدريب

• يحلل Interpret AI بيانات القلب والأوعية الدموية باستخدام نماذج الأساس الخاصة بنا، ومعالجة السجلات الصحية الإلكترونية والصور وربما بيانات تخطيط القلب [12] إذا كانت متاحة.
• يلاحظ Interpret AI شذوذات أو "ثغرات" في HealthCo ويصف الخصائص الديموغرافية لهؤلاء الأشخاص (أي أنثى، في منتصف العمر، بدون أطفال، تم وصف trimetazidine لها تاريخياً).
• يتم تحليل هذه السجلات المكتشفة بشكل أكبر من قبل الخبراء. يمكن بعد ذلك تحديث البيانات المحددة أو تجاهلها أو استخدامها للمساعدة في شراء المزيد من البيانات للأشخاص الذين تم وصف trimetazidine لهم تاريخياً، أو إرسالها إلى شركة تصنيف للتعليق على هذه المجموعة المحددة.
• يتم بعد ذلك استخدام البيانات المحددة لتدريب نموذج الذكاء الاصطناعي لأمراض القلب والأوعية الدموية. إذا قامت HealthCo بدمج نموذج القلب والأوعية الدموية الخاص بها في منصة Interpret، فإننا نحلل بشكل أكبر أين يكون أداء النموذج ضعيفاً في الوقت الفعلي، مما يسمح بالاستبطان الفوري.
• تقلل هذه العملية الجدول الزمني لتدريب النموذج من رتبة شهور إلى أسابيع مما يحسن أنظمة الذكاء الاصطناعي بسرعة ويوفر التكاليف!

للسلامة

لنفترض أن HealthCo لديها أمثلة على أشخاص أصيبوا بنوبات قلبية ويريدون تحليل السجلات الصحية الإلكترونية الأخرى للأشخاص المشابهين لهذا الشخص والذين قد يكونون أيضاً في خطر

• باستخدام Interpret AI، يمكن لـ HealthCo اختيار أمثلة لهذا الشخص والبحث عن مجموعة ذات صلة من الأشخاص، والفرز حسب الثقة.
• يمكن وضع علامة على هؤلاء الأشخاص على أنهم في خطر، مما يحدد بسرعة بضع مئات من الأشخاص المعرضين للخطر من ملايين السجلات!

الروبوتات

تقوم DriveCo ببناء سيارات سباق ذاتية القيادة كلعبة للأطفال للعب بها في الخارج.

للتدريب

• يحلل Interpret AI عمليات التشغيل المجمعة لبيانات فيديو سيارة السباق. يقدم Interpret AI تقرير بيانات.
• يلاحظ Interpret AI أن غالبية عمليات إعادة التشغيل من مقاطع الفيديو ليست متنوعة جغرافياً وأن هناك أمثلة قليلة على سيارات السباق التي تقود في الهواء الطلق في الساحات الخلفية.
• يوصي Interpret AI فريق DriveCo بجمع المزيد من الأمثلة على مقاطع الفيديو الخارجية. نحاول أيضاً موازنة مجموعة البيانات بطريقة مُتعلمة باستخدام نموذج الأساس Interpret AI الخاص بنا لتخفيف هذا الاختلال.
  • بدون Interpret AI، قد تكون DriveCo قد أرسلت أكثر من 1000 ساعة من بيانات سيارة السباق لتصنيف الأشياء التي لم تكن مطلوبة! الآن يحتاجون فقط إلى تصنيف 10 ساعات!

للسلامة

لنفترض أن سيارات السباق ذاتية القيادة هذه تواجه تدقيقاً بشأن سلامة الرضع.

• يمكن لـ DriveCo البحث في قاعدة بياناتها عن مقاطع فيديو تحتوي على "طفل" لمعرفة ما إذا كان لديهم هذه البيانات.
• إذا لم يكن لدى DriveCo البيانات، فهذا يُعلم الفريق بجمعها (باستخدام أطفال مزيفين آمل) أو يسمح هذا لـ DriveCo بإظهار للمستهلكين والمستثمرين أن المنتج آمن بالفعل حول الأطفال!

كيف وصلنا إلى هنا

تاريخ موجز عن التصنيفات والتدريب المسبق

في عام 2015، قبل المحولات، تم تدريب معظم النماذج لحل مجموعة فرعية محددة جداً من المشاكل: التصنيف، والتجزئة، واكتشاف الأشياء (أي المشاكل الأساسية) وغيرها [1]. كانت المعايير عبارة عن مجموعات بيانات مُصنفة "كبيرة نسبياً" بترتيب 10 آلاف إلى مليون. {1}

دخل التدريب المسبق الحديث إلى الساحة حوالي عام 2017 وغيّر اللعبة. باستعارة من التعلم التمثيلي، جاء التدريب المسبق كتحول نموذجي أساسي حيث فجأة فتحت مجموعات البيانات غير المُصنفة مكاسب ضخمة في أداء النموذج. كانت مجموعات البيانات غير المُصنفة المستخدمة للتدريب المسبق مقارنة بنظيراتها المُصنفة ضخمة [5]. هذا مع تقنياتوتطورات أخرى {2} أدى إلى نماذج أساسية حديثة مثل CLIP [13]، DALL-E [14]، DINOv2 [15]، و BERT [16] على سبيل المثال لا الحصر.

ثم غيّرت OpenAI، المبنية على أساس من المحولات والتدريب المسبق وتقدم التعلم المعزز، اللعبة عندما أطلقت GPT (محول توليدي مُدرب مسبقاً) [6]. Sora [7]، DeepSeek [8]، Anthropic [9] جميعها تستخدم التدريب المسبق على مجموعات بيانات كبيرة كعمود فقري لنماذجها عالية الأداء. لكن المخفي هناك هو ملاحظة حادة لا يتحدث عنها معظم الناس.

بينما يعد التدريب المسبق خطوة أولى جيدة، فإن معظم هذه النماذج تحتاج إلى مزيد من التدريب فوق قاعدة مُدربة مسبقاً. سواء كان هذا تعلماً معززاً أو ضبطاً دقيقاً خاضعاً للإشراف، فإن النماذج الأكثر أداءً مُحاذاة {3} بطريقة ما للمشكلة الأصلية. لكن حتى الضبط الدقيق يتوسع إلى نقطة معينة، مما يعني أن تحسين التدريب المسبق ضروري لأداء النموذج المستقبلي {4}.

أحد الأمثلة الأكثر إقناعاً على كيفية دمج التدريب المسبق بشكل صحيح وبناء دولاب بيانات في الأدبيات هو دولاب البيانات المُصنفة الذي بنته Meta في نموذج تجزئة أي شيء (SAM) و SAM v2 [10]. لكن حتى في هذا المثال، يصعب توسيع نطاق تصنيف البيانات بشكل لا يصدق.

تجزئة أي شيء: الابتكارات والرسالة

الملخص التنفيذي: ما يظهره لنا SAM هو أن ضمان الجودة وفهم ما هو موجود في بياناتنا صعب ولكنه مشكلة مهمة يجبمعالجتها. إضافة المزيد من البيانات ليست بالضرورة الإجابة.

بنى SAM دولاب بيانات نظّم مجموعة بيانات مُصنفة كبيرة باستخدام SAM مُدرب جزئياً في مراحل مختلفة من التدريب مع ملاحظات تصنيف بشرية. يوضح نهجهم الطريقة الصحيحة لدمج التصنيف في خط أنابيب ولكنه يسلط الضوء أيضاً على أن حتى دولاب بيانات التصنيف الصحيح مكلف وصعب التوسع. في مرحلة ما، تنمو مجموعة البيانات بشكل كبير بما فيه الكفاية حيث لا يستطيع البشر التعليق على كل شيء وبالتالي يتطلب طريقة أخرى للاستبطان (أي ما يبنيه Interpret).

تقريباً، كان نهج SAM [10]

1. ابدأ بـ ViT هرمي مُدرب مسبقاً بـ MAE.
2. تدريب SAM على مجموعات بيانات التجزئة المتاحة للجمهور.
3. استخدام SAM المُدرب جزئياً لتوليد أقنعة تجزئة على مجموعة فرعية من البيانات.
4. جعل البشر يحسنون تنبؤات التجزئة. ثم استخدام الأقنعة أيضاً لتدريب كاشف أشياء للعثور على المزيد من الأشياء وجعل البشر يصنفون ذلك.
5. تكرار الخطوات 3-4 مع زيادة حجم مجموعة البيانات تدريجياً
6. الانتهاء بالتشغيل على مليار صورة للحصول على SA-1B. استخدام فريق ضمان الجودة للإشارة إلى الأمث

The idea is the same for SAM 2 which is a video segmentation model, which generated SA-V dataset with 35.5M masks across 50.9K videos, 53x more masks than any video segmentation dataset [10].

Notice, the best segmentation model was trained with data directly relating to its task where the label feedback was all nicely coupled in a speedy, efficient data flywheel. Pretraining and then **training with a collection of open source segmentation datasets were only the first and second step.

Also notice that that human labeling eventually hit a ceiling; when the data flywheel started labeling 1B images Meta still needed to run a QA filter to flag bad examples. Based on the paper, annotating all 1.1B masks would’ve taken 51k days of annotation time! {5}

This is Meta we’re talking about but hiring that for most companies would be egregiously expensive & infeasible! {6} Labeling at this scale is just hard!

Reiterating the TL;DR, what SAM shows us is quality assurance and understanding what’s in our data is hard but an important problem to address. This is fundamentally the gap we see in industry today: more data used for pretraining or finetuning is not necessarily the answer. The right approach identifies where a model suffers, understands why it suffers there, and then highlights data (or data gaps) relevant to the problem, which is what we’re doing over at Interpret AI.

Annotation companies’ goals are not necessarily aligned with yours…

We have industry experience in MAANG and our team has experience working with annotation companies like Scale, SuperAnnotate, etc. For most labeling (annotation) companies, the business model is:

• Let companies generate their own labeling (annotation) spec with perhaps some back & forth depending on the complexity of the labels.
• Most annotation companies have different tiers of annotators, the largest pool being non-experts who label everything and the smallest being experts in the field (i.e. Doctors). An annotation company then marshals a pool of human labelers, typically starting with the cheapest ones to do a low quality first pass.
• The annotators then label according to the company’s complex annotation spec as best they can, charging per annotation.
• Provide feedback and updates to the annotations, possibly updating the annotation spec.

There are four main problems with this process:

1. annotations are not consistent and are usually not assigned to the right labelers,
2. the labeling is time-consuming & expensive,
3. the feedback loop for correcting annotations is erroneous, and
4. annotation specs change over time as model performance changes.

Addressing 1., labelers are not guaranteed to be suited to their assigned labeling task and often label differently than their peers. For instance, for a healthcare company if the task is “Pick the clinical response that bests diagnoses the patient” these labelers may not even be doctors suited to the task! Additionally, for an autonomous driving company if the task is to “Draw bounding boxes for stop signs” does this include the pole or not? What if it’s the back side of a stop sign? Different annotators will label differently without consulting each other.

Addressing 2., charging per annotation sounds great in theory as the conventional dogma is that more labels help but if and only if the company can afford the cost of a sufficient number of labels to boost model performance; a number that is typically unknown. These annotations will also typically have errors that require AI companies to build internal systems that review the annotations which takes both time (order of months) and more money.

Addressing 3., The feedback loop is not consistent either. Typically the responsibility of annotation verification is pushed to the AI company, which needs to set up their own internal monitoring system (already time-consuming and costly). When an AI company notices an annotation issue, corrections are not guaranteed to be from the same annotator who created the problematic label and sometimes annotation companies will relabel the entire problematic example instead of correcting it which costs more. For instance, for an autonomous driving company might want to label instance masks of traffic lights and people. In this dummy example, the first annotator makes a mistake and forgets to label traffic lights not facing the camera. The AI company flags it and sends it off to be re-reviewed but the way the annotation company fixes this is by sending the image to a new annotator who relabels everything from scratch! The second annotator fixes the original issue but doesn’t label policeman as “people” and now a new issue emerges! See Figure 3a and Figure 3b. This loop has an incredibly low probability of correctly annotating objects correctly ~61% for 50 labels {7}.

Essentially, with this feedback system the labels an annotation company creates are not guaranteed to converge to the right labels!

The incentives of AI companies are not well aligned with those of labeling companies. AI companies want to improve their AI model and their product while annotation companies want to label as much company data as possible so that they can charge for it. You want to make your model performant and so should annotation companies.

Addressing 4., In industry (and research), when trying to solve a problem, there are many possible solutions. Perhaps pretraining on the entire internet will improve your LLM, or perhaps grounding an LLM by training on labeled text-images pairs will help with LLM reasoning, or perhaps adding chain of thought will help. In other words, when designing AI systems we need to try a lot of different things in parallel since sometimes it’s unclear what the best approach will be. Labeling is one solution, which means that as we better understand our problem the label definition is subject to change.

For instance, take labeling stop signs in autonomous driving; suppose that we first label stop signs. We notice that performance improves when we know if a stop sign is partially obstructed, so we update the annotation spec to add a metadata tag called “obstructed” later on when the sign is partially or not visible. We then go back to an annotation company and ask them to relabel all our stop signs with this! This “annotation-platform in the loop” means that every model experiment that updates the labeled dataset is super expensive!

So, one may wonder, why are labeling providers used at all? For two reasons: First, high quality labels on data do help as discussed earlier. In fact, less data with higher quality labels can outperform some of these large pretrained models; SAM being an excellent example. Second, the alternative to not using an annotation company is to create an internal annotation platform which is even more expensive and time consuming, since producing the same volume of labels as the other players can take years!

Conclusion

The optimal data flywheel represents data in a form that’s inherently insightful and interactable: we should be able to detect anomalies and also chat with our data to garner interesting patterns and insights. This flywheel should enhance annotation platforms by focusing on what should be labeled instead of labeling everything {8}. And finally, this data flywheel should align with model performance, tying directly to whatever problem your AI company is solving.

The traditional dogma is that more data “just works” and sometimes deep learning feels like alchemy. Perhaps more data will work for you in the short run but when things “just don’t work” the proper way is to assess failure both in the data & the model and work from there.

Over at Interpret we hope to change the paradigm. If you are interested, reach out to us at ily@interpretai.tech