الأقل هو الأكثر

حجم البيانات ليس كل ما تحتاجه. إن الزيادة العشوائية في حجم مجموعة البيانات أثناء التدريب المسبق للنموذج يعرض الشركات التي تعتمد على الذكاء الاصطناعي لخطر ارتكاب أخطاء جسيمة. إن تدريب النماذج على مجموعات بيانات كبيرة ذات توزيع غير معروف يؤدي إلى سلوكيات غير متوقعة: في مجال الروبوتات قد يؤدي هذا إلى مسارات خاطئة وخطيرة، وبالنسبة لشركة رعاية صحية قد يؤدي إلى تقييمات غير دقيقة للمخاطر، وبالنسبة لنماذج اللغة الكبيرة قد يؤدي إلى توليد خطاب ضار ⁹. على منصة X، ارتكب Grok هذا الخطأ، حيث ولّد خطاباً ضاراً في المنشور المحذوف الآن والموضح في الشكل 0a. حتى الرئيس التنفيذي لشركة xAI اعترف بأنهم بحاجة إلى أن يكونوا أكثر "انتقائية بشأن بيانات التدريب، بدلاً من مجرد التدريب على الإنترنت بأكمله". ولكن كيف تختار البيانات بشكل صحيح لتدريب وتقييم هذه النماذج بشكل صحيح؟ ما هي الأدوات المتاحة؟

الحل هو تمثيل البيانات بذكاء في شكل قابل للتفاعل ومتنوع بشكل كافٍ من الناحية الدلالية. يساعد هذا النهج في: 1. إنشاء مجموعات بيانات التدريب والتقييم لكل من التدريب المسبق والتدريب اللاحق، 2. تحديد الثغرات في البيانات و 3. تقديم توصيات حول كيفية سد تلك الفجوات (إما عن طريق الشراء أو الجمع).

دواليب البيانات وشركات التعليق التوضيحي

في الصناعة، معظم الرؤساء التنفيذيين لشركات الذكاء الاصطناعي، وباحثي الذكاء الاصطناعي، والمهندسين غير راضين عن شركات التعليق التوضيحي الحديثة التي تدمج نفسها في دواليب البيانات الخاصة بهم.

الحل الحالي المفضل لشركات الذكاء الاصطناعي هو جمع مجموعة بيانات كبيرة غير موسومة للتدريب المسبق (أو استخدام نموذج مدرب مسبقاً مفتوح المصدر)، ثم وسم مجموعة بيانات كبيرة أخرى خاصة بالمهمة المقصودة، وأخيراً تنظيم مجموعة تدريب ومجموعة تقييم يدوياً. عادةً ما يتم الاستعانة بمصادر خارجية للوسم إلى شركات التعليق التوضيحي (ScaleAI، SuperAnnotate، Labelbox، إلخ) التي تدمج نفسها في محرك البيانات. لكن وسم كل شيء في مجموعة بيانات كبيرة لا يعمل بشكل جيد لأن توسيع نطاق وسم البيانات إلى ملايين أو مليارات من الأمثلة يكون عرضة للأخطاء، ومكلفاً بشكل غير مستدام ويستغرق وقتاً طويلاً مما يترك شركات الذكاء الاصطناعي غير راضية. والأهم من ذلك، أن حلقة الوسم هي عملية لا تنتهي أبداً حيث أن دواليب البيانات تتكيف باستمرار مع النماذج المتطورة والمزيد من البيانات المجمعة مما يجعل متطلبات الوسم متغيرة وتتغير بمرور الوقت؛ لا تستطيع شركات التعليق التوضيحي مواكبة سرعة التغييرات حيث يمكن أن تحدث تحديثات النموذج في أسابيع بينما يمكن أن يستغرق الوسم شهوراً.

حلقة الوسم الحديثة في محرك البيانات هي:

1. جمع بعض البيانات.
2. تصميم أو تحديث بعض مواصفات الوسم.
3. إرسال البيانات والمواصفات إلى شركة وسم ما (Scale، SuperAnnotate، إلخ). الدفع مقابل الوسم.
4. التكرار مع شركة الوسم وتدريب النموذج.
5. مراقبة النتائج ثم تكرار الخطوات 2-5 إلى أجل غير مسمى.

على سبيل المثال، قد ترغب شركة قيادة ذاتية في وسم علامات التوقف ولكن بعد وسم مليون علامة توقف ورؤية النتائج يدركون أنهم يريدون وسم "رؤية" علامة التوقف، ثم يدركون أنهم يريدون أيضاً وسم الأشجار التي قد تحيط بعلامات التوقف مضيفين تسمية "مُحجَّب". الآن جميع البيانات (التي نمت أيضاً في هذه الأثناء حيث أن جمع البيانات مستمر) تحتاج إلى إعادة وسم! لن تنتهي الدورة أبداً طالما أن الشركة تعمل على تحسين نموذجها!

قد يكون إنفاق Meta مبلغ 14.3 مليار دولار للحصول على حصة 49٪ لتوظيف الرئيس التنفيذي لشركة Scale.AI ¹¹ أحد أكثر الخطوات خطورة التي قامت بها الشركة على الإطلاق بسبب هذه الصعوبات مع شركات الوسم.

إذن، إذا كان التدريب الأعمى على مجموعات بيانات ضخمة يمثل مشكلة، ووسم كل شيء أمر صعب، فماذا يجب أن نفعل أيضاً؟ بعد العمل على هذه المسألة خلال السنوات الأربع الماضية، وجدنا أن الحل الأفضل هو تمثيل البيانات بشكل جيد بما يكفي بحيث يكون من الأسهل اختيار وفهم ما هو موجود في بياناتنا وكيف تؤثر تلك البيانات على نماذجنا. يجب أن نكون قادرين على التحدث مع بياناتنا بطريقة تتيح لنا البحث بسرعة عن الأمثلة وبناء مجموعات تقييم بسرعة لاختبار النماذج.

هذا ما نبنيه في Interpret AI. نحن نبني منصة استبطان البيانات، ومنصة تنظيم البيانات، وسوق بيانات ذكي يسمح للشركات التي تبني أنظمة الذكاء الاصطناعي بالتفاعل وفهم مجموعات البيانات الخاصة بها. نتصور عالماً يمكنك فيه التحدث مع بياناتك باستخدام اللغة الطبيعية والصوت والصورة والفيديو للبحث عن حالات مماثلة بحيث يمكن للشركات الوثوق ومعرفة بياناتها (أو الفجوات في بياناتها) التي تشغل نماذجها.

توسيع نطاق ما هو مفيد على الأرجح أولاً

دواليب البيانات التقليدية

1. لدى الشركة بعض البنية التحتية التي تجمع البيانات باستمرار في مجموعة بيانات (1b). ثم ينشئ الفريق مجموعات فرعية من البيانات الاستدلالية التي نأمل أن تؤدي بمجرد وسمها إلى تحسين نموذجهم (1a).
2. يتم إرسال البيانات إلى شركة الوسم (التعليق التوضيحي). تنتج شركة الوسم تسميات (تعليقات توضيحية) يتم مراجعتها بعد ذلك من قبل الفريق، والتي يمكن أن تستغرق شهوراً من التبادل للتقارب.
3. ثم يتم التدريب المسبق لنموذج الذكاء الاصطناعي المدرب مسبقاً.
4. ثم يتم ضبط النموذج المدرب مسبقاً باستخدام التسميات من شركة الوسم
5. يتم تقييم النموذج النهائي باستخدام نظام التقييم الخاص بالشركة، مما يولد مقاييس.
6. تستخدم الشركة بعد ذلك هذه الملاحظات لاختيار مجموعات بيانات فرعية أخرى محتملة، وتحديث متطلبات الوسم، و/أو إجراء تغييرات على النموذج. لاحظ أنه بحلول هذه النقطة تكون المجموعة الفرعية من البيانات قد أصبحت قديمة بالفعل.

ملاحظة: قد تكون المقاييس منحرفة بسبب التعليقات التوضيحية الضعيفة التي تتطلب تكراراً مستمراً من الفريق وهو أمر مكلف وغير فعال من حيث الوقت (6).

الشكل 1b: قيود الوقت وإعداد نظام الذكاء الاصطناعي للشركة التقليدية مع جداول زمنية تقريبية لتكرار كل من هذه القطع بشكل مستقل. لاحظ أنه مع وجود شركة وسم في الحلقة، سيستغرق الأمر شهوراً من التكرار لتوليد تسميات تحسن نموذج الذكاء الاصطناعي بشكل صحيح. انظر الشكل 1a لكيفية تفاعل كل من هذه القطع مع شركة تقليدية.

دولاب بيانات Interpret AI: ابدأ بالمعرفة مع رؤى بيانات عميقة

الشكل 2a: دولاب بيانات Interpret AI.

1. توصيات فورية للمجموعات الفرعية من البيانات واقتراحات بيانات محسّنة للتدريب المسبق والتدريب (1a و 1b على التوالي).
2. يراجع الفريق الآن مجموعات فرعية أصغر بكثير من البيانات المقترحة من Interpret قبل إرسالها إلى شركة وسم. هذه المجموعات الفرعية من البيانات متغيرة ويتم تحديثها باستمرار مع تغير البيانات (اختيارياً، إذا قامت شركة بدمج نموذجها الأساسي، يمكن لـ Interpret AI تقديم المزيد من الرؤى حول كيفية تأثير البيانات على أداء النموذج).
3. يتم تسريع التبادل بين شركة الوسم من شهور إلى أسابيع وهو أرخص بكثير حيث أن مواصفات التعليق التوضيحي واختيار مجموعة البيانات واضحان.

• تركز الملاحظات على النموذج (6).
• أخيراً، يحلل Interpret AI مساحة بياناتك لتقديم رؤى حول البيانات التي يجب جمعها أو شراؤها لتسريع تحسين النموذج.

الشكل 2b: يوضح الشكل كيف يتكامل Interpret AI مباشرة مع عملائنا لتسريع تدريب النموذج، وفرز البيانات وفهمها، والتقييم. يوفر Interpret AI حلولاً لـ

• فهم توزيع البيانات الموجودة.
• تحديد فجوات النموذج المرتبطة بفجوات البيانات.
• شراء وتنظيم البيانات لسد فجوات البيانات.

حالات الاستخدام

نتعاون مع العديد من الشركات عبر صناعات الروبوتات والرعاية الصحية ونماذج اللغة الكبيرة الوكيلة:

الرعاية الصحية

تحاول HealthCo التنبؤ بخطر الإصابة بأمراض القلب والأوعية الدموية لمرضاها.

للتدريب

• يحلل Interpret AI بيانات القلب والأوعية الدموية باستخدام نماذج Interpret الأساسية الخاصة بنا، ومعالجة السجلات الصحية الإلكترونية، والصور، وربما بيانات تخطيط القلب الكهربائي ¹² إذا كانت متاحة.
• يلاحظ Interpret AI شذوذات أو "ثقوب" في HealthCo ويصف الخصائص الديموغرافية لهؤلاء الأشخاص (أي أنثى، في منتصف العمر، بدون أطفال، وُصف لها تاريخياً تريميتازيدين).
• يتم تحليل هذه السجلات المكتشفة بشكل أكبر من قبل الخبراء. يمكن بعد ذلك تحديث البيانات المحددة، أو تجاهلها، أو استخدامها للمساعدة في شراء المزيد من البيانات للأشخاص الذين وُصف لهم تاريخياً تريميتازيدين، أو إرسالها إلى شركة وسم للتعليق على هذه المجموعة المحددة.
• يتم بعد ذلك استخدام البيانات المحددة لتدريب نموذج الذكاء الاصطناعي لأمراض القلب والأوعية الدموية. إذا قامت HealthCo بدمج نموذج القلب والأوعية الدموية الخاص بها في منصة Interpret فإننا نحلل بشكل أكبر أين يكون أداء النموذج ضعيفاً في الوقت الفعلي، مما يسمح بالاستبطان الفوري.
• تقلل هذه العملية الجدول الزمني لتدريب النموذج من رتبة شهور إلى أسابيع مما يحسن أنظمة الذكاء الاصطناعي بسرعة ويوفر التكاليف!

للسلامة

لنفترض أن HealthCo لديها أمثلة على أشخاص عانوا من نوبات قلبية ويريدون تحليل السجلات الصحية الإلكترونية الأخرى للأشخاص المشابهين لهذا الشخص والذين قد يكونون أيضاً معرضين للخطر

• باستخدام Interpret AI، يمكن لـ HealthCo اختيار أمثلة لهذا الشخص والبحث عن مجموعة ذات صلة من الأشخاص، والفرز حسب الثقة.
• يمكن وضع علامة على هؤلاء الأشخاص على أنهم معرضون للخطر، مما يحدد بسرعة بضع مئات من الأشخاص المعرضين للخطر من ملايين السجلات!

الروبوتات

تقوم DriveCo ببناء سيارات سباق ذاتية القيادة كلعبة للأطفال للعب بها في الخارج.

للتدريب

• يحلل Interpret AI عمليات التشغيل المجمعة لبيانات فيديو سيارة السباق. يقدم Interpret AI تقرير بيانات.
• يلاحظ Interpret AI أن غالبية عمليات إعادة التشغيل من مقاطع الفيديو ليست متنوعة جغرافياً وأن هناك أمثلة قليلة على سيارات السباق التي تقود في الهواء الطلق في الساحات الخلفية.
• يوصي Interpret AI فريق DriveCo بجمع المزيد من الأمثلة على مقاطع الفيديو الخارجية. نحاول أيضاً موازنة مجموعة البيانات بطريقة مكتسبة باستخدام نموذج Interpret AI الأساسي الخاص بنا لتخفيف هذا الاختلال.
  • بدون Interpret AI قد تكون DriveCo قد أرسلت أكثر من 1000 ساعة من بيانات سيارة السباق لوسم الأشياء التي لم تكن هناك حاجة إليها! الآن يحتاجون فقط إلى وسم 10 ساعات!

للسلامة

لنفترض أن سيارات السباق ذاتية القيادة هذه تواجه تدقيقاً بشأن سلامة الرضع.

• يمكن لـ DriveCo البحث في قاعدة بياناتها عن مقاطع فيديو تحتوي على "طفل رضيع" لمعرفة ما إذا كانت لديهم هذه البيانات.
• إذا لم يكن لدى DriveCo البيانات فهذا يُعلم الفريق بجمعها (باستخدام أطفال مزيفين آمل) أو يسمح هذا لـ DriveCo بإظهار للمستهلكين والمستثمرين أن المنتج آمن بالفعل حول الأطفال!

كيف وصلنا إلى هنا

تاريخ موجز عن التسميات والتدريب المسبق

في عام 20¹5، قبل المحولات، تم تدريب معظم النماذج لحل مجموعة فرعية محددة جداً من المشاكل: التصنيف، والتجزئة، واكتشاف الأشياء (أي المشاكل الأساسية) وغيرها [1]. كانت المعايير عبارة عن مجموعات بيانات موسومة "كبيرة نسبياً" بترتيب 10 آلاف إلى مليون. 1

دخل التدريب المسبق الحديث في الحوار حوالي عام ²017 وغيّر اللعبة. باستعارة من تعلم التمثيل، جاء التدريب المسبق كتحول نموذجي أساسي حيث فجأة فتحت مجموعات البيانات غير الموسومة مكاسب ضخمة في أداء النموذج. كانت مجموعات البيانات غير الموسومة المستخدمة للتدريب المسبق مقارنة بنظيراتها الموسومة ضخمة [5]. هذا جنباً إلى جنب مع تقنيات وتطورات أخرى 2 أدى إلى نماذج أساسية حديثة مثل CLIP [13]، DALL-E [14]، DINOv2 [15]، و BERT [16] على سبيل المثال لا الحصر.

ثم غيّرت OpenAI، المبنية على أساس من المحولات والتدريب المسبق وتقدم التعلم المعزز، اللعبة عندما أطلقت GPT (محول توليدي مدرب مسبقاً) [6]. Sora [7]، DeepSeek [8]، Anthropic [9] جميعها تستخدم التدريب المسبق على مجموعات بيانات كبيرة كعمود فقري لنماذجها عالية الأداء. لكن المخفي هناك هو ملاحظة حادة لا يتحدث عنها معظم الناس.

بينما يعد التدريب المسبق خطوة أولى جيدة، تحتاج معظم هذه النماذج إلى مزيد من التدريب فوق قاعدة مدربة مسبقاً. سواء كان هذا تعلماً معززاً أو ضبطاً دقيقاً خاضعاً للإشراف، فإن النماذج الأكثر أداءً تكون محاذاة ³ بطريقة ما للمشكلة الأصلية. لكن حتى الضبط الدقيق يتوسع إلى حد ما، مما يعني أن تحسين التدريب المسبق ضروري لأداء النموذج المستقبلي ⁴.

أحد الأمثلة الأكثر إقناعاً على كيفية دمج التدريب المسبق بشكل صحيح وبناء دولاب بيانات في الأدبيات هو دولاب البيانات الموسومة الذي بنته Meta في نموذج تجزئة أي شيء (SAM) و SAM v2 [10]. لكن حتى في هذا المثال، يصعب توسيع نطاق وسم البيانات بشكل لا يصدق.

تجزئة أي شيء: الابتكارات والرسالة

باختصار: ما يظهره لنا SAM هو أن ضمان الجودة وفهم ما هو موجود في بياناتنا أمر صعب ولكنه مشكلة مهمة يجب معالجتها. إضافة المزيد من البيانات ليست بالضرورة الإجابة.

بنى SAM دولاب بيانات نظّم مجموعة بيانات موسومة كبيرة باستخدام SAM مدرب جزئياً في مراحل مختلفة من التدريب مع ملاحظات التسمية البشرية. يوضح نهجهم الطريقة الصحيحة لدمج الوسم في خط أنابيب ولكنه يسلط الضوء أيضاً على أن حتى دولاب وسم البيانات الصحيح مكلف وصعب التوسع. في مرحلة ما، تنمو مجموعة البيانات بشكل كبير بما يكفي بحيث لا يستطيع البشر التعليق على كل شيء وبالتالي يتطلب طريقة أخرى للاستبطان (أي ما يبنيه Interpret).

تقريباً، كان نهج SAM [10]

1. ابدأ بـ ViT هرمي مدرب مسبقاً بـ MAE.
2. تدريب SAM على مجموعات بيانات التجزئة المتاحة للجمهور.
3. استخدام SAM المدرب جزئياً لتوليد أقنعة التجزئة على مجموعة فرعية من البيانات.
4. جعل البشر يحسنون تنبؤات التجزئة. ثم استخدام الأقنعة أيضاً لتدريب كاشف أشياء للعثور على المزيد من الأشياء وجعل البشر يسمونها.
5. تكرار الخطوات 3-4 مع زيادة حجم مجموعة البيانات تدريجياً
6. الانتهاء بالتشغيل على مليار صورة للحصول على SA-1B. استخدام فريق ضمان الجودة للإشارة إلى الأمثلة السيئة المحتملة. لاحظ أن توفير تسميات بشرية لجميع الصور البالغ عددها مليار صورة أمر صعب للغاية.

الفكرة هي نفسها بالنسبة لـ SAM 2 وهو نموذج تجزئة فيديو، والذي ولّد مجموعة بيانات SA-V مع 35.5 مليون قناع عبر 50.9 ألف فيديو، أي 53 ضعف عدد الأقنعة مقارنة بأي مجموعة بيانات تجزئة فيديو [10].

لاحظ، تم تدريب أفضل نموذج تجزئة مع بيانات تتعلق مباشرة بمهمته حيث كانت ملاحظات التسمية كلها مقترنة بشكل جيد في دولاب بيانات سريع وفعال. كان التدريب المسبق ثم التدريب مع مجموعة من مجموعات بيانات التجزئة مفتوحة المصدر الخطوة الأولى والثانية فقط.

لاحظ أيضاً أن الوسم البشري وصل في النهاية إلى سقف؛ عندما بدأ دولاب البيانات في وسم مليار صورة، كانت Meta لا تزال بحاجة إلى تشغيل مرشح ضمان الجودة للإشارة إلى الأمثلة السيئة. بناءً على الورقة، كان التعليق على جميع الأقنعة البالغ عددها 1.1 مليار سيستغرق ⁵1 ألف يوم من وقت التعليق! 5

نحن نتحدث عن Meta ولكن توظيف ذلك لمعظم الشركات سيكون مكلفاً بشكل فاحش وغير ممكن

Reiterating the TL;DR, what SAM shows us is quality assurance and understanding what’s in our data is hard but an important problem to address. This is fundamentally the gap we see in industry today: more data used for pretraining or finetuning is not necessarily the answer. The right approach identifies where a model suffers, understands why it suffers there, and then highlights data (or data gaps) relevant to the problem, which is what we’re doing over at Interpret AI.

Annotation companies’ goals are not necessarily aligned with yours…

We have industry experience in MAANG and our team has experience working with annotation companies like Scale, SuperAnnotate, etc. For most labeling (annotation) companies, the business model is:

• Let companies generate their own labeling (annotation) spec with perhaps some back & forth depending on the complexity of the labels.
• Most annotation companies have different tiers of annotators, the largest pool being non-experts who label everything and the smallest being experts in the field (i.e. Doctors). An annotation company then marshals a pool of human labelers, typically starting with the cheapest ones to do a low quality first pass.
• The annotators then label according to the company’s complex annotation spec as best they can, charging per annotation.
• Provide feedback and updates to the annotations, possibly updating the annotation spec.

There are four main problems with this process:

1. annotations are not consistent and are usually not assigned to the right labelers,
2. the labeling is time-consuming & expensive,
3. the feedback loop for correcting annotations is erroneous, and
4. annotation specs change over time as model performance changes.

Addressing 1., labelers are not guaranteed to be suited to their assigned labeling task and often label differently than their peers. For instance, for a healthcare company if the task is “Pick the clinical response that bests diagnoses the patient” these labelers may not even be doctors suited to the task! Additionally, for an autonomous driving company if the task is to “Draw bounding boxes for stop signs” does this include the pole or not? What if it’s the back side of a stop sign? Different annotators will label differently without consulting each other.

Addressing 2., charging per annotation sounds great in theory as the conventional dogma is that more labels help but if and only if the company can afford the cost of a sufficient number of labels to boost model performance; a number that is typically unknown. These annotations will also typically have errors that require AI companies to build internal systems that review the annotations which takes both time (order of months) and more money.

Addressing 3., The feedback loop is not consistent either. Typically the responsibility of annotation verification is pushed to the AI company, which needs to set up their own internal monitoring system (already time-consuming and costly). When an AI company notices an annotation issue, corrections are not guaranteed to be from the same annotator who created the problematic label and sometimes annotation companies will relabel the entire problematic example instead of correcting it which costs more. For instance, for an autonomous driving company might want to label instance masks of traffic lights and people. In this dummy example, the first annotator makes a mistake and forgets to label traffic lights not facing the camera. The AI company flags it and sends it off to be re-reviewed but the way the annotation company fixes this is by sending the image to a new annotator who relabels everything from scratch! The second annotator fixes the original issue but doesn’t label policeman as “people” and now a new issue emerges! See Figure 3a and Figure 3b. This loop has an incredibly low probability of correctly annotating objects correctly ~61% for 50 labels ⁷.

Essentially, with this feedback system the labels an annotation company creates are not guaranteed to converge to the right labels!

The incentives of AI companies are not well aligned with those of labeling companies. AI companies want to improve their AI model and their product while annotation companies want to label as much company data as possible so that they can charge for it. You want to make your model performant and so should annotation companies.

Addressing 4., In industry (and research), when trying to solve a problem, there are many possible solutions. Perhaps pretraining on the entire internet will improve your LLM, or perhaps grounding an LLM by training on labeled text-images pairs will help with LLM reasoning, or perhaps adding chain of thought will help. In other words, when designing AI systems we need to try a lot of different things in parallel since sometimes it’s unclear what the best approach will be. Labeling is one solution, which means that as we better understand our problem the label definition is subject to change.

For instance, take labeling stop signs in autonomous driving; suppose that we first label stop signs. We notice that performance improves when we know if a stop sign is partially obstructed, so we update the annotation spec to add a metadata tag called “obstructed” later on when the sign is partially or not visible. We then go back to an annotation company and ask them to relabel all our stop signs with this! This “annotation-platform in the loop” means that every model experiment that updates the labeled dataset is super expensive!

So, one may wonder, why are labeling providers used at all? For two reasons: First, high quality labels on data do help as discussed earlier. In fact, less data with higher quality labels can outperform some of these large pretrained models; SAM being an excellent example. Second, the alternative to not using an annotation company is to create an internal annotation platform which is even more expensive and time consuming, since producing the same volume of labels as the other players can take years!

Conclusion

The optimal data flywheel represents data in a form that’s inherently insightful and interactable: we should be able to detect anomalies and also chat with our data to garner interesting patterns and insights. This flywheel should enhance annotation platforms by focusing on what should be labeled instead of labeling everything ⁸. And finally, this data flywheel should align with model performance, tying directly to whatever problem your AI company is solving.

The traditional dogma is that more data “just works” and sometimes deep learning feels like alchemy. Perhaps more data will work for you in the short run but when things “just don’t work” the proper way is to assess failure both in the data & the model and work from there.