TL;DR
- التعليقات التوضيحية لا تتوسع. إدارة محرك بيانات التعليقات التوضيحية مكلفة وتستغرق وقتًا طويلاً وإشكالية.
- تحدثنا عن هذا في منشورنا السابق هنا. الخلاصة؟ جعل مجموعات البيانات قابلة للتفسير أمر ضروري لمنع إخفاقات النموذج الحرجة وتجنب توليد المحتوى الضار.
إذن لماذا تعتبر التعليقات التوضيحية بالغة الأهمية لمعظم شركات الذكاء الاصطناعي؟
عندما يكون شيء ما أفضل من لا شيء
بالنسبة لأي من محبي هاري بوتر، قد يبدو بناء نظام ذكاء اصطناعي مثل حصة الجرعات السحرية. في بعض الأحيان، يخلق المزيج الصحيح من البيانات وخوارزميات التدريب والحجم نموذجاً رائعاً. لكن اكتشاف الوصفة الدقيقة - أي البيانات التي يجب استخدامها، وأي نموذج يجب تجربته، وأي خوارزميات تدريب يجب توظيفها، وأي معاملات فائقة يجب ضبطها - أمر صعب للغاية.
بالنسبة لمعظم الشركات التي تنشر نظام ذكاء اصطناعي جديد، فإن النهج الأكثر وضوحاً هو جمع التسميات للمهمة المطروحة.
- تدريب روبوت جديد؟ اجمع وسمّ المسارات (صناديق الحدود، التجزئة، إلخ).
- مواءمة نموذج لغوي كبير مع معايير الرعاية الصحية أو القانونية؟ اجمع مخرجات نماذج متعددة واطلب من البشر ترتيبها حسب التفضيل لتدريب نموذج مكافأة لـ RLHF أو لضبط نموذج لغوي كبير مباشرة باستخدام DPO.
- البحث عن أشخاص في مقاطع الفيديو؟ اجمع صناديق الحدود.
- تصنيف الأجزاء المعيبة؟ سمّ الصور على أنها معيبة أو غير معيبة.
يعمل هذا النهج بشكل جيد في البداية لأن شيئاً ما دائماً أفضل من لا شيء. من الشركات الناشئة التي لا تملك بيانات إلى المؤسسات التي لديها إكسابايتات منها، تبدأ معظم الفرق بجمع التسميات لأن الحصول على نموذج أولي عامل هو الأولوية القصوى. يستمر هذا النهج اليدوي حتى يتوقف عن العمل. عادةً ما تستكشف الشركات طرقاً أخرى مثل التدريب المسبق أو النماذج الأكبر أو فحص مجموعة البيانات فقط عندما تتضاءل المكاسب من إضافة المزيد من التسميات. لا يزال فحص البيانات ضرورياً، لكنه عادةً ما يأتي بعد أن يكون النموذج الأساسي يعمل بالفعل.
تحرك بسرعة، وسمّ بشكل أسرع
تقرر الشركات بحكمة شحن منتج أولي بسيط والتكرار عليه. لذلك، نقول إن سير عمل التسمية الخاص بك يجب أن يتحرك بنفس سرعة تطوير الذكاء الاصطناعي لديك.
لهذا السبب في Interpret AI، نقوم ببناء Agentic Annotations. الأمر بسيط:
- قدم موجهاً واحداً يصف كيف تريد تسمية بياناتك.
- كرر على بضعة أمثلة متنوعة يختارها نموذجنا الأساسي.
- عندما تكون جاهزاً، قم بالتسمية المسبقة لبقية مجموعة البيانات الضخمة الخاصة بك تلقائياً - لا مزيد من الاختناق البشري.
تشترك خدمات التعليق التوضيحي التقليدية مثل Scale AI و Surge و Labelbox جميعها في نفس المشكلة الأساسية: يجب على الإنسان مراجعة وتسمية كل عينة بيانات واحدة. هذا هو الاختناق الذي يحاول الآخرون حله بإلقاء المزيد من الأشخاص على المشكلة. نحن نعتقد أنه بعد تسمية بضعة أمثلة، يجب أتمتة الباقي. الشركات التي تحاول الانتقال من 0 إلى 1 تحتاج فقط إلى تسميات جيدة بما يكفي لبدء دولاب الموازنة.
ما هو المأخذ؟
غني عن القول أن التعليقات التوضيحية اليدوية عالية الجودة أفضل بشكل عام من التعليقات التوضيحية المسبقة الآلية. ومع ذلك، يمكن أن يستغرق التعليق التوضيحي اليدوي شهوراً، بينما يمكن إكمال التعليقات التوضيحية المسبقة في أيام أو حتى ساعات. غالباً ما تحاول فرق التعلم الآلي تجنب التسميات اليدوية المكلفة باستخدام نماذج لغوية قاضية أو نماذج أساسية مثل SAM أو تقنيات أخرى للحصول على نتائج "جيدة بما يكفي". ومع ذلك، فإن اعتقادنا هو أن الفرق التي تبني منتجات جديدة تستفيد أكثر من التركيز على تطوير نماذجها، وليس على بناء منصات تعليق توضيحي داخلية.
أربع خطوات لمنتج ذكاء اصطناعي عامل
يجب على الشركات التي تريد أن تحل أنظمة الذكاء الاصطناعي الخاصة بها احتياجات العملاء الحقيقية أن تطرح أربعة أسئلة أساسية:
- حدد المهمة: ماذا يجب أن يفعل نموذج الذكاء الاصطناعي الخاص بك؟ (على سبيل المثال، تحديد سياسات للروبوتات، اكتشاف تهديدات الأمن السيبراني، توليد نص دعم العملاء).
- حدد البيانات: ما البيانات اللازمة لتدريب نموذجك؟ (على سبيل المثال، مسارات الروبوت، صور البضائع المعيبة، أمثلة على دعم العملاء الجيد والسيئ).
- أنشئ عملية تقييم: كيف ستقيّم نموذجك على المعايير ومع العملاء؟ بينما يكون التعليق التوضيحي اليدوي منطقياً لمجموعات البيانات الصغيرة والحرجة، تقدم Agentic Annotations بديلاً صالحاً لتحقيق نتائج جاهزة للسوق بشكل أسرع بكثير.
- شخّص ضعف الأداء: ما هو السبب الجذري عندما يفشل نموذجك؟ هل هي مشكلة بيانات أم مشكلة نمذجة؟ يمكن لمنصة فحص البيانات تحديد فجوات البيانات أو الشذوذات.
بينما جميع هذه الأسئلة ضرورية، في Interpret، نساعد في (3) و (4). للتقييم (3)، يمكن للمطورين استخدام Agentic Annotations الخاصة بنا لتسمية البيانات بسرعة واختبار النماذج. لتشخيص ضعف الأداء (4)، عندما لا يعمل النموذج كما هو متوقع، تجعل منصة فحص البيانات الخاصة بنا بياناتك تفاعلية حتى تتمكن من فهم ما يسبب المشكلة.
إن إعطاء الأولوية لفهم البيانات وتقييم النموذج وتكرارات التسمية السريعة سيضع فريقك على أسرع طريق لمنتج ذكاء اصطناعي عامل.
