TL;DR

Le dogme des entreprises d'IA est que plus de données conduisent à de meilleures performances, mais en réalité l'échelle des données n'est pas tout ce dont vous avez besoin. Des données de haute qualité produisent de meilleures performances comparées à un ensemble de données plus large de faible qualité. Produire des données de haute qualité nécessite de filtrer le bruit, de comprendre les données non étiquetées et de comprendre ce qu'il faut étiqueter. L'étiquetage massif de données par les plateformes d'annotation est également problématique car leurs incitations sont souvent mal alignées et leur plateforme est un goulot d'étranglement qui prend du temps, est sujet aux erreurs et coûteux. La meilleure façon d'améliorer les systèmes d'IA est de comprendre les données alimentant les modèles en représentant intelligemment les ensembles de données d'une manière interactive en utilisant l'apprentissage de représentation auto-supervisé, la modélisation fondamentale et le filtrage. Ces pratiques préviennent le risque de mauvaises performances dans les systèmes d'IA et le risque de générer des résultats nuisibles.

Moins c'est plus

L'échelle des données n'est pas tout ce dont vous avez besoin. Augmenter aveuglément la taille d'un ensemble de données lors du pré-entraînement d'un modèle expose les entreprises axées sur l'IA au risque de commettre des erreurs graves. Entraîner des modèles sur de grands ensembles de données avec une distribution inconnue conduit à des comportements inattendus : en robotique, cela pourrait conduire à des trajectoires erronées et dangereuses, pour une entreprise de santé à des évaluations de risques inexactes, et pour les LLM à la génération de discours nuisibles {9}. Sur X, Grok a commis cette erreur, générant un discours nuisible dans la publication maintenant supprimée montrée dans la Figure 0a. Même le PDG de xAI a admis qu'ils devaient être plus « sélectifs concernant les données d'entraînement, plutôt que de simplement s'entraîner sur l'ensemble d'Internet ». Mais comment sélectionner correctement les données pour entraîner et évaluer correctement ces modèles ? Quels outils sont disponibles ?

La solution est de représenter intelligemment les données sous une forme interactive et suffisamment diverse sémantiquement. Cette approche aide à : 1. créer des ensembles de données d'entraînement et d'évaluation pour le pré-entraînement et le post-entraînement, 2. identifier les lacunes dans les données et 3. faire des recommandations sur la façon de combler ces lacunes (soit en achetant soit en collectant).

Volants de données {10} et entreprises d'annotation

Dans l'industrie, la plupart des PDG d'entreprises d'IA, des chercheurs en IA et des ingénieurs sont insatisfaits des entreprises d'annotation modernes qui s'intègrent dans leurs volants de données.

La solution actuelle pour les entreprises d'IA est d'amasser un grand ensemble de données non étiquetées pour le pré-entraînement (ou d'utiliser un modèle pré-entraîné open source), puis d'étiqueter un autre grand ensemble de données spécifique à la tâche prévue, et enfin de créer manuellement un ensemble d'entraînement et un ensemble d'évaluation. L'étiquetage est généralement externalisé à des entreprises d'annotation (ScaleAI, SuperAnnotate, Labelbox, etc.) qui s'intègrent dans le moteur de données. Mais étiqueter tout dans un grand ensemble de données ne fonctionne pas bien car mettre à l'échelle l'étiquetage de données à des millions ou des milliards d'exemples est sujet aux erreurs, d'un coût insoutenable et prend du temps, laissant les entreprises d'IA mécontentes. Plus important encore, la boucle d'étiquetage est un processus sans fin puisque les volants de données s'adaptent continuellement aux modèles en évolution et aux données collectées supplémentaires, rendant les exigences d'étiquetage fluides et changeantes au fil du temps ; les entreprises d'annotation ne peuvent pas suivre la vitesse des changements car les mises à jour de modèles peuvent se produire en quelques semaines tandis que l'étiquetage peut prendre des mois.

La boucle d'étiquetage moderne dans un moteur de données est :

1. Collecter des données.
2. Concevoir ou mettre à jour une spécification d'étiquetage.
3. Envoyer les données et la spécification à une entreprise d'étiquetage (Scale, SuperAnnotate, etc.). Payer pour l'étiquetage.
4. Itérer avec l'entreprise d'étiquetage et entraîner le modèle.
5. Observer les résultats puis répéter les étapes 2-5 indéfiniment.

Par exemple, une entreprise de conduite autonome pourrait vouloir étiqueter les panneaux stop mais après avoir étiqueté 1 million de panneaux stop et vu les résultats, ils réalisent qu'ils veulent étiqueter la « visibilité » du panneau stop, puis ils réalisent qu'ils veulent également étiqueter les arbres qui pourraient entourer les panneaux stop en ajoutant une étiquette « obstrué ». Maintenant toutes les données (qui ont également augmenté entre-temps car les collectes de données sont continues) doivent être réétiquetées ! Le cycle ne finira jamais tant qu'une entreprise améliore son modèle !

Meta dépensant 14,3 milliards pour une participation de 49 % pour embaucher le PDG de Scale.AI [11] pourrait être l'un des mouvements les plus risqués que l'entreprise ait jamais fait en raison de ces difficultés avec les entreprises d'étiquetage.

Donc, si s'entraîner aveuglément sur d'énormes ensembles de données est problématique, et étiqueter tout est difficile, que devrions-nous faire d'autre ? Après avoir travaillé sur ce problème pendant les quatre dernières années, nous avons trouvé que la meilleure solution est de représenter les données suffisamment bien pour qu'il soit plus facile de sélectionner et de comprendre ce qui se trouve dans nos données et comment ces données impactent nos modèles. Nous devrions pouvoir dialoguer avec nos données d'une manière qui nous permet de rechercher rapidement des exemples et de construire rapidement des ensembles d'évaluation pour tester les modèles.

C'est ce que nous construisons chez Interpret AI. Nous construisons une plateforme d'introspection de données, une plateforme de curation de données et un marché de données intelligent qui permet aux entreprises construisant des systèmes d'IA d'interagir et de comprendre leurs ensembles de données. Nous envisageons un monde où vous pouvez dialoguer avec vos données en utilisant le langage naturel, l'audio, l'image et la vidéo pour rechercher des instances similaires afin que les entreprises puissent faire confiance et connaître leurs données (ou les lacunes dans leurs données) qui alimentent leurs modèles. (Si quelque chose de tout cela résonne avec vous, n'hésitez pas à nous contacter à ily@interpretai.tech)

Mettre à l'échelle ce qui est probablement utile en premier

Volants de données traditionnels

1. Une entreprise a une infrastructure qui collecte constamment des données dans un ensemble de données (1b). Une équipe crée ensuite des sous-ensembles de données heuristiques qui, une fois étiquetés, amélioreront espérons-le leur modèle (1a).
2. Les données sont envoyées à l'entreprise d'étiquetage (annotation). L'entreprise d'étiquetage produit des étiquettes (annotations) qui sont ensuite examinées par l'équipe, ce qui peut prendre des mois d'allers-retours pour converger.
3. Le modèle d'IA pré-entraîné est ensuite pré-entraîné.
4. Le modèle pré-entraîné est ensuite affiné en utilisant les étiquettes de l'entreprise d'étiquetage.
5. Le modèle final est évalué en utilisant le système d'évaluation de l'entreprise, générant des métriques.
6. L'entreprise utilise ensuite ce retour d'information pour éventuellement sélectionner d'autres sous-ensembles de données, mettre à jour les exigences d'étiquetage et/ou apporter des modifications au modèle. Notez qu'à ce stade, le sous-ensemble de données devient déjà obsolète.

Remarque : Les métriques peuvent être faussées par de mauvaises annotations nécessitant une itération constante de l'équipe qui est à la fois coûteuse et inefficace en temps (6).

Figure 1b : Les contraintes de temps et la configuration du système d'IA d'une entreprise traditionnelle avec des délais approximatifs pour itérer chacune de ces pièces indépendamment. Notez qu'avec une entreprise d'étiquetage dans la boucle, il faudra des mois d'itération pour générer des étiquettes qui améliorent correctement un modèle d'IA. Voirla Figure 1a pour voir comment chacune de ces pièces interagit avec une entreprise traditionnelle.

Volant de données d'Interpret AI :

Commencez à savoir avec des informations approfondies sur les données

Figure 2a : Le volant de données d'Interpret AI.

1. Recommandations immédiates de sous-ensembles de données et suggestions de données améliorées pour le pré-entraînement et l'entraînement (1a et 1b respectivement).
2. L'équipe examine maintenant des sous-ensembles de données significativement plus petits suggérés par Interpret avant de les envoyer à une entreprise d'étiquetage. Ces sous-ensembles de données sont fluides et sont continuellement mis à jour à mesure que les données changent (En option, si une entreprise intègre son modèle de base, Interpret AI peut fournir plus d'informations sur la façon dont les données impactent les performances du modèle).
3. Les allers-retours avec une entreprise d'étiquetage sont accélérés de mois à semaines et sont significativement moins chers car les spécifications d'annotation et la sélection de l'ensemble de données sont claires.

• Le retour d'information est concentré sur le modèle (6).
• Enfin, Interpret AI analyse votre espace de données pour fournir des informations sur les données à collecter ou à acheter pour accélérer l'amélioration du modèle.

Figure 2b : La figure démontre comment Interpret AI s'intègre directement avec nos clients pour accélérer l'entraînement du modèle, le tri et la compréhension des données, et l'évaluation. Interpret AI fournit des solutions pour

• Comprendre la distribution de données existante.
• Identifier les lacunes du modèle qui sont corrélées avec les lacunes de données.
• Acheter et organiser des données pour combler les lacunes de données.

Cas d'usage

Nous collaborons avec plusieurs entreprises dans les secteurs de la robotique, de la santé et des LLM agentiques. Si quelque chose de tout cela résonne avec vous, n'hésitez pas à nous contacter à ily@interpretai.tech

Santé

HealthCo essaie de prédire le risque de maladies cardiovasculaires pour leurs patients.

Pour l'entraînement

• Interpret AI analyse les données cardiovasculaires en utilisant nos modèles fondamentaux interpret, traitant les DSE, les images, potentiellement les données ECG [12] si disponibles.
• Interpret AI remarque des anomalies ou des « trous » dans HealthCo et décrit la démographie de ces personnes (c'est-à-dire femmes, d'âge moyen, sans enfants, historiquement prescrites de la trimétazidine).
• Ces dossiers détectés sont ensuite analysés par des experts. Les données sélectionnées peuvent ensuite être mises à jour, ignorées, utilisées pour aider à acheter plus de données de personnes historiquement prescrites de la trimétazidine, ou envoyées à une entreprise d'étiquetage pour annoter ce groupe spécifique.
• Les données sélectionnées sont ensuite utilisées pour entraîner le modèle d'IA de maladies cardiovasculaires. Si HealthCo intègre leur modèle cardiovasculaire dans la plateforme Interpret, nous analysons davantage où le modèle performe mal en temps réel, permettant une introspection immédiate.
• Ce processus réduit le calendrier d'entraînement du modèle d'un ordre de mois à semaines, améliorant rapidement les systèmes d'IA et économisant des coûts !

Pour la sécurité

Supposons que HealthCo ait des exemples de personnes qui ont subi des crises cardiaques et qu'ils veulent analyser d'autres DSE de personnes qui sont similaires à cette personne et qui pourraient également être à risque.

• En utilisant Interpret AI, HealthCo peut sélectionner des exemples de cette personne et rechercher un groupe de personnes apparentées, en triant par confiance.
• Ces personnes peuvent être signalées comme à risque, identifiant rapidement quelques centaines de personnes à risque parmi des millions de dossiers !

Robotique

DriveCo construit des voitures de course autonomes comme jouet pour que les enfants jouent dehors.

Pour l'entraînement

• Interpret AI analyse les courses collectées de données vidéo de voitures de course. Interpret AI fournit un rapport de données.
• Interpret AI remarque que la majorité des replays des vidéos ne sont pas géographiquement diversifiés et qu'il y a peu d'exemples de voitures de course conduisant à l'extérieur dans les arrière-cours.
• Interpret AI recommande à l'équipe DriveCo de collecter plus d'exemples de vidéos extérieures. Nous essayons également d'équilibrer l'ensemble de données de manière apprise en utilisant notre modèle fondamental Interpret AI pour atténuer ce déséquilibre.
  • Sans Interpret AI, DriveCo aurait pu envoyer plus de 1000 heures de données de voitures de course pour étiqueter des objets qui n'étaient pas nécessaires ! Maintenant ils n'ont besoin d'étiqueter que 10 heures !

Pour la sécurité

Supposons que ces voitures de course autonomes fassent l'objet d'un examen minutieux pour la sécurité des nourrissons.

• DriveCo peut rechercher dans leur base de données des vidéos contenant « bébé » pour voir s'ils ont ces données.
• Si DriveCo n'a pas les données, cela informe l'équipe de les collecter (en utilisant peut-être de faux bébés j'espère) ou cela permet à DriveCo de montrer aux consommateurs et aux investisseurs que le produit est en fait sûr autour des bébés !

Comment nous en sommes arrivés là

Une brève histoire sur les étiquettes et le pré-entraînement

En 2015, avant les Transformers, la plupart des modèles étaient entraînés pour résoudre un sous-ensemble très particulier de problèmes : classification, segmentation, détection d'objets (c'est-à-dire problèmes fondamentaux) et autres [1]. Les benchmarks étaient des ensembles de données étiquetés « assez grands » de l'ordre de 10k à 1M. {1}

Le pré-entraînement moderne est entré en scène vers 2017 et a changé la donne. Empruntant à l'apprentissage de représentation, le pré-entraînement est venu comme un changement de paradigme fondamental où soudainement les ensembles de données non étiquetés ont débloqué d'énormes gains de performance du modèle. Les ensembles de données non étiquetés utilisés pour le pré-entraînement comparés à leurs homologues étiquetés étaient massifs[5]. Ceci combiné avec d'autres techniques et avancées {2} a conduit aux modèles fondamentaux modernes comme CLIP [13], DALL-E [14], DINOv2 [15], et BERT [16] pour n'en nommer que quelques-uns.

Puis OpenAI, construit sur une fondation de transformers, de pré-entraînement et de progrès en apprentissage par renforcement, a changé la donne lorsqu'ils ont publié GPT (generative pre-trained transformer) [6]. Sora [7], DeepSeek [8], Anthropic [9] utilisent tous le pré-entraînement sur de grands ensembles de données comme colonne vertébrale pour leurs modèles performants. Mais caché là-dedans se trouve une observation aiguë dont la plupart des gens ne parlent pas.

Bien que le pré-entraînement soit une bonne première étape, la plupart de ces modèles nécessitent un entraînement supplémentaire en plus d'une base pré-entraînée. Que ce soit du RL ou de l'affinage supervisé, les modèles les plus performants sont alignés {3} d'une manière ou d'une autre au problème original. Mais même l'affinage se met à l'échelle jusqu'à un certain point, ce qui signifie qu'améliorer le pré-entraînement est essentiel pour les performances futures du modèle {4}.

L'un des exemples les plus convaincants de la façon de bien intégrer le pré-entraînement et de construire un volant de données dans la littérature est le volant de données étiquetées construit par Meta dans Segment Anything Model (SAM) et SAM v2 [10]. Mais même dans cet exemple, l'étiquetage de données est incroyablement difficile à mettre à l'échelle.

Segment Anything : les innovations et le message

TL;DR : Ce que SAM nous montre, c'est que l'assurance qualité et la compréhension de ce qui se trouve dans nos données sont difficiles mais constituent un problème importantà résoudre. Ajouter plus de données n'est pas nécessairement la réponse.

SAM a construit un volant de données qui a organisé un grand ensemble de données étiquetées en utilisant un SAM partiellement entraîné à différentes étapes de l'entraînement avec un retour d'étiquetage humain. Leur approche illustre la bonne façon d'intégrer l'étiquetage dans un pipeline mais souligne également que même le bon volant d'étiquetage de données est coûteux et difficile à mettre à l'échelle. À un certain point, l'ensemble de données devient suffisamment grand pour que les humains ne puissent pas tout annoter et nécessite donc une autre méthode d'introspection (c'est-à-dire ce qu'Interpret construit).

Grosso modo, l'approche de SAM était [10]

1. Commencer avec un ViT hiérarchique pré-entraîné MAE.
2. Entraîner SAM sur des ensembles de données de segmentation accessibles au public.
3. Utiliser le SAM partiellement entraîné pour générer des masques de segmentation sur un sous-ensemble de données.
4. Faire affiner les prédictions de segmentation par des humains. Utiliser ensuite également les masques pour entraîner un détecteur d'objets pour trouver plus d'objets et faire étiqueter cela par des humains.
5. Répéter les étapes 3-4 en augmentant progressivement la taille de l'ensemble de données.
6. Terminer en exécutant sur 1 milliard d'images pour obtenir SA-1B. Utiliser une équipe AQ pour signaler les exemples potentiellement mauvais. Notez que fournir des étiquettes humaines à toutes les 1 milliard d'images est incroyablement difficile.

L'idée est la même pour SAM 2 qui est un modèle de segmentation vidéo, qui a généré l'ensemble de données SA-V avec 35,5 millions de masques sur 50,9K vidéos, 53 fois plus de masques que n'importe quel ensemble de données de segmentation vidéo [10].

Notez, le meilleur modèle de segmentation a été entraîné avec des données directement liées à sa tâche où le retour d'étiquetage était bien couplé dans un volant de données rapide et efficace. Le pré-entraînement puis l'entraînement avec une collection d'ensembles de données de segmentation open source n'étaient que la première et la deuxième étape.

Notez également que l'étiquetage humain a finalement atteint un plafond ; lorsque le volant de données a commencé à étiqueter 1 milliard d'images, Meta devait encore exécuter un filtre AQ pour signaler les mauvais exemples. D'après l'article, annoter tous les 1,1 milliard de masques aurait pris 51k jours de temps d'annotation ! {5}

C'est de Meta dont nous parlons mais embaucher cela pour la plupart des entreprises serait scandaleusement coûteux et irréalisable ! {6} L'étiquetage à cette échelle est tout simplement difficile !

Réitérant le TL;DR, ce que SAM nous montre, c'est que l'assurance qualité et la compréhension de ce qui se trouve dans nos données sont difficiles mais constituent un problème important à résoudre. C'est fondamentalement l'écart que nous voyons dans l'industrie aujourd'hui : plus de données utilisées pour le pré-entraînement ou l'affinage n'est pas nécessairement la réponse. La bonne approche identifie où un modèle souffre, comprend pourquoi il souffre là, puis met en évidence les données (ou les lacunes de données) pertinentes au problème, ce que nous faisons chez Interpret AI.

Les objectifs des entreprises d'annotation ne sont pas nécessairement alignés avec les vôtres…

Nous avons une expérience industrielle dans les MAANG et notre équipe a de l'expérience de travail avec des entreprises d'annotation comme Scale, SuperAnnotate, etc. Pour la plupart des entreprises d'étiquetage (annotation), le modèle commercial est :

• Laisser les entreprises générer leur propre spécification d'étiquetage (annotation) avec peut-être quelques allers-retours selon la complexité des étiquettes.
• La plupart des entreprises d'annotation ont différents niveaux d'annotateurs, le plus grand groupe étant des non-experts qui étiquetent tout et le plus petit étant des experts dans le domaine (c'est-à-dire des médecins). Une entreprise d'annotation rassemble ensuite un groupe d'étiqueteurs humains, commençant généralement par les moins chers pour faire un premier passage de faible qualité.
• Les annotateurs étiquetent ensuite selon la spécification d'annotation complexe de l'entreprise du mieux qu'ils peuvent, facturant par annotation.
• Fournir des retours et des mises à jour aux annotations, éventuellement en mettant à jour la spécification d'annotation.

Il y a quatre problèmes principaux avec ce processus :

1. les annotations ne sont pas cohérentes et ne sont généralement pas attribuées aux bons étiqueteurs,
2. l'étiquetage prend du temps et est coûteux,
3. la boucle de retour pour corriger les annotations est erronée, et
4. les spécifications d'annotation changent au fil du temps à mesure que les performances du modèle changent.

Abordant 1., les étiqueteurs ne sont pas garantis d'être adaptés à leur tâche d'étiquetage assignée et étiquetent souvent différemment de leurs pairs. Par exemple, pour une entreprise de santé si la tâche est « Choisir la réponse clinique qui diagnostique le mieux le patient », ces étiqueteurs peuvent même ne pas être des médecins adaptés à la tâche ! De plus, pour une entreprise de conduite autonome si la tâche est de « Dessiner des boîtes englobantes pour les panneaux stop », cela inclut-il le poteau ou non ? Et si c'est l'arrière d'un panneau stop ? Différents annotateurs étiquetteront différemment sans se consulter.

Abordant 2., facturer par annotation semble génial en théorie car le dogme conventionnel est que plus d'étiquettes aident mais si et seulement si l'entreprise peut se permettre le coût d'un nombre suffisant d'étiquettes pour améliorer les performances du modèle ; un nombre qui est généralement inconnu. Ces annotations auront également généralement des erreurs qui nécessitent que les entreprises d'IA construisent des systèmes internes qui examinent les annotations, ce qui prend à la fois du temps (ordre de mois) et plus d'argent.

Abordant 3., La boucle de retour n'est pas cohérente non plus. Généralement, la responsabilité de la vérification des annotations est poussée vers l'entreprise d'IA, qui doit mettre en place son propre système de surveillance interne (déjà chronophage et coûteux). Lorsqu'une entreprise d'IA remarque un problème d'annotation, les corrections ne sont pas garanties d'être du même annotateur qui a créé l'étiquette problématique et parfois les entreprises d'annotation réétiquetteront l'exemple problématique entier au lieu de le corriger, ce qui coûte plus cher. Par exemple, une entreprise de conduite autonome pourrait vouloir étiqueter des masques d'instance de feux de circulation et de personnes. Dans cet exemple factice, le premier annotateur fait une erreur et oublie d'étiqueter les feux de circulation ne faisant pas face à la caméra. L'entreprise d'IA le signale et l'envoie pour être réexaminé mais la façon dont l'entreprise d'annotation corrige cela est en envoyant l'image à un nouvel annotateur qui réétiquette tout à partir de zéro ! Le deuxième annotateur corrige le problème original mais n'étiquette pas les policiers comme « personnes » et maintenant un nouveau problème émerge ! Voir Figure 3a et Figure 3b. Cette boucle a une probabilité incroyablement faible d'annoter correctement les objets correctement ~61% pour 50 étiquettes {7}.

Essentiellement, avec ce système de retour, les étiquettes qu'une entreprise d'annotation crée ne sont pas garanties de converger vers les bonnes étiquettes !

Les incitations des entreprises d'IA ne sont pas bien alignées avec celles des entreprises d'étiquetage. Les entreprises d'IA veulent améliorer leur modèle d'IA et leur produit tandis que les entreprises d'annotation veulent étiqueter autant de données d'entreprise que possible pour pouvoir les facturer. Vousvoulez rendre votre modèle performant et les entreprises d'annotation devraient le faire aussi.

Abordant 4., Dans l'industrie (et la recherche), lorsqu'on essaie de résoudre un problème, il existe de nombreuses solutions possibles. Peut-être que le pré-entraînement sur l'ensemble d'Internet améliorera votre LLM, ou peut-être que l'ancrage d'un LLM en s'entraînant sur des paires texte-images étiquetées aidera au raisonnement du LLM, ou peut-être que l'ajout de chaîne de pensée aidera. En d'autres termes, lors de la conception de systèmes d'IA, nous devons essayer beaucoup de choses différentes en parallèle car parfois il n'est pas clair quelle sera la meilleure approche. L'étiquetage est une solution, ce qui signifie qu'à mesure que nous comprenons mieux notre problème, la définition de l'étiquette est sujette à changement.

Par exemple, prenons l'étiquetage des panneaux stop dans la conduite autonome ; supposons que nous étiquetons d'abord les panneaux stop. Nous remarquons que les performances s'améliorent lorsque nous savons si un panneau stop est partiellement obstrué, donc nous mettons à jour la spécification d'annotation pour ajouter une balise de métadonnées appelée « obstrué » plus tard lorsque le panneau est partiellement ou non visible. Nous retournons ensuite à une entreprise d'annotation et leur demandons de réétiqueter tous nos panneaux stop avec cela ! Cette « plateforme d'annotation dans la boucle » signifie que chaque expérience de modèle qui met à jour l'ensemble de données étiqueté est super coûteuse !

Donc, on peut se demander, pourquoi les fournisseurs d'étiquetage sont-ils utilisés du tout ? Pour deux raisons : Premièrement, des étiquettes de haute qualité sur les données aident effectivement comme discuté précédemment. En fait, moins de données avec des étiquettes de meilleure qualité peuvent surpasser certains de ces grands modèles pré-entraînés ; SAM étant un excellent exemple. Deuxièmement, l'alternative à ne pas utiliser une entreprise d'annotation est de créer une plateforme d'annotation interne qui est encore plus coûteuse et chronophage, car produire le même volume d'étiquettes que les autres acteurs peut prendre des années !

Conclusion

Le volant de données optimal représente les données sous une forme qui est intrinsèquement perspicace et interactive : nous devrions pouvoir détecter des anomalies et également dialoguer avec nos données pour recueillir des modèles et des informations intéressants. Ce volant devrait améliorer les plateformes d'annotation en se concentrant sur ce qui devrait être étiqueté au lieu d'étiqueter tout {8}. Et enfin, ce volant de données devrait s'aligner avec les performances du modèle, se liant directement à quel que soit le problème que votre entreprise d'IA résout.

Le dogme traditionnel est que plus de données « fonctionnent tout simplement » et parfois l'apprentissage profond ressemble à de l'alchimie. Peut-être que plus de données fonctionneront pour vous à court terme mais quand les choses « ne fonctionnent tout simplement pas », la bonne façon est d'évaluer l'échec à la fois dans les données et le modèle et de travailler à partir de là.

Chez Interpret, nous espérons changer le paradigme. Si vous êtes intéressé, contactez-nous à ily@interpretai.tech