TL;DR

Das Dogma für KI-Unternehmen besagt, dass mehr Daten zu besserer Leistung führen, aber tatsächlich ist Datenskalierung nicht alles, was man braucht. Hochwertige Daten liefern eine bessere Leistung im Vergleich zu einem größeren Datensatz mit niedriger Qualität. Die Produktion hochwertiger Daten erfordert das Filtern von Rauschen, das Verstehen unbeschrifteter Daten und das Verstehen dessen, was beschriftet werden soll. Massive Datenbeschriftung durch Annotationsplattformen ist ebenfalls problematisch, da deren Anreize oft nicht übereinstimmen und ihre Plattform ein Engpass ist, der zeitaufwändig, fehleranfällig und kostspielig ist. Der beste Weg zur Verbesserung von KI-Systemen besteht darin, die Daten zu verstehen, die Modelle speisen, indem Datensätze auf intelligente Weise dargestellt werden, die durch selbstüberwachtes Repräsentationslernen, Foundation-Modellierung und Filterung interagierbar sind. Diese Praktiken verhindern das Risiko schlechter Leistung in KI-Systemen und das Risiko der Generierung schädlicher Ausgaben.

Weniger ist mehr

Datenskalierung ist nicht alles, was man braucht. Die blinde Vergrößerung eines Datensatzes während des Vortrainings eines Modells setzt KI-First-Unternehmen dem Risiko schwerwiegender Fehler aus. Das Training von Modellen auf großen Datensätzen mit unbekannter Verteilung führt zu unerwartetem Verhalten: In der Robotik könnte dies zu fehlerhaften und gefährlichen Trajektorien führen, für ein Gesundheitsunternehmen zu ungenauen Risikobewertungen und für LLMs zur Generierung schädlicher Sprache {9}. Auf X machte Grok diesen Fehler und generierte schädliche Sprache in dem inzwischen gelöschten Beitrag, der in Abbildung 0a gezeigt wird. Selbst der CEO von xAI gab zu, dass sie „selektiver bei Trainingsdaten sein müssen, anstatt einfach auf dem gesamten Internet zu trainieren". Aber wie wählt man Daten richtig aus, um diese Modelle ordnungsgemäß zu trainieren und zu evaluieren? Welche Tools gibt es da draußen?

Die Lösung besteht darin, Daten intelligent in einer Form darzustellen, die interagierbar und semantisch ausreichend vielfältig ist. Dieser Ansatz hilft: 1. Trainings- und Evaluierungsdatensätze sowohl für das Vortraining als auch für das Post-Training zu erstellen, 2. Lücken in den Daten zu identifizieren und 3. Empfehlungen zu geben, wie diese Lücken gefüllt werden können (entweder durch Kauf oder Sammlung).

Data Flywheels {10} & Annotationsunternehmen

In der Industrie sind die meisten CEOs von KI-Unternehmen, KI-Forscher und Ingenieure mit modernen Annotationsunternehmen unzufrieden, die sich in ihre Data Flywheels integrieren.

Die derzeit bevorzugte Lösung für KI-Unternehmen besteht darin, einen großen unbeschrifteten Datensatz für das Vortraining anzuhäufen (oder ein Open-Source-vortrainiertes Modell zu verwenden), dann einen weiteren großen Datensatz zu beschriften, der spezifisch für die beabsichtigte Aufgabe ist, und schließlich einen Trainingssatz und Evaluierungssatz manuell zu kuratieren. Die Beschriftung wird typischerweise an Annotationsunternehmen (ScaleAI, SuperAnnotate, Labelbox usw.) ausgelagert, die sich in die Daten-Engine integrieren. Aber alles in einem großen Datensatz zu beschriften funktioniert nicht gut, weil die Skalierung der Datenbeschriftung auf Millionen oder Milliarden von Beispielen fehleranfällig, nicht nachhaltig kostspielig und zeitaufwändig ist, was KI-Unternehmen unzufrieden macht. Noch wichtiger ist jedoch, dass die Beschriftungsschleife ein nie endender Prozess ist, da Data Flywheels sich kontinuierlich an sich entwickelnde Modelle und mehr gesammelte Daten anpassen, wodurch Beschriftungsanforderungen fließend sind und sich im Laufe der Zeit ändern; Annotationsunternehmen können mit der Geschwindigkeit der Änderungen nicht Schritt halten, da Modellaktualisierungen in Wochen erfolgen können, während die Beschriftung Monate dauern kann.

Die moderne Beschriftungsschleife in einer Daten-Engine ist:

1. Sammeln Sie einige Daten.
2. Entwerfen oder aktualisieren Sie eine Beschriftungsspezifikation.
3. Senden Sie die Daten und die Spezifikation an ein Beschriftungsunternehmen (Scale, SuperAnnotate usw.). Bezahlen Sie für die Beschriftung.
4. Iterieren Sie mit dem Beschriftungsunternehmen und trainieren Sie das Modell.
5. Beobachten Sie die Ergebnisse und wiederholen Sie dann die Schritte 2-5 unbegrenzt.

Beispielsweise möchte ein Unternehmen für autonomes Fahren möglicherweise Stoppschilder beschriften, aber nachdem es 1 Million Stoppschilder beschriftet und die Ergebnisse gesehen hat, stellt es fest, dass es die „Sichtbarkeit" des Stoppschilds beschriften möchte, dann stellt es fest, dass es auch Bäume beschriften möchte, die möglicherweise Stoppschilder umgeben, und fügt ein „verdeckt"-Label hinzu. Jetzt müssen alle Daten (die in der Zwischenzeit auch gewachsen sind, da Datensammlungen kontinuierlich sind) neu beschriftet werden! Der Zyklus wird niemals enden, solange ein Unternehmen sein Modell verbessert!

Metas Ausgabe von 14,3 Milliarden für einen 49%-Anteil, um den CEO von Scale.AI [11] einzustellen, könnte einer der riskantesten Schritte sein, die das Unternehmen jemals gemacht hat, aufgrund dieser Schwierigkeiten mit Beschriftungsunternehmen.

Wenn also blindes Training auf enormen Datensätzen problematisch ist und das Beschriften von allem schwierig ist, was sollten wir sonst tun? Nachdem wir in den letzten vier Jahren an diesem Problem gearbeitet haben, haben wir festgestellt, dass die beste Lösung darin besteht, Daten gut genug darzustellen, damit es einfacher ist, auszuwählen und zu verstehen, was in unseren Daten enthalten ist und wie diese Daten unsere Modelle beeinflussen. Wir sollten in der Lage sein, mit unseren Daten auf eine Weise zu chatten, die es uns ermöglicht, schnell nach Beispielen zu suchen und schnell Evaluierungssets zu erstellen, um Modelle zu testen.

Das ist es, was wir bei Interpret AI aufbauen. Wir bauen eine Daten-Introspektionsplattform, Daten-Kurationsplattform und einen intelligenten Datenmarktplatz auf, der es Unternehmen, die KI-Systeme aufbauen, ermöglicht, mit ihren Datensätzen zu interagieren und sie zu verstehen. Wir stellen uns eine Welt vor, in der Sie mit Ihren Daten über natürliche Sprache, Audio, Bild und Video chatten können, um nach ähnlichen Instanzen zu suchen, damit Unternehmen ihren Daten (oder den Lücken in ihren Daten) vertrauen und sie kennen können, die ihre Modelle antreiben. (Wenn Sie sich davon angesprochen fühlen, wenden Sie sich bitte gerne an ily@interpretai.tech)

Skalieren Sie, was wahrscheinlich zuerst hilfreich ist

Traditionelle Data Flywheels

1. Ein Unternehmen verfügt über eine Infrastruktur, die ständig Daten in einen Datensatz sammelt (1b). Ein Team erstellt dann heuristische Daten-Subsets, die hoffentlich nach der Beschriftung ihr Modell verbessern werden (1a).
2. Die Daten werden an das Beschriftungs-(Annotations-)Unternehmen gesendet. Das Beschriftungsunternehmen erstellt Labels (Annotationen), die dann vom Team überprüft werden, was Monate des Hin und Her dauern kann, um zu konvergieren.
3. Das vortrainierte KI-Modell wird dann vortrainiert.
4. Das vortrainierte Modell wird dann unter Verwendung der Labels des Beschriftungsunternehmens feinabgestimmt.
5. Das endgültige Modell wird unter Verwendung des Evaluierungssystems des Unternehmens evaluiert und generiert Metriken.
6. Das Unternehmen verwendet dann dieses Feedback, um möglicherweise andere Daten-Subsets auszuwählen, die Beschriftungsanforderungen zu aktualisieren und/oder Modelländerungen vorzunehmen. Beachten Sie, dass zu diesem Zeitpunkt das Datensatz-Subset bereits veraltet ist.

Hinweis: Metriken können durch schlechte Annotationen verzerrt sein, was eine ständige Iteration des Teams erfordert, die sowohl kostspielig als auch zeitineffizient ist (6).

Abbildung 1b: Die zeitlichen Einschränkungen und das Setup des KI-Systems eines traditionellen Unternehmens mit ungefähren Zeitplänen für die unabhängige Iteration jedes dieser Teile. Beachten Sie, dass es mit einem Beschriftungsunternehmen in der Schleife Monate der Iteration dauern wird, um Labels zu generieren, die ein KI-Modell ordnungsgemäßverbessern. Siehe Abbildung 1a, wie jedes dieser Teile mit einem traditionellen Unternehmen interagiert.

Interpret AIs Data Flywheel:

Beginnen Sie mit tiefem Datenwissen

Abbildung 2a: Interpret AIs Data Flywheel.

1. Sofortige Daten-Subset-Empfehlungen und erweiterte Datenvorschläge für Vortraining und Training (1a bzw. 1b).
2. Das Team überprüft nun deutlich kleinere Daten-Subsets, die von Interpret vorgeschlagen werden, bevor es sie an ein Beschriftungsunternehmen sendet. Diese Daten-Subsets sind fließend und werden kontinuierlich aktualisiert, wenn sich die Daten ändern (Optional, wenn ein Unternehmen sein Basismodell integriert, kann Interpret AI weitere Einblicke darüber geben, wie die Daten die Modellleistung beeinflussen).
3. Das Hin und Her mit einem Beschriftungsunternehmen wird von Monaten auf Wochen beschleunigt und ist deutlich günstiger, da die Annotationsspezifikationen und die Datensatzauswahl klar sind.

• Das Feedback konzentriert sich auf das Modell (6).
• Schließlich analysiert Interpret AI Ihren Datenraum, um Einblicke darüber zu geben, welche Daten gesammelt oder gekauft werden sollten, um die Modellverbesserung zu beschleunigen.

Abbildung 2b: Die Abbildung zeigt, wie Interpret AI sich direkt mit unseren Kunden integriert, um Modelltraining, Daten-Triage und -Verständnis sowie Evaluierung zu beschleunigen. Interpret AI bietet Lösungen für

• Das Verstehen der vorhandenen Datenverteilung.
• Das Identifizieren von Modelllücken, die mit Datenlücken korrelieren.
• Das Kaufen und Kuratieren von Daten zum Füllen von Datenlücken.

Anwendungsfälle

Wir arbeiten mit mehreren Unternehmen in den Bereichen Robotik, Gesundheitswesen und agentische LLM-Industrien zusammen. Wenn Sie sich von einem dieser Beispiele angesprochen fühlen, wenden Sie sich bitte gerne an ily@interpretai.tech

Gesundheitswesen

HealthCo versucht, das Risiko von Herz-Kreislauf-Erkrankungen für ihre Patienten vorherzusagen.

Für das Training

• Interpret AI analysiert kardiovaskuläre Daten unter Verwendung unserer Interpret-Foundation-Modelle und verarbeitet EHRs, Bilder und möglicherweise EKG-Daten [12], falls verfügbar.
• Interpret AI bemerkt Anomalien oder „Löcher" in HealthCo und beschreibt die Demografie dieser Personen (d.h. weiblich, mittleren Alters, keine Kinder, historisch Trimetazidin verschrieben).
• Diese erkannten Datensätze werden von Experten weiter analysiert. Die ausgewählten Daten können dann aktualisiert, ignoriert, verwendet werden, um mehr Daten von Personen zu kaufen, denen historisch Trimetazidin verschrieben wurde, oder an ein Beschriftungsunternehmen gesendet werden, um diese spezifische Gruppe zu annotieren.
• Die ausgewählten Daten werden dann zum Training des KI-Modells für Herz-Kreislauf-Erkrankungen verwendet. Wenn HealthCo ihr kardiovaskuläres Modell in die Interpret-Plattform integriert, analysieren wir weiter, wo das Modell in Echtzeit schlecht abschneidet, was eine sofortige Introspektion ermöglicht.
• Dieser Prozess reduziert die Modelltrainingszeit von einer Größenordnung von Monaten auf Wochen und verbessert KI-Systeme schnell bei gleichzeitiger Kosteneinsparung!

Für die Sicherheit

Angenommen, HealthCo hat Beispiele von Personen, die Herzinfarkte erlitten haben, und sie möchten andere EHRs von Personen analysieren, die dieser Person ähnlich sind und ebenfalls gefährdet sein könnten.

• Mit Interpret AI kann HealthCo Beispiele dieser Person auswählen und nach einem verwandten Pool von Personen suchen, sortiert nach Konfidenz.
• Diese Personen können als gefährdet gekennzeichnet werden, wodurch schnell einige hundert gefährdete Personen aus Millionen von Datensätzen identifiziert werden!

Robotik

DriveCo baut autonome Rennautos als Spielzeug für Kinder zum Spielen im Freien.

Für das Training

• Interpret AI analysiert die gesammelten Läufe von Rennauto-Videodaten. Interpret AI erstellt einen Datenbericht.
• Interpret AI stellt fest, dass die Mehrheit der Wiederholungen aus den Videos nicht geografisch vielfältig ist und dass es nur wenige Beispiele von Rennautos gibt, die draußen in Hinterhöfen fahren.
• Interpret AI empfiehlt dem DriveCo-Team, mehr Beispiele von Outdoor-Videos zu sammeln. Wir versuchen auch, den Datensatz auf gelernte Weise unter Verwendung unseres Interpret AI Foundation-Modells auszugleichen, um dieses Ungleichgewicht zu mildern.
  • Ohne Interpret AI hätte DriveCo möglicherweise über 1000 Stunden Rennauto-Daten zur Beschriftung von Objekten gesendet, die nicht benötigt wurden! Jetzt müssen sie nur noch 10 Stunden beschriften!

Für die Sicherheit

Angenommen, diese autonomen Rennautos werden hinsichtlich der Säuglingssicherheit kritisch betrachtet.

• DriveCo kann seine Datenbank nach Videos durchsuchen, die „Baby" enthalten, um zu sehen, ob sie diese Daten haben.
• Wenn DriveCo die Daten nicht hat, informiert dies das Team, sie zu sammeln (vielleicht mit Puppen, hoffe ich), oder dies ermöglicht es DriveCo, Verbrauchern und Investoren zu zeigen, dass das Produkt tatsächlich sicher in der Nähe von Babys ist!

Wie wir hierher gekommen sind

Eine kurze Geschichte über Labels und Vortraining

Im Jahr 2015, vor den Transformers, wurden die meisten Modelle trainiert, um eine ganz bestimmte Teilmenge von Problemen zu lösen: Klassifikation, Segmentierung, Objekterkennung (d.h. grundlegende Probleme) und andere [1]. Benchmarks waren „ziemlich große" beschriftete Datensätze in der Größenordnung von 10k bis 1M. {1}

Modernes Vortraining kam um 2017 ins Spiel und veränderte das Spiel. Aus dem Repräsentationslernen entlehnt, kam das Vortraining als fundamentaler Paradigmenwechsel, bei dem plötzlich unbeschriftete Datensätze enorme Gewinne in der Modellleistung freisetzten. Die für das Vortraining verwendeten unbeschrifteten Datensätze waren im Vergleich zu ihren beschrifteten Geschwistern massiv [5]. Dies kombiniert mitanderen Techniken und Fortschritten {2} führte zu modernen Foundation-Modellen wie CLIP [13], DALL-E [14], DINOv2 [15] und BERT [16], um nur einige zu nennen.

Dann veränderte OpenAI, aufbauend auf einer Grundlage von Transformers, Vortraining und Fortschritten im Reinforcement Learning, das Spiel, als sie GPT (Generative Pre-trained Transformer) [6] veröffentlichten. Sora [7], DeepSeek [8], Anthropic [9] verwenden alle Vortraining auf großen Datensätzen als Rückgrat für ihre leistungsstarken Modelle. Aber darin verborgen ist eine scharfsinnige Beobachtung, über die die meisten Menschen nicht sprechen.

Während Vortraining ein guter erster Schritt ist, benötigen die meisten dieser Modelle weiteres Training zusätzlich zu einer vortrainierten Basis. Ob dies RL oder überwachtes Finetuning ist, die leistungsstärksten Modelle sind irgendwie auf das ursprüngliche Problem ausgerichtet {3}. Aber selbst Finetuning skaliert bis zu einem gewissen Punkt, was bedeutet, dass die Verbesserung des Vortrainings für die zukünftige Modellleistung wesentlich ist {4}.

Eines der überzeugendsten Beispiele dafür, wie man Vortraining richtig integriert und einen Data Flywheel in der Literatur aufbaut, ist der beschriftete Data Flywheel, der von Meta im Segment Anything Model (SAM) und SAM v2 [10] aufgebaut wurde. Aber selbst in diesem Beispiel ist die Datenbeschriftung unglaublich schwer zu skalieren.

Segment Anything: die Innovationen und die Botschaft

TL;DR: Was SAM uns zeigt, ist, dass Qualitätssicherung und das Verstehen dessen, was in unseren Daten enthalten ist, schwierig, aber ein wichtiges Problem ist, das angegangenwerden muss. Mehr Daten hinzuzufügen ist nicht unbedingt die Antwort.

SAM baute einen Data Flywheel auf, der einen großen beschrifteten Datensatz unter Verwendung eines teilweise trainierten SAM in verschiedenen Trainingsstadien mit menschlichem Label-Feedback kuratierte. Ihr Ansatz veranschaulicht die richtige Art und Weise, Beschriftung in eine Pipeline zu integrieren, hebt aber auch hervor, dass selbst der richtige Data Flywheel für Datenbeschriftung kostspielig und schwer zu skalieren ist. Irgendwann wird der Datensatz ausreichend groß, wo Menschen nicht alles annotieren können und daher eine andere Methode der Introspektion erfordert (d.h. was Interpret aufbaut).

Grob gesagt war SAMs Ansatz [10]

1. Beginnen Sie mit einem MAE-vortrainierten hierarchischen ViT.
2. Trainieren Sie SAM auf öffentlich verfügbaren Segmentierungsdatensätzen.
3. Verwenden Sie das teilweise trainierte SAM, um Segmentierungsmasken auf einem Daten-Subset zu generieren.
4. Lassen Sie Menschen die Segmentierungsvorhersagen verfeinern. Verwenden Sie dann auch die Masken, um einen Objektdetektor zu trainieren, um mehr Objekte zu finden, und lassen Sie Menschen das beschriften.
5. Wiederholen Sie die Schritte 3-4 und erhöhen Sie schrittweise die Größe des Datensatzes.
6. Beenden Sie, indem Sie auf 1 Milliarde Bildern laufen, um SA-1B zu erhalten. Verwenden Sie ein QA-Team, um potenziell schlechte Beispiele zu kennzeichnen. Beachten Sie, dass die Bereitstellung menschlicher Labels für alle 1 Milliarde Bilder unglaublich schwierig ist.

Die Idee ist die gleiche für SAM 2, das ein Video-Segmentierungsmodell ist, das den SA-V-Datensatz mit 35,5 Millionen Masken über 50,9.000 Videos generierte, 53-mal mehr Masken als jeder Video-Segmentierungsdatensatz [10].

Beachten Sie, dass das beste Segmentierungsmodell mit Daten trainiert wurde, die direkt mit seiner Aufgabe zusammenhängen, wobei das Label-Feedback alles schön in einem schnellen, effizienten Data Flywheel gekoppelt war. Vortraining und dann **Training mit einer Sammlung von Open-Source-Segmentierungsdatensätzen waren nur der erste und zweite Schritt.

Beachten Sie auch, dass die menschliche Beschriftung schließlich eine Obergrenze erreichte; als der Data Flywheel begann, 1 Milliarde Bilder zu beschriften, musste Meta immer noch einen QA-Filter ausführen, um schlechte Beispiele zu kennzeichnen. Basierend auf dem Paper hätte das Annotieren aller 1,1 Milliarden Masken 51.000 Tage Annotationszeit gedauert! {5}

Das ist Meta, von dem wir sprechen, aber das für die meisten Unternehmen einzustellen wäre unverschämt teuer und nicht durchführbar! {6} Beschriftung in diesem Maßstab ist einfach schwer!

Um das TL;DR zu wiederholen, was SAM uns zeigt, ist, dass Qualitätssicherung und das Verstehen dessen, was in unseren Daten enthalten ist, schwierig, aber ein wichtiges Problem ist, das angegangen werden muss. Dies ist grundsätzlich die Lücke, die wir heute in der Industrie sehen: Mehr Daten, die für Vortraining oder Finetuning verwendet werden, sind nicht unbedingt die Antwort. Der richtige Ansatz identifiziert, wo ein Modell leidet, versteht, warum es dort leidet, und hebt dann Daten (oder Datenlücken) hervor, die für das Problem relevant sind, was wir bei Interpret AI tun.

Die Ziele von Annotationsunternehmen sind nicht unbedingt mit Ihren ausgerichtet…

Wir haben Branchenerfahrung bei MAANG und unser Team hat Erfahrung in der Zusammenarbeit mit Annotationsunternehmen wie Scale, SuperAnnotate usw. Für die meisten Beschriftungs-(Annotations-)Unternehmen ist das Geschäftsmodell:

• Lassen Sie Unternehmen ihre eigene Beschriftungs-(Annotations-)Spezifikation generieren, mit vielleicht etwas Hin und Her, abhängig von der Komplexität der Labels.
• Die meisten Annotationsunternehmen haben verschiedene Stufen von Annotatoren, wobei der größte Pool Nicht-Experten sind, die alles beschriften, und der kleinste Experten auf dem Gebiet sind (d.h. Ärzte). Ein Annotationsunternehmen versammelt dann einen Pool menschlicher Beschrifter, typischerweise beginnend mit den günstigsten, um einen ersten Durchgang niedriger Qualität durchzuführen.
• Die Annotatoren beschriften dann gemäß der komplexen Annotationsspezifikation des Unternehmens so gut sie können und berechnen pro Annotation.
• Geben Sie Feedback und Updates zu den Annotationen, möglicherweise Aktualisierung der Annotationsspezifikation.

Es gibt vier Hauptprobleme mit diesem Prozess:

1. Annotationen sind nicht konsistent und werden normalerweise nicht den richtigen Beschriftern zugewiesen,
2. die Beschriftung ist zeitaufwändig und teuer,
3. die Feedbackschleife zur Korrektur von Annotationen ist fehlerhaft, und
4. Annotationsspezifikationen ändern sich im Laufe der Zeit, wenn sich die Modellleistung ändert.

Zu 1.: Beschrifter sind nicht garantiert für ihre zugewiesene Beschriftungsaufgabe geeignet und beschriften oft anders als ihre Kollegen. Zum Beispiel, für ein Gesundheitsunternehmen, wenn die Aufgabe lautet „Wählen Sie die klinische Antwort aus, die den Patienten am besten diagnostiziert", sind diese Beschrifter möglicherweise nicht einmal Ärzte, die für die Aufgabe geeignet sind! Zusätzlich, für ein Unternehmen für autonomes Fahren, wenn die Aufgabe lautet „Zeichnen Sie Begrenzungsrahmen für Stoppschilder", schließt dies den Pfosten ein oder nicht? Was ist, wenn es die Rückseite eines Stoppschilds ist? Verschiedene Annotatoren werden unterschiedlich beschriften, ohne sich gegenseitig zu konsultieren.

Zu 2.: Die Berechnung pro Annotation klingt theoretisch großartig, da das konventionelle Dogma besagt, dass mehr Labels helfen, aber nur dann, wenn das Unternehmen sich die Kosten einer ausreichenden Anzahl von Labels leisten kann, um die Modellleistung zu steigern; eine Zahl, die typischerweise unbekannt ist. Diese Annotationen werden typischerweise auch Fehler aufweisen, die KI-Unternehmen dazu zwingen, interne Systeme aufzubauen, die die Annotationen überprüfen, was sowohl Zeit (in der Größenordnung von Monaten) als auch mehr Geld kostet.

Zu 3.: Die Feedbackschleife ist auch nicht konsistent. Typischerweise wird die Verantwortung für die Annotationsüberprüfung an das KI-Unternehmen übertragen, das sein eigenes internes Überwachungssystem einrichten muss (bereits zeitaufwändig und kostspielig). Wenn ein KI-Unternehmen ein Annotationsproblem bemerkt, sind Korrekturen nicht garantiert vom selben Annotator, der das problematische Label erstellt hat, und manchmal werden Annotationsunternehmen das gesamte problematische Beispiel neu beschriften, anstatt es zu korrigieren, was mehr kostet. Zum Beispiel möchte ein Unternehmen für autonomes Fahren möglicherweise Instanzmasken von Ampeln und Personen beschriften. In diesem Dummy-Beispiel macht der erste Annotator einen Fehler und vergisst, Ampeln zu beschriften, die nicht zur Kamera zeigen. Das KI-Unternehmen kennzeichnet es und sendet es zur erneuten Überprüfung, aber die Art und Weise, wie das Annotationsunternehmen dies behebt, besteht darin, das Bild an einen neuen Annotator zu senden, der alles von Grund auf neu beschriftet! Der zweite Annotator behebt das ursprüngliche Problem, beschriftet aber Polizisten nicht als „Personen" und jetzt entsteht ein neues Problem! Siehe Abbildung 3a und Abbildung 3b. Diese Schleife hat eine unglaublich niedrige Wahrscheinlichkeit, Objekte korrekt zu annotieren, ~61% für 50 Labels {7}.

Im Wesentlichen sind die Labels, die ein Annotationsunternehmen mit diesem Feedbacksystem erstellt, nicht garantiert zu den richtigen Labels zu konvergieren!

Die Anreize von KI-Unternehmen sind nicht gut mit denen von Beschriftungsunternehmen ausgerichtet. KI-Unternehmen möchten ihr KI-Modell und ihr Produkt verbessern, während Annotationsunternehmen so viele Unternehmensdaten wie möglich beschriften möchten, damit sie dafür berechnen können. Siemöchten Ihr Modell leistungsfähig machen, und das sollten auch Annotationsunternehmen.

Zu 4.: In der Industrie (und Forschung) gibt es beim Versuch, ein Problem zu lösen, viele mögliche Lösungen. Vielleicht wird das Vortraining auf dem gesamten Internet Ihr LLM verbessern, oder vielleicht hilft die Erdung eines LLM durch Training auf beschrifteten Text-Bild-Paaren beim LLM-Reasoning, oder vielleicht hilft das Hinzufügen von Chain of Thought. Mit anderen Worten, beim Entwerfen von KI-Systemen müssen wir viele verschiedene Dinge parallel ausprobieren, da manchmal unklar ist, was der beste Ansatz sein wird. Beschriftung ist eine Lösung, was bedeutet, dass sich die Label-Definition ändern kann, wenn wir unser Problem besser verstehen.

Nehmen Sie zum Beispiel die Beschriftung von Stoppschildern beim autonomen Fahren; angenommen, wir beschriften zuerst Stoppschilder. Wir stellen fest, dass sich die Leistung verbessert, wenn wir wissen, ob ein Stoppschild teilweise verdeckt ist, also aktualisieren wir die Annotationsspezifikation später, um ein Metadaten-Tag namens „verdeckt" hinzuzufügen, wenn das Schild teilweise oder nicht sichtbar ist. Wir gehen dann zurück zu einem Annotationsunternehmen und bitten sie, alle unsere Stoppschilder damit neu zu beschriften! Diese „Annotationsplattform in der Schleife" bedeutet, dass jedes Modellexperiment, das den beschrifteten Datensatz aktualisiert, super teuer ist!

Man könnte sich also fragen, warum werden Beschriftungsanbieter überhaupt verwendet?

Conclusion

The optimal data flywheel represents data in a form that’s inherently insightful and interactable: we should be able to detect anomalies and also chat with our data to garner interesting patterns and insights. This flywheel should enhance annotation platforms by focusing on what should be labeled instead of labeling everything {8}. And finally, this data flywheel should align with model performance, tying directly to whatever problem your AI company is solving.

The traditional dogma is that more data “just works” and sometimes deep learning feels like alchemy. Perhaps more data will work for you in the short run but when things “just don’t work” the proper way is to assess failure both in the data & the model and work from there.

Over at Interpret we hope to change the paradigm. If you are interested, reach out to us at ily@interpretai.tech