TL;DR

Dogmen för AI-företag är att mer data leder till bättre prestanda, men i själva verket är dataskala inte allt du behöver. Högkvalitativ data ger bättre prestanda jämfört med en större dataset av låg kvalitet. Att producera högkvalitativ data kräver filtrering genom brus, förståelse för omärkt data och förståelse för vad som ska märkas. Massiv datamärkning av annoteringsplattformar är också problematisk eftersom deras incitament ofta är feljusterade och deras plattform är en flaskhals som är tidskrävande, felbenägen och kostsam. Det bästa sättet att förbättra AI-system är att förstå den data som matar modeller genom att intelligent representera dataset på ett sätt som är interaktivt med hjälp av självövervakad representationsinlärning, grundmodellering och filtrering. Dessa metoder förhindrar risken för dålig prestanda i AI-system och risken för att generera skadliga utdata.

Mindre är mer

Dataskala är inte allt du behöver. Att blint öka storleken på ett dataset medan man förtränar en modell utsätter AI-först-företag för risken att göra allvarliga fel. Att träna modeller på stora dataset med en okänd distribution leder till oväntade beteenden: inom robotik kan detta leda till felaktiga och farliga banor, för ett vårdföretag felaktiga riskbedömningar, och för LLM:er generering av skadligt tal {9}. På X gjorde Grok detta misstag och genererade skadligt tal i det nu raderade inlägget som visas i Figur 0a. Till och med xAI:s VD erkände att de behöver vara mer "selektiva med träningsdata, snarare än att bara träna på hela internet". Men hur väljer man data på rätt sätt för att korrekt träna och utvärdera dessa modeller? Vilka verktyg finns det?

Lösningen är att intelligent representera data i en form som är interaktiv och tillräckligt semantiskt mångsidig. Detta tillvägagångssätt hjälper till att: 1. skapa tränings- och utvärderingsdataset för både förträning och efterträning, 2. identifiera hål i datan och 3. ge rekommendationer om hur man fyller dessa luckor (antingen genom att köpa eller samla in).

Datasvänghjul {10} & Annoteringsföretag

I branschen är de flesta VD:ar för AI-företag, AI-forskare och ingenjörer missnöjda med moderna annoteringsföretag som integrerar sig i deras datasvänghjul.

Den nuvarande standardlösningen för AI-företag är att samla ett stort omärkt dataset för förträning (eller använda en öppen källkod förtränad modell), sedan märka ett annat stort dataset specifikt för den avsedda uppgiften, och slutligen handkurera ett träningsset och utvärderingsset. Märkningen outsourcas vanligtvis till annoteringsföretag (ScaleAI, SuperAnnotate, Labelbox, etc.) som integrerar sig i datamotorn. Men att märka allt i ett stort dataset fungerar inte bra eftersom skalning av datamärkning till miljoner eller miljarder exempel är felbenägen, ohållbart kostsam och tidskrävande vilket lämnar AI-företag missnöjda. Ännu viktigare är dock att märkningsloopen är en oändlig process eftersom datasvänghjul kontinuerligt anpassar sig till utvecklande modeller och mer insamlad data vilket gör märkningskrav flytande och föränderliga över tid; annoteringsföretag kan inte hänga med i förändringstakten eftersom modelluppdateringar kan ske på veckor medan märkning kan ta månader.

Den moderna märkningsloopen i en datamotor är:

1. Samla in lite data.
2. Designa eller uppdatera någon märkningsspecifikation.
3. Skicka datan och specifikationen till något märkningsföretag (Scale, SuperAnnotate, etc.). Betala för märkningen.
4. Iterera med märkningsföretaget och träna modellen.
5. Observera resultaten och upprepa sedan steg 2-5 på obestämd tid.

Till exempel kan ett autonomt körföretag vilja märka stoppskyltar men efter att ha märkt 1 miljon stoppskyltar och sett resultaten inser de att de vill märka "synligheten" av stoppskylten, sedan inser de att de också vill märka träd som kan omge stoppskyltar och lägga till en "skymd" etikett. Nu behöver all data (som också har vuxit under tiden eftersom datainsamling är kontinuerlig) märkas om! Cykeln kommer aldrig att ta slut medan ett företag förbättrar sin modell!

Metas satsning på 14,3 miljarder dollar för en 49% andel för att anställa VD:n för Scale.AI [11] kan vara ett av de mest riskfyllda drag företaget någonsin gjort på grund av dessa svårigheter med märkningsföretag.

Så om blind träning på enorma dataset är problematisk, och märkning av allt är svårt, vad mer bör vi göra? Efter att ha arbetat med denna fråga de senaste fyra åren fann vi att den bästa lösningen är att representera data tillräckligt bra så att det är lättare att välja och förstå vad som finns i vår data och hur den datan påverkar våra modeller. Vi bör kunna chatta med vår data på ett sätt som låter oss snabbt söka efter exempel och snabbt bygga utvärderingsset för att testa modeller.

Det är vad vi bygger på Interpret AI. Vi bygger en dataintrospektionsplattform, datakureringsplattform och intelligent datamarknadsplats som gör det möjligt för företag som bygger AI-system att interagera med och förstå sina dataset. Vi föreställer oss en värld där du kan chatta med din data med hjälp av naturligt språk, ljud, bild och video för att söka efter liknande instanser så att företag kan lita på och känna till sin data (eller luckorna i sin data) som driver deras modeller. (Om något av detta resonerar med dig, tveka inte att kontakta ily@interpretai.tech)

Skala det som förmodligen är hjälpsamt först

Traditionella datasvänghjul

1. Ett företag har någon infrastruktur som ständigt samlar in data i ett dataset (1b). Ett team skapar sedan heuristiska dataundergrupper som förhoppningsvis när de märks kommer att förbättra deras modell (1a).
2. Datan skickas till märkningsföretaget (annoteringsföretaget). Märkningsföretaget producerar etiketter (annoteringar) som sedan granskas av teamet, vilket kan ta månader av fram och tillbaka för att konvergera.
3. AI-modellen förtränas sedan.
4. Den förtränade modellen finjusteras sedan med hjälp av etiketterna från märkningsföretaget.
5. Den slutliga modellen utvärderas med hjälp av företagets utvärderingssystem, vilket genererar mätvärden.
6. Företaget använder sedan denna feedback för att eventuellt välja andra dataundergrupper, uppdatera märkningskraven och/eller göra modelländringar. Observera att vid denna tidpunkt har dataundergruppen redan börjat bli inaktuell.

Obs: Mätvärden kan vara snedvridna av dåliga annoteringar som kräver konstant iteration från teamet som är både kostsam och tidsineffektiv (6).

Figur 1b: Ett traditionellt företags AI-systems tidsbegränsningar och upplägg med ungefärliga tidslinjer för att iterera var och en av dessa delar oberoende. Lägg märke till att med ett märkningsföretag i loopen kommer det att ta månader av iteration för att generera etiketter som korrekt förbättrar en AI-modell. SeFigur 1a för hur var och en av dessa delar interagerar med ett traditionellt företag.

Interpret AI:s datasvänghjul:

Börja veta med djupa datainsikter

Figur 2a: Interpret AI:s datasvänghjul.

1. Omedelbara rekommendationer för dataundergrupper och förbättrade dataförslag för förträning och träning (1a respektive 1b).
2. Teamet granskar nu betydligt mindre dataundergrupper som föreslås av Interpret innan de skickas till ett märkningsföretag. Dessa dataundergrupper är flytande och uppdateras kontinuerligt när datan förändras (Valfritt, om ett företag integrerar sin basmodell kan Interpret AI ge mer insikter om hur datan påverkar modellprestanda).
3. Fram och tillbaka med ett märkningsföretag accelereras från månader till veckor och är betydligt billigare eftersom annoteringsspecifikationerna och datasetvalet är tydliga.

• Feedback är fokuserad på modellen (6).
• Slutligen analyserar Interpret AI ditt datautrymme för att ge insikter om vilken data som ska samlas in eller köpas för att accelerera modellförbättring.

Figur 2b: Figuren visar hur Interpret AI direkt integreras med våra kunder för att accelerera modellträning, datasortering och förståelse samt utvärdering. Interpret AI tillhandahåller lösningar för

• Förståelse av den befintliga datadistributionen.
• Identifiering av modelluckor som korrelerar med databrister.
• Köp och kurering av data för att fylla databrister.

Användningsfall

Vi samarbetar med flera företag inom robotik, vård och agentiska LLM-industrier. Om något av dessa resonerar med dig, tveka inte att kontakta ily@interpretai.tech

Vård

HealthCo försöker förutsäga risken för kardiovaskulära sjukdomar för sina patienter.

För träning

• Interpret AI analyserar kardiovaskulär data med hjälp av våra interpret-grundmodeller och bearbetar journaler, bilder, potentiellt EKG-data [12] om tillgängligt.
• Interpret AI upptäcker anomalier eller "hål" i HealthCo och beskriver demografin för dessa personer (dvs. kvinnor, medelålders, inga barn, historiskt ordinerad trimetazidin).
• Dessa upptäckta poster analyseras vidare av experter. Den valda datan kan sedan uppdateras, ignoreras, användas för att hjälpa till att köpa mer data om personer som historiskt ordinerats trimetazidin, eller skickas till ett märkningsföretag för att annotera denna specifika grupp.
• Den valda datan används sedan för att träna AI-modellen för kardiovaskulära sjukdomar. Om HealthCo integrerar sin kardiovaskulära modell i Interpret-plattformen analyserar vi vidare var modellen presterar dåligt i realtid, vilket möjliggör omedelbar introspektion.
• Denna process minskar modellträningens tidslinje från en storleksordning av månader till veckor, vilket snabbt förbättrar AI-system och sparar kostnader!

För säkerhet

Anta att HealthCo har exempel på personer som har drabbats av hjärtattacker och de vill analysera andra journaler för personer som liknar denna person som också kan vara i riskzonen.

• Med hjälp av Interpret AI kan HealthCo välja exempel på denna person och söka efter en relaterad pool av människor, sorterade efter konfidens.
• Dessa personer kan flaggas som i riskzonen, vilket snabbt identifierar några hundra personer i riskzonen från miljoner poster!

Robotik

DriveCo bygger autonoma racerbilar som en leksak för barn att leka med utomhus.

För träning

• Interpret AI analyserar de insamlade körningarna av racerbilsvideodata. Interpret AI ger en datarapport.
• Interpret AI märker att majoriteten av repriser från videorna inte är geografiskt mångsidig och att det finns få exempel på racerbilar som kör utomhus på bakgårdar.
• Interpret AI rekommenderar att DriveCo-teamet samlar in fler exempel på utomhusvideor. Vi försöker också balansera datasetet på ett inlärt sätt med hjälp av vår Interpret AI-grundmodell för att lindra denna obalans.
  • Utan Interpret AI kan DriveCo ha skickat över 1000 timmar racerbilsdata för märkning av objekt som inte behövdes! Nu behöver de bara märka 10 timmar!

För säkerhet

Anta att dessa autonoma racerbilar möter granskning för spädbarnssäkerhet.

• DriveCo kan söka i sin databas efter videor som innehåller "bebis" för att se om de har denna data.
• Om DriveCo inte har datan informerar detta teamet om att samla in den (med kanske falska bebisar hoppas jag) eller detta gör det möjligt för DriveCo att visa konsumenter och investerare att produkten faktiskt är säker runt bebisar!

Hur vi kom hit

En kort historia om etiketter och förträning

2015, före Transformers, tränades de flesta modeller för att lösa en mycket specifik delmängd av problem: klassificering, segmentering, objektdetektering (dvs. grundläggande problem) och andra [1]. Riktmärken var "ganska stora" märkta dataset i storleksordningen 10k till 1M. {1}

Modern förträning kom in i bilden runt 2017 och förändrade spelet. Med lån från representationsinlärning kom förträning som ett fundamentalt paradigmskifte där plötsligt omärkta dataset låste upp enorma vinster i modellprestanda. De omärkta dataseten som användes för förträning jämfört med deras märkta motsvarigheter var massiva [5]. Detta kombinerat medandra tekniker och framsteg {2} ledde till moderna grundmodeller som CLIP [13], DALL-E [14], DINOv2 [15] och BERT [16] för att nämna några.

Sedan förändrade OpenAI, byggt på en grund av transformers, förträning och förstärkningsinlärningsframsteg, spelet när de släppte GPT (generativ förtränad transformer) [6]. Sora [7], DeepSeek [8], Anthropic [9] använder alla förträning på stora dataset som ryggraden för sina presterande modeller. Men gömt där finns en skarp observation som de flesta inte pratar om.

Även om förträning är ett bra första steg behöver de flesta av dessa modeller ytterligare träning ovanpå en förtränad bas. Oavsett om detta är RL eller övervakad finjustering är de mest presterande modellerna justerade {3} på något sätt till det ursprungliga problemet. Men även finjustering skalar upp till en viss punkt, vilket betyder att förbättring av förträning är väsentlig för framtida modellprestanda {4}.

Ett av de mest övertygande exemplen på hur man korrekt integrerar förträning och bygger ett datasvänghjul i litteraturen är det märkta datasvänghjulet som byggts av Meta i Segment Anything Model (SAM) och SAM v2 [10]. Men även i detta exempel är datamärkning otroligt svår att skala.

Segment Anything: innovationerna och budskapet

TL;DR: Vad SAM visar oss är att kvalitetssäkring och förståelse för vad som finns i vår data är svårt men ett viktigt problem att ta itumed. Att lägga till mer data är inte nödvändigtvis svaret.

SAM byggde ett datasvänghjul som kurerade ett stort märkt dataset med hjälp av en delvis tränad SAM i olika stadier av träning med mänsklig etikettfeedback. Deras tillvägagångssätt illustrerar det korrekta sättet att integrera märkning i en pipeline men belyser också att även det rätta datamärkningssvänghjulet är kostsamt och utmanande att skala. Vid någon punkt växer datasetet tillräckligt stort där människor inte kan annotera allt och kräver därför någon annan metod för introspektion (dvs. vad Interpret bygger).

Ungefär var SAM:s tillvägagångssätt [10]

1. Börja med en MAE förtränad hierarkisk ViT.
2. Träna SAM på offentligt tillgängliga segmenteringsdataset.
3. Använd den delvis tränade SAM för att generera segmenteringsmasker på en dataundergrupp.
4. Låt människor förfina segmenteringsprediktionerna. Använd sedan också maskerna för att träna en objektdetektor för att hitta fler objekt och låt människor märka det.
5. Upprepa steg 3-4 och öka gradvis storleken på datasetet.
6. Avsluta genom att köra på 1 miljard bilder för att få SA-1B. Använd ett QA-team för att flagga potentiellt dåliga exempel. Lägg märke till att tillhandahålla mänskliga etiketter till alla 1 miljard bilder är otroligt svårt.

Idén är densamma för SAM 2 som är en videosegmenteringsmodell, som genererade SA-V-datasetet med 35,5M masker över 50,9K videor, 53x fler masker än något videosegmenteringsdataset [10].

Lägg märke till att den bästa segmenteringsmodellen tränades med data som direkt relaterar till dess uppgift där etikettfeedbacken var väl kopplad i ett snabbt, effektivt datasvänghjul. Förträning och sedan **träning med en samling av öppen källkod segmenteringsdataset var bara det första och andra steget.

Lägg också märke till att mänsklig märkning så småningom nådde ett tak; när datasvänghjulet började märka 1 miljard bilder behövde Meta fortfarande köra ett QA-filter för att flagga dåliga exempel. Baserat på artikeln skulle annotering av alla 1,1 miljarder masker ha tagit 51k dagar av annoteringstid! {5}

Detta är Meta vi pratar om men att anställa det för de flesta företag skulle vara orimligt dyrt och omöjligt! {6} Märkning i denna skala är helt enkelt svårt!

För att upprepa TL;DR, vad SAM visar oss är att kvalitetssäkring och förståelse för vad som finns i vår data är svårt men ett viktigt problem att ta itu med. Detta är fundamentalt gapet vi ser i branschen idag: mer data som används för förträning eller finjustering är inte nödvändigtvis svaret. Det rätta tillvägagångssättet identifierar var en modell lider, förstår varför den lider där och belyser sedan data (eller databrister) som är relevanta för problemet, vilket är vad vi gör på Interpret AI.

Annoteringsföretagens mål är inte nödvändigtvis i linje med dina...

Vi har branscherfarenhet i MAANG och vårt team har erfarenhet av att arbeta med annoteringsföretag som Scale, SuperAnnotate, etc. För de flesta märkningsföretag (annoteringsföretag) är affärsmodellen:

• Låt företag generera sin egen märkningsspecifikation (annoteringsspecifikation) med kanske lite fram och tillbaka beroende på komplexiteten hos etiketterna.
• De flesta annoteringsföretag har olika nivåer av annotatörer, den största poolen är icke-experter som märker allt och den minsta är experter inom området (dvs. läkare). Ett annoteringsföretag samlar sedan en pool av mänskliga märkare, vanligtvis börjar med de billigaste för att göra en första genomgång av låg kvalitet.
• Annotatörerna märker sedan enligt företagets komplexa annoteringsspecifikation så gott de kan och tar betalt per annotering.
• Ge feedback och uppdateringar till annoteringarna, eventuellt uppdatera annoteringsspecifikationen.

Det finns fyra huvudproblem med denna process:

1. annoteringar är inte konsekventa och tilldelas vanligtvis inte till rätt märkare,
2. märkningen är tidskrävande och dyr,
3. feedbackloopen för att korrigera annoteringar är felaktig, och
4. annoteringsspecifikationer förändras över tid när modellprestanda förändras.

Angående 1., märkare är inte garanterade att vara lämpade för sin tilldelade märkningsuppgift och märker ofta annorlunda än sina kollegor. Till exempel, för ett vårdföretag om uppgiften är "Välj det kliniska svaret som bäst diagnostiserar patienten" kanske dessa märkare inte ens är läkare lämpade för uppgiften! Dessutom, för ett autonomt körföretag om uppgiften är att "Rita begränsningsrutor för stoppskyltar" inkluderar detta stolpen eller inte? Vad händer om det är baksidan av en stoppskylt? Olika annotatörer kommer att märka olika utan att konsultera varandra.

Angående 2., att ta betalt per annotering låter bra i teorin eftersom den konventionella dogmen är att fler etiketter hjälper men om och endast om företaget har råd med kostnaden för ett tillräckligt antal etiketter för att öka modellprestanda; ett antal som vanligtvis är okänt. Dessa annoteringar kommer också vanligtvis att ha fel som kräver att AI-företag bygger interna system som granskar annoteringarna vilket tar både tid (storleksordning månader) och mer pengar.

Angående 3., Feedbackloopen är inte heller konsekvent. Vanligtvis skjuts ansvaret för annoteringsverifiering till AI-företaget, som behöver sätta upp sitt eget interna övervakningssystem (redan tidskrävande och kostsamt). När ett AI-företag märker ett annoteringsproblem är korrigeringar inte garanterade att komma från samma annotatör som skapade den problematiska etiketten och ibland kommer annoteringsföretag att ommärka hela det problematiska exemplet istället för att korrigera det vilket kostar mer. Till exempel kan ett autonomt körföretag vilja märka instansmasker av trafikljus och människor. I detta dummyexempel gör den första annotatören ett misstag och glömmer att märka trafikljus som inte är vända mot kameran. AI-företaget flaggar det och skickar det för att granskas igen men sättet som annoteringsföretaget fixar detta på är genom att skicka bilden till en ny annotatör som ommärker allt från grunden! Den andra annotatören fixar det ursprungliga problemet men märker inte poliser som "människor" och nu uppstår ett nytt problem! Se Figur 3a och Figur 3b. Denna loop har en otroligt låg sannolikhet att korrekt annotera objekt korrekt ~61% för 50 etiketter {7}.

I grund och botten, med detta feedbacksystem är etiketterna som ett annoteringsföretag skapar inte garanterade att konvergera till rätt etiketter!

Incitamenten för AI-företag är inte väl i linje med märkningsföretagens. AI-företag vill förbättra sin AI-modell och sin produkt medan annoteringsföretag vill märka så mycket företagsdata som möjligt så att de kan ta betalt för det.Du vill göra din modell prestanda och det borde annoteringsföretag också.

Angående 4., I branschen (och forskning), när man försöker lösa ett problem finns det många möjliga lösningar. Kanske kommer förträning på hela internet att förbättra din LLM, eller kanske kommer grundning av en LLM genom träning på märkta text-bildpar att hjälpa med LLM-resonemang, eller kanske kommer tillägg av tankekedja att hjälpa. Med andra ord, när vi designar AI-system behöver vi prova många olika saker parallellt eftersom det ibland är oklart vad det bästa tillvägagångssättet kommer att vara. Märkning är en lösning, vilket betyder att när vi bättre förstår vårt problem är etikettdefinitionen föremål för förändring.

Till exempel, ta märkning av stoppskyltar i autonom körning; anta att vi först märker stoppskyltar. Vi märker att prestanda förbättras när vi vet om en stoppskylt är delvis skymd, så vi uppdaterar annoteringsspecifikationen för att lägga till en metadatatagg som heter "skymd" senare när skylten är delvis eller inte synlig. Vi går sedan tillbaka till ett annoteringsföretag och ber dem att ommärka alla våra stoppskyltar med detta! Denna "annoteringsplattform-i-loopen" betyder att varje modellexperiment som uppdaterar det märkta datasetet är superdyrt!

Så man kan undra, varför används märkningsleverantörer överhuvudtaget? Av två skäl: För det första hjälper högkvalitativa etiketter på data som diskuterats tidigare. Faktum är att mindre data med högre kvalitetsetiketter kan överträffa några av dessa stora förtränade modeller; SAM är ett utmärkt exempel. För det andra är alternativet att inte använda ett annoteringsföretag att skapa en intern annoteringsplattform som är ännu dyrare och tidskrävande, eftersom produktion av samma volym etiketter som de andra aktörerna kan ta år!

Slutsats

Det optimala datasvänghjulet representerar data i en form som är inneboende insiktsfull och interaktiv: vi bör kunna upptäcka anomalier och också chatta med vår data för att få intressanta mönster och insikter. Detta svänghjul bör förbättra annoteringsplattformar genom att fokusera på vad som ska märkas istället för att märka allt {8}. Och slutligen bör detta datasvänghjul vara i linje med modellprestanda och koppla direkt till vilket problem ditt AI-företag än löser.

Den traditionella dogmen är att mer data "bara fungerar" och ibland känns djupinlärning som alkemi. Kanske kommer mer data att fungera för dig på kort sikt men när saker "bara inte fungerar" är det korrekta sättet att bedöma misslyckande både i datan och modellen och arbeta därifrån.

På Interpret hoppas vi kunna förändra paradigmet. Om du är intresserad, kontakta oss på ily@interpretai.tech