TL;DR

O dogma para empresas de IA é que mais dados levam a um melhor desempenho, mas na verdade a escala de dados não é tudo o que você precisa. Dados de alta qualidade geram melhor desempenho em comparação com um conjunto de dados maior de baixa qualidade. Produzir dados de alta qualidade requer filtrar o ruído, entender dados não rotulados e entender o que rotular. A rotulagem massiva de dados por plataformas de anotação também é problemática, pois seus incentivos geralmente estão desalinhados e sua plataforma é um gargalo que consome tempo, é propenso a erros e custoso. A melhor maneira de melhorar sistemas de IA é entender os dados que alimentam os modelos, representando inteligentemente conjuntos de dados de uma forma que seja interativa usando aprendizado de representação auto-supervisionado, modelagem de fundação e filtragem. Essas práticas previnem o risco de desempenho ruim em sistemas de IA e o risco de gerar saídas prejudiciais.

Menos é Mais

A escala de dados não é tudo o que você precisa. Aumentar cegamente o tamanho de um conjunto de dados durante o pré-treinamento de um modelo coloca empresas que priorizam IA em risco de cometer erros graves. Treinar modelos em grandes conjuntos de dados com uma distribuição desconhecida leva a comportamentos inesperados: em robótica isso pode levar a trajetórias errôneas e perigosas, para uma empresa de saúde avaliações de risco imprecisas, e para LLMs geração de discurso prejudicial {9}. No X, o Grok cometeu esse erro, gerando discurso prejudicial na postagem agora excluída mostrada na Figura 0a. Até mesmo o CEO da xAI admitiu que eles precisam ser mais "seletivos sobre dados de treinamento, em vez de apenas treinar em toda a internet". Mas como você seleciona adequadamente os dados para treinar e avaliar adequadamente esses modelos? Quais ferramentas existem?

A solução é representar inteligentemente os dados de uma forma que seja interativa e suficientemente diversa semanticamente. Essa abordagem ajuda: 1. criar conjuntos de dados de treinamento e avaliação tanto para pré-treinamento quanto para pós-treinamento, 2. identificar lacunas nos dados e 3. fazer recomendações sobre como preencher essas lacunas (seja comprando ou coletando).

Data Flywheels {10} & Empresas de Anotação

Na indústria, a maioria dos CEOs de empresas de IA, pesquisadores de IA e engenheiros estão insatisfeitos com as empresas de anotação modernas que se integram em seus data flywheels.

A solução atual para empresas de IA é acumular um grande conjunto de dados não rotulados para pré-treinamento (ou usar um modelo pré-treinado de código aberto), depois rotular outro grande conjunto de dados específico para a tarefa pretendida e, finalmente, curar manualmente um conjunto de treinamento e conjunto de avaliação. A rotulagem é tipicamente terceirizada para empresas de anotação (ScaleAI, SuperAnnotate, Labelbox, etc.) que se integram ao motor de dados. Mas rotular tudo em um grande conjunto de dados não funciona bem porque escalar a rotulagem de dados para milhões ou bilhões de exemplos é propenso a erros, insustentavelmente custoso e demorado, deixando as empresas de IA insatisfeitas. Mais importante ainda, o loop de rotulagem é um processo interminável, pois os data flywheels se adaptam continuamente a modelos em evolução e mais dados coletados, tornando os requisitos de rotulagem fluidos e mudando ao longo do tempo; as empresas de anotação não conseguem acompanhar a velocidade das mudanças, pois as atualizações de modelo podem acontecer em semanas, enquanto a rotulagem pode levar meses.

O loop de rotulagem moderno em um motor de dados é:

1. Coletar alguns dados.
2. Projetar ou atualizar alguma especificação de rotulagem.
3. Enviar os dados e a especificação para alguma empresa de rotulagem (Scale, SuperAnnotate, etc.). Pagar pela rotulagem.
4. Iterar com a empresa de rotulagem e treinar o modelo.
5. Observar os resultados e então repetir os passos 2-5 indefinidamente.

Por exemplo, uma empresa de direção autônoma pode querer rotular placas de pare, mas depois de rotular 1 milhão de placas de pare e ver os resultados, eles percebem que querem rotular a "visibilidade" da placa de pare, então percebem que também querem rotular árvores que possam estar ao redor das placas de pare, adicionando um rótulo "obstruído". Agora todos os dados (que também cresceram nesse meio tempo, pois as coletas de dados são contínuas) precisam ser rerotulados! O ciclo nunca terminará enquanto uma empresa estiver melhorando seu modelo!

A Meta gastando 14,3B por uma participação de 49% para contratar o CEO da Scale.AI [11] pode ser um dos movimentos mais arriscados que a empresa já fez por causa dessas dificuldades com empresas de rotulagem.

Então, se treinar cegamente em conjuntos de dados enormes é problemático, e rotular tudo é difícil, o que mais devemos fazer? Depois de trabalhar nessa questão nos últimos quatro anos, descobrimos que a melhor solução é representar os dados bem o suficiente para que seja mais fácil selecionar e entender o que está em nossos dados e como esses dados impactam nossos modelos. Devemos ser capazes de conversar com nossos dados de uma forma que nos permita pesquisar rapidamente por exemplos e construir rapidamente conjuntos de avaliação para testar modelos.

É isso que estamos construindo na Interpret AI. Estamos construindo uma plataforma de introspecção de dados, plataforma de curadoria de dados e marketplace inteligente de dados que permite que empresas que constroem sistemas de IA interajam e entendam seus conjuntos de dados. Imaginamos um mundo onde você pode conversar com seus dados usando linguagem natural, áudio, imagem e vídeo para pesquisar instâncias semelhantes, para que as empresas possam confiar e conhecer seus dados (ou as lacunas em seus dados) que estão alimentando seus modelos. (Se algo disso ressoa com você, sinta-se à vontade para entrar em contato com ily@interpretai.tech)

Escale o que provavelmente é útil primeiro

Data flywheels tradicionais

1. Uma empresa tem alguma infraestrutura que está constantemente coletando dados em um conjunto de dados (1b). Uma equipe então cria subconjuntos de dados heurísticos que, esperançosamente, uma vez rotulados, melhorarão seu modelo (1a).
2. Os dados são enviados para a empresa de rotulagem (anotação). A empresa de rotulagem produz rótulos (anotações) que são então revisados pela equipe, o que pode levar meses de ida e volta para convergir.
3. O Modelo de IA pré-treinado é então pré-treinado.
4. O modelo pré-treinado é então ajustado usando os rótulos da empresa de rotulagem
5. O modelo final é avaliado usando o sistema de avaliação da empresa, gerando métricas.
6. A empresa então usa esse feedback para possivelmente selecionar outros subconjuntos de dados, atualizar os requisitos de rotulagem e/ou fazer mudanças no modelo. Note que, neste ponto, o subconjunto de dados já está ficando obsoleto.

Nota: As métricas podem ser distorcidas por anotações ruins, exigindo iteração constante da equipe que é tanto custosa quanto ineficiente em termos de tempo (6).

Figura 1b: Restrições de tempo e configuração do sistema de IA de uma empresa tradicional com cronogramas aproximados para iterar cada uma dessas peças independentemente. Note que com uma empresa de rotulagem no loop, levará meses de iteração para gerar rótulos que melhorem adequadamente um Modelo de IA.Veja a Figura 1a para como cada uma dessas peças interage com uma empresa tradicional.

Data flywheel da Interpret AI:

Comece Sabendo com insights profundos de dados

Figura 2a: Data flywheel da Interpret AI.

1. Recomendações imediatas de subconjuntos de dados e sugestões aprimoradas de dados para pré-treinamento e treinamento (1a e 1b respectivamente).
2. A equipe agora revisa subconjuntos significativamente menores de dados sugeridos pela Interpret antes de enviar para uma empresa de rotulagem. Esses subconjuntos de dados são fluidos e são continuamente atualizados conforme os dados mudam (Opcionalmente, se uma empresa integrar seu modelo baseline, a Interpret AI pode fornecer mais insights sobre como os dados impactam o desempenho do modelo).
3. A ida e volta com uma empresa de rotulagem é acelerada de meses para semanas e é significativamente mais barata, pois as especificações de anotação e a seleção de conjuntos de dados são claras.

• O feedback é focado no modelo (6).
• Por último, a Interpret AI analisa seu espaço de dados para fornecer insights sobre quais dados coletar ou comprar para acelerar a melhoria do modelo.

Figura 2b: A figura demonstra como a Interpret AI se integra diretamente com nossos clientes para acelerar o treinamento de modelos, triagem e compreensão de dados e avaliação. A Interpret AI fornece soluções para

• Entender a distribuição de dados existente.
• Identificar lacunas de modelo que estão correlacionadas com lacunas de dados.
• Comprar e curar dados para preencher lacunas de dados.

Casos de uso

Colaboramos com várias empresas nos setores de robótica, saúde e LLM agêntico. Se algo disso ressoa com você, sinta-se à vontade para entrar em contato com ily@interpretai.tech

Saúde

A HealthCo está tentando prever o risco de doenças cardiovasculares para seus pacientes.

Para treinamento

• A Interpret AI analisa dados cardiovasculares usando nossos modelos de fundação interpret, processando EHRs, imagens, potencialmente dados de ECG [12] se disponíveis.
• A Interpret AI nota anomalias ou "buracos" na HealthCo e descreve a demografia dessas pessoas (ou seja, mulher, meia-idade, sem filhos, historicamente prescrita trimetazidina).
• Esses registros detectados são posteriormente analisados por especialistas. Os dados selecionados podem então ser atualizados, ignorados, usados para ajudar a comprar mais dados de pessoas historicamente prescritas trimetazidina, ou enviados para uma empresa de rotulagem para anotar este grupo específico.
• Os dados selecionados são então usados para treinar o modelo de IA de doenças cardiovasculares. Se a HealthCo integrar seu modelo cardiovascular na plataforma Interpret, então analisamos ainda mais onde o modelo está tendo desempenho ruim em tempo real, permitindo introspecção imediata.
• Esse processo reduz o cronograma de treinamento do modelo de uma ordem de meses para semanas, melhorando rapidamente os sistemas de IA e economizando custos!

Para segurança

Suponha que a HealthCo tenha exemplos de pessoas que sofreram ataques cardíacos e eles querem analisar outros EHRs de pessoas que são semelhantes a essa pessoa que também podem estar em risco

• Usando a Interpret AI, a HealthCo pode selecionar exemplos dessa pessoa e pesquisar por um grupo relacionado de pessoas, classificando por confiança.
• Essas pessoas podem ser sinalizadas como em risco, identificando rapidamente algumas centenas de pessoas em risco de milhões de registros!

Robótica

A DriveCo está construindo carros de corrida autônomos como um brinquedo para crianças brincarem do lado de fora.

Para treinamento

• A Interpret AI analisa as corridas coletadas de dados de vídeo de carros de corrida. A Interpret AI fornece um relatório de dados.
• A Interpret AI nota que a maioria dos replays dos vídeos não são geograficamente diversos e que há poucos exemplos de carros de corrida dirigindo ao ar livre em quintais.
• A Interpret AI recomenda que a equipe DriveCo colete mais exemplos de vídeos ao ar livre. Também tentamos balancear o conjunto de dados de forma aprendida usando nosso modelo de fundação Interpret AI para aliviar esse desequilíbrio.
  • Sem a Interpret AI, a DriveCo poderia ter enviado mais de 1000 horas de dados de carros de corrida para rotular objetos que não eram necessários! Agora eles só precisam rotular 10 horas!

Para segurança

Suponha que esses carros de corrida autônomos enfrentem escrutínio quanto à segurança infantil.

• A DriveCo pode pesquisar seu banco de dados por vídeos contendo "bebê" para ver se eles têm esses dados.
• Se a DriveCo não tiver os dados, isso informa a equipe para coletá-los (usando talvez bebês falsos, espero) ou isso permite que a DriveCo mostre aos consumidores e investidores que o produto é de fato seguro perto de bebês!

Como chegamos aqui

Uma breve história sobre rótulos e pré-treinamento

Em 2015, pré-Transformers, a maioria dos modelos era treinada para resolver um subconjunto muito particular de problemas: classificação, segmentação, detecção de objetos (ou seja, problemas fundamentais) e outros [1]. Os benchmarks eram conjuntos de dados rotulados "grandinhos" na ordem de 10k a 1M. {1}

O pré-treinamento moderno entrou em cena por volta de 2017 e mudou o jogo. Emprestando do aprendizado de representação, o pré-treinamento veio como uma mudança fundamental de paradigma onde, de repente, conjuntos de dados não rotulados desbloquearam enormes ganhos no desempenho do modelo. Os conjuntos de dados não rotulados usados para pré-treinamento em comparação com seus irmãos rotulados erammassivos [5]. Isso combinado com outras técnicas e avanços {2} levou a modelos fundamentais modernos como CLIP [13], DALL-E [14], DINOv2 [15] e BERT [16] para citar alguns.

Então a OpenAI, construída sobre uma fundação de transformers, pré-treinamento e progresso de aprendizado por reforço, mudou o jogo quando lançou o GPT (transformador pré-treinado generativo) [6]. Sora [7], DeepSeek [8], Anthropic [9] todos usam pré-treinamento em grandes conjuntos de dados como a espinha dorsal para seus modelos performáticos. Mas escondida ali está uma observação aguda sobre a qual a maioria das pessoas não está falando.

Embora o pré-treinamento seja um bom primeiro passo, a maioria desses modelos precisa de treinamento adicional em cima de uma base pré-treinada. Seja RL ou ajuste fino supervisionado, os modelos mais performáticos são alinhados {3} de alguma forma ao problema original. Mas mesmo o ajuste fino escala até certo ponto, o que significa que melhorar o pré-treinamento é essencial para o desempenho futuro do modelo {4}.

Um dos exemplos mais convincentes de como integrar adequadamente o pré-treinamento e construir um data flywheel na literatura é o data flywheel rotulado construído pela Meta no Segment Anything Model (SAM) e SAM v2 [10]. Mas mesmo neste exemplo, a rotulagem de dados é incrivelmente difícil de escalar.

Segment Anything: as inovações e a mensagem

TL;DR: O que o SAM nos mostra é que garantia de qualidade e entender o que está em nossos dados é difícil, mas um problema importante aser abordado. Adicionar mais dados não é necessariamente a resposta.

O SAM construiu um data flywheel que curou um grande conjunto de dados rotulados usando um SAM parcialmente treinado em vários estágios de treinamento com feedback de rótulo humano. Sua abordagem ilustra a maneira adequada de integrar rotulagem em um pipeline, mas também destaca que mesmo o data flywheel de rotulagem de dados correto é custoso e desafiador de escalar. Em algum momento, o conjunto de dados cresce suficientemente grande onde os humanos não podem anotar tudo e, portanto, requer algum outro método de introspecção (ou seja, o que a Interpret está construindo).

Grosso modo, a abordagem do SAM foi [10]

1. Começar com um ViT hierárquico pré-treinado MAE.
2. Treinar o SAM em conjuntos de dados de segmentação publicamente disponíveis.
3. Usar o SAM parcialmente treinado para gerar máscaras de segmentação em um subconjunto de dados.
4. Ter humanos refinando as previsões de segmentação. Então também usar as máscaras para treinar um detector de objetos para encontrar mais objetos e ter humanos rotulando isso.
5. Repetir os passos 3-4 aumentando gradualmente o tamanho do conjunto de dados
6. Terminar executando em 1 bilhão de imagens para obter SA-1B. Usar uma equipe de QA para sinalizar exemplos potencialmente ruins. Note que fornecer rótulos humanos para todas as 1 bilhão de imagens é incrivelmente difícil.

A ideia é a mesma para o SAM 2, que é um modelo de segmentação de vídeo, que gerou o conjunto de dados SA-V com 35,5M de máscaras em 50,9K vídeos, 53x mais máscaras do que qualquer conjunto de dados de segmentação de vídeo [10].

Note, o melhor modelo de segmentação foi treinado com dados diretamente relacionados à sua tarefa, onde o feedback de rótulo estava todo bem acoplado em um data flywheel rápido e eficiente. O pré-treinamento e depois **o treinamento com uma coleção de conjuntos de dados de segmentação de código aberto foram apenas o primeiro e o segundo passo.

Note também que a rotulagem humana eventualmente atingiu um teto; quando o data flywheel começou a rotular 1B de imagens, a Meta ainda precisava executar um filtro de QA para sinalizar exemplos ruins. Com base no artigo, anotar todas as 1,1B de máscaras teria levado 51k dias de tempo de anotação! {5}

Estamos falando da Meta, mas contratar isso para a maioria das empresas seria excessivamente caro e inviável! {6} Rotular nessa escala é simplesmente difícil!

Reiterando o TL;DR, o que o SAM nos mostra é que garantia de qualidade e entender o que está em nossos dados é difícil, mas um problema importante a ser abordado. Esta é fundamentalmente a lacuna que vemos na indústria hoje: mais dados usados para pré-treinamento ou ajuste fino não é necessariamente a resposta. A abordagem correta identifica onde um modelo sofre, entende por que ele sofre ali e então destaca dados (ou lacunas de dados) relevantes para o problema, que é o que estamos fazendo na Interpret AI.

Os objetivos das empresas de anotação não estão necessariamente alinhados com os seus...

Temos experiência na indústria em MAANG e nossa equipe tem experiência trabalhando com empresas de anotação como Scale, SuperAnnotate, etc. Para a maioria das empresas de rotulagem (anotação), o modelo de negócio é:

• Deixar as empresas gerarem sua própria especificação de rotulagem (anotação) com talvez alguma ida e volta dependendo da complexidade dos rótulos.
• A maioria das empresas de anotação tem diferentes níveis de anotadores, sendo o maior grupo os não especialistas que rotulam tudo e o menor sendo especialistas no campo (ou seja, Médicos). Uma empresa de anotação então reúne um grupo de rotuladores humanos, tipicamente começando com os mais baratos para fazer uma primeira passagem de baixa qualidade.
• Os anotadores então rotulam de acordo com a especificação de anotação complexa da empresa da melhor forma que podem, cobrando por anotação.
• Fornecer feedback e atualizações para as anotações, possivelmente atualizando a especificação de anotação.

Existem quatro problemas principais com este processo:

1. as anotações não são consistentes e geralmente não são atribuídas aos rotuladores certos,
2. a rotulagem é demorada e cara,
3. o loop de feedback para corrigir anotações é errôneo, e
4. as especificações de anotação mudam ao longo do tempo conforme o desempenho do modelo muda.

Abordando 1., os rotuladores não têm garantia de serem adequados para sua tarefa de rotulagem atribuída e frequentemente rotulam de forma diferente de seus pares. Por exemplo, para uma empresa de saúde, se a tarefa é "Escolha a resposta clínica que melhor diagnostica o paciente", esses rotuladores podem nem mesmo ser médicos adequados para a tarefa! Além disso, para uma empresa de direção autônoma, se a tarefa é "Desenhar caixas delimitadoras para placas de pare", isso inclui o poste ou não? E se for o lado de trás de uma placa de pare? Diferentes anotadores rotularão de forma diferente sem consultar uns aos outros.

Abordando 2., cobrar por anotação parece ótimo em teoria, pois o dogma convencional é que mais rótulos ajudam, mas se e somente se a empresa puder arcar com o custo de um número suficiente de rótulos para aumentar o desempenho do modelo; um número que é tipicamente desconhecido. Essas anotações também tipicamente terão erros que exigem que as empresas de IA construam sistemas internos que revisem as anotações, o que leva tempo (ordem de meses) e mais dinheiro.

Abordando 3., O loop de feedback também não é consistente. Tipicamente, a responsabilidade da verificação de anotação é empurrada para a empresa de IA, que precisa configurar seu próprio sistema de monitoramento interno (já demorado e custoso). Quando uma empresa de IA nota um problema de anotação, as correções não têm garantia de serem do mesmo anotador que criou o rótulo problemático e às vezes as empresas de anotação rerotularão todo o exemplo problemático em vez de corrigi-lo, o que custa mais. Por exemplo, uma empresa de direção autônoma pode querer rotular máscaras de instância de semáforos e pessoas. Neste exemplo fictício, o primeiro anotador comete um erro e esquece de rotular semáforos que não estão voltados para a câmera. A empresa de IA sinaliza isso e envia para ser reavaliado, mas a maneira como a empresa de anotação corrige isso é enviando a imagem para um novo anotador que rerotula tudo do zero! O segundo anotador corrige o problema original, mas não rotula policial como "pessoas" e agora um novo problema emerge! Veja a Figura 3a e a Figura 3b. Este loop tem uma probabilidade incrivelmente baixa de anotar objetos corretamente ~61% para 50 rótulos {7}.

Essencialmente, com este sistema de feedback, os rótulos que uma empresa de anotação cria não têm garantia de convergir para os rótulos corretos!

Os incentivos das empresas de IA não estão bem alinhados com os das empresas de rotulagem. As empresas de IA querem melhorar seu modelo de IA e seu produto, enquanto as empresas de anotação querem rotular o máximo de dados da empresa possível para que possam cobrarpor isso. Você quer tornar seu modelo performático e as empresas de anotação também deveriam.

Abordando 4., Na indústria (e pesquisa), ao tentar resolver um problema, existem muitas soluções possíveis. Talvez o pré-treinamento em toda a internet melhore seu LLM, ou talvez fundamentar um LLM treinando em pares de texto-imagens rotulados ajude no raciocínio do LLM, ou talvez adicionar cadeia de pensamento ajude. Em outras palavras, ao projetar sistemas de IA, precisamos tentar muitas coisas diferentes em paralelo, pois às vezes não está claro qual será a melhor abordagem. A rotulagem é uma solução, o que significa que, à medida que entendemos melhor nosso problema, a definição de rótulo está sujeita a mudanças.

Por exemplo, pegue a rotulagem de placas de pare na direção autônoma; suponha que primeiro rotulemos placas de pare. Notamos que o desempenho melhora quando sabemos se uma placa de pare está parcialmente obstruída, então atualizamos a especificação de anotação para adicionar uma tag de metadados chamada "obstruído" mais tarde quando a placa está parcial ou não visível. Então voltamos a uma empresa de anotação e pedimos que eles rerotulam todas as nossas placas de pare com isso! Esta "plataforma de anotação no loop" significa que cada experimento de modelo que atualiza o conjunto de dados rotulado é super caro!

Então, pode-se perguntar, por que os provedores de rotulagem são usados? Por duas razões: Primeiro, rótulos de alta qualidade em dados realmente ajudam, como discutido anteriormente. Na verdade, menos dados com rótulos de maior qualidade podem superar alguns desses grandes modelos pré-treinados; o SAM sendo um excelente exemplo. Segundo, a alternativa de não usar uma empresa de anotação é criar uma plataforma de anotação interna, que é ainda mais cara e demorada, pois produzir o mesmo volume de rótulos que os outros players pode levar anos!

Conclusão

O data flywheel ideal representa dados de uma forma que é inerentemente perspicaz e interativa: devemos ser capazes de detectar anomalias e também conversar com nossos dados para obter padrões e insights interessantes. Este flywheel deve aprimorar as plataformas de anotação focando no que deve ser rotulado em vez de rotular tudo {8}. E finalmente, este data flywheel deve se alinhar com o desempenho do modelo, vinculando-se diretamente a qualquer problema que sua empresa de IA esteja resolvendo.

O dogma tradicional é que mais dados "simplesmente funcionam" e às vezes o deep learning parece alquimia. Talvez mais dados funcionem para você no curto prazo, mas quando as coisas "simplesmente não funcionam", a maneira adequada é avaliar a falha tanto nos dados quanto no modelo e trabalhar a partir daí.

Na Interpret, esperamos mudar o paradigma. Se você está interessado, entre em contato conosco em ily@interpretai.tech