Ferramentas· atualizado em · 4 min de leitura· Redação Invision

AutoSynthData: ServiceNow cria dados sintéticos para treinar agentes corporativos

ServiceNow CoreAI apresenta AutoSynthData, pipeline que gera dados de treino a partir de falhas de modelos em ambientes corporativos, com validação e…

Resumo: A ServiceNow CoreAI desenvolveu o AutoSynthData, um pipeline que transforma lacunas de capacidade de modelos de IA em tarefas de treinamento sintéticas e validadas para agentes corporativos. A abordagem importa porque permite treinar agentes para ambientes empresariais específicos, usando as falhas do próprio modelo como guia para gerar dados mais eficazes.

Pontos-chave

  • AutoSynthData é uma pipeline da ServiceNow CoreAI que gera tarefas de treinamento a partir das falhas do modelo-alvo.
  • Cada tarefa inclui especificação de sistema, prompt de usuário e verificador, e deve ser factível, realista e difícil.
  • O pipeline valida amostras individualmente e em lote, com reparos e meta-revisão para garantir diversidade.
  • No EnterpriseOps Gym, 2.000 amostras foram geradas em cerca de 18 horas usando Gemma-4-26B-A4B-it e Qwen3.8-27B.
  • O currículo se adapta conforme o modelo melhora, mirando tarefas próximas da fronteira de capacidade.
Nesta matéria

O que é o AutoSynthData e por que ele é relevante agora?#

O AutoSynthData é uma pipeline criada pela ServiceNow CoreAI para gerar dados de treinamento para agentes de IA que atuam em ambientes corporativos. A ferramenta parte das falhas do modelo-alvo e dos acertos de um modelo professor mais forte para identificar quais capacidades precisam ser aprimoradas.

A relevância é imediata: empresas precisam de agentes que funcionem bem em seus próprios sistemas, regras e dados, e um modelo genérico pode falhar em fluxos específicos. O AutoSynthData automatiza a criação de tarefas realistas e verificáveis para treinar essas capacidades.

Como funcionam as tarefas e os verificadores no pipeline?#

Cada tarefa é composta por uma especificação de sistema (instruções e políticas), um prompt de usuário (o que se espera que o agente faça) e um verificador (que checa se a trajetória executada atende ao pedido).

Para serem úteis, as tarefas devem ser factíveis (existe pelo menos uma trajetória válida no ambiente), realistas (parecidas com pedidos reais) e difíceis (expor uma fraqueza atual do modelo). Os verificadores precisam ser consistentes, corretos e completos, aceitando soluções válidas e rejeitando as inválidas.

  • Factibilidade: a tarefa pode ser concluída com as ferramentas e o estado disponíveis.
  • Realismo: o prompt imita pedidos reais de usuários do ambiente.
  • Dificuldade: a tarefa ainda não é resolvida com consistência pelo modelo-alvo.

Como o AutoSynthData identifica as lacunas de capacidade?#

O pipeline executa o modelo-alvo e um professor mais forte em tarefas de avaliação no ambiente. A análise compara os resultados para identificar padrões de falha e de sucesso, destilando essas descobertas em cartões de especificação de capacidade.

Esses cartões não contêm os prompts, entidades ou trajetórias originais; eles descrevem a capacidade a ser treinada. A partir daí, o gerador cria novas tarefas com entidades, estados e caminhos de solução diferentes, evitando copiar os exemplos de avaliação.

Quais são as etapas de geração e validação dos dados?#

A geração ocorre em duas fases: primeiro, cria-se um conjunto central de amostras a partir das especificações de capacidade; depois, essas amostras são multiplicadas em variantes inéditas, cada uma com seu próprio prompt, estado, trajetória de referência e verificador.

Cada candidato passa por um ciclo de controle de qualidade que inclui avaliação de dificuldade (o modelo-alvo deve acertar no máximo uma em três tentativas, e o professor pelo menos duas em três), verificação positiva e negativa e reparos limitados. Amostras reprovadas passam por um crítico que orienta correções.

  • Fase alvo: gera amostras centrais com base nas lacunas identificadas.
  • Fase multiplicação: cria variantes a partir das amostras aprovadas, sem encadear multiplicações.
  • Verificação positiva: a solução de referência resolve a tarefa?
  • Verificação negativa: estados incorretos são rejeitados pelo verificador?

Como o pipeline lida com a diversidade e a evolução do treinamento?#

Além da validação individual, o AutoSynthData faz uma meta-revisão por lote, checando cobertura de capacidades, diversidade e possíveis vieses. O controlador ajusta a geração para priorizar regiões carentes e evitar repetições.

Após o pós-treinamento, o modelo atualizado é reavaliado no mesmo ambiente. Tarefas que antes eram difíceis e agora são resolvidas com confiança saem do foco, e as falhas persistentes orientam a próxima rodada de geração. Assim, o currículo se desloca conforme o modelo melhora.

Quais resultados foram observados no EnterpriseOps Gym?#

Os experimentos usaram o ambiente EnterpriseOps Gym, mais especificamente o domínio Hybrid, com o modelo Gemma-4-26B-A4B-it como alvo e o Qwen3.8-27B como professor. O AutoSynthData gerou 2.000 amostras sintéticas de treinamento em cerca de 18 horas.

O modelo Gemma foi ajustado com esse conjunto e avaliado. O texto da notícia é interrompido antes de detalhar os números da avaliação, portanto os resultados quantitativos não foram informados. A pipeline também foi testada no ambiente ITSM, mas os detalhes dessa experiência não são apresentados na notícia.

O que isso muda para quem usa IA?#

Para desenvolvedores e empresas que constroem agentes, o AutoSynthData mostra uma forma sistemática de gerar dados de treinamento sob medida para ambientes específicos, usando as falhas do modelo como sinal. Isso pode reduzir a dependência de dados anotados manualmente e acelerar a adaptação a domínios corporativos.

A Invision oferece acesso a diversos modelos de IA por meio de uma única chave, o que pode simplificar a experimentação com diferentes modelos e a integração em pipelines desse tipo. Não há promessa de preço ou condição especial; a plataforma busca facilitar o acesso multi-modelo para quem desenvolve.

Perguntas frequentes

O que é AutoSynthData?

É uma pipeline da ServiceNow CoreAI que gera dados de treinamento sintéticos para agentes de IA, a partir das falhas do modelo-alvo e dos acertos de um professor mais forte, com validação e reparo automáticos.

Como o AutoSynthData garante a qualidade dos dados?

Cada tarefa candidata passa por verificação positiva e negativa, avaliação de dificuldade e reparos limitados. Além disso, uma meta-revisão por lote verifica cobertura, diversidade e possíveis vieses na geração.

Quais modelos foram usados nos experimentos?

No domínio Hybrid do EnterpriseOps Gym, o modelo-alvo foi o Gemma-4-26B-A4B-it e o professor foi o Qwen3.8-27B. Foram geradas 2.000 amostras em cerca de 18 horas.

O AutoSynthData pode ser usado com aprendizado por reforço?

A notícia afirma que os experimentos focaram em ajuste fino supervisionado (SFT), mas o mesmo mecanismo poderia suportar aprendizado por reforço (RL), com planos de testar essa fronteira de dificuldade calibrada no futuro.

servicenowdados sintéticosagentes de iatreinamento de modelosautosynthdata

Fonte original: AutoSynthData: Generating Training Data for Enterprise Agents (Hugging Face). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.