AutoSynthData: ServiceNow cria dados sintéticos para treinar agentes corporativos
ServiceNow CoreAI apresenta AutoSynthData, pipeline que gera dados de treino a partir de falhas de modelos em ambientes corporativos, com validação e…
Resumo: A ServiceNow CoreAI desenvolveu o AutoSynthData, um pipeline que transforma lacunas de capacidade de modelos de IA em tarefas de treinamento sintéticas e validadas para agentes corporativos. A abordagem importa porque permite treinar agentes para ambientes empresariais específicos, usando as falhas do próprio modelo como guia para gerar dados mais eficazes.
Pontos-chave
- AutoSynthData é uma pipeline da ServiceNow CoreAI que gera tarefas de treinamento a partir das falhas do modelo-alvo.
- Cada tarefa inclui especificação de sistema, prompt de usuário e verificador, e deve ser factível, realista e difícil.
- O pipeline valida amostras individualmente e em lote, com reparos e meta-revisão para garantir diversidade.
- No EnterpriseOps Gym, 2.000 amostras foram geradas em cerca de 18 horas usando Gemma-4-26B-A4B-it e Qwen3.8-27B.
- O currículo se adapta conforme o modelo melhora, mirando tarefas próximas da fronteira de capacidade.
Nesta matéria
O que é o AutoSynthData e por que ele é relevante agora?#
O AutoSynthData é uma pipeline criada pela ServiceNow CoreAI para gerar dados de treinamento para agentes de IA que atuam em ambientes corporativos. A ferramenta parte das falhas do modelo-alvo e dos acertos de um modelo professor mais forte para identificar quais capacidades precisam ser aprimoradas.
A relevância é imediata: empresas precisam de agentes que funcionem bem em seus próprios sistemas, regras e dados, e um modelo genérico pode falhar em fluxos específicos. O AutoSynthData automatiza a criação de tarefas realistas e verificáveis para treinar essas capacidades.
Como funcionam as tarefas e os verificadores no pipeline?#
Cada tarefa é composta por uma especificação de sistema (instruções e políticas), um prompt de usuário (o que se espera que o agente faça) e um verificador (que checa se a trajetória executada atende ao pedido).
Para serem úteis, as tarefas devem ser factíveis (existe pelo menos uma trajetória válida no ambiente), realistas (parecidas com pedidos reais) e difíceis (expor uma fraqueza atual do modelo). Os verificadores precisam ser consistentes, corretos e completos, aceitando soluções válidas e rejeitando as inválidas.
- Factibilidade: a tarefa pode ser concluída com as ferramentas e o estado disponíveis.
- Realismo: o prompt imita pedidos reais de usuários do ambiente.
- Dificuldade: a tarefa ainda não é resolvida com consistência pelo modelo-alvo.
Como o AutoSynthData identifica as lacunas de capacidade?#
O pipeline executa o modelo-alvo e um professor mais forte em tarefas de avaliação no ambiente. A análise compara os resultados para identificar padrões de falha e de sucesso, destilando essas descobertas em cartões de especificação de capacidade.
Esses cartões não contêm os prompts, entidades ou trajetórias originais; eles descrevem a capacidade a ser treinada. A partir daí, o gerador cria novas tarefas com entidades, estados e caminhos de solução diferentes, evitando copiar os exemplos de avaliação.
Quais são as etapas de geração e validação dos dados?#
A geração ocorre em duas fases: primeiro, cria-se um conjunto central de amostras a partir das especificações de capacidade; depois, essas amostras são multiplicadas em variantes inéditas, cada uma com seu próprio prompt, estado, trajetória de referência e verificador.
Cada candidato passa por um ciclo de controle de qualidade que inclui avaliação de dificuldade (o modelo-alvo deve acertar no máximo uma em três tentativas, e o professor pelo menos duas em três), verificação positiva e negativa e reparos limitados. Amostras reprovadas passam por um crítico que orienta correções.
- Fase alvo: gera amostras centrais com base nas lacunas identificadas.
- Fase multiplicação: cria variantes a partir das amostras aprovadas, sem encadear multiplicações.
- Verificação positiva: a solução de referência resolve a tarefa?
- Verificação negativa: estados incorretos são rejeitados pelo verificador?
Como o pipeline lida com a diversidade e a evolução do treinamento?#
Além da validação individual, o AutoSynthData faz uma meta-revisão por lote, checando cobertura de capacidades, diversidade e possíveis vieses. O controlador ajusta a geração para priorizar regiões carentes e evitar repetições.
Após o pós-treinamento, o modelo atualizado é reavaliado no mesmo ambiente. Tarefas que antes eram difíceis e agora são resolvidas com confiança saem do foco, e as falhas persistentes orientam a próxima rodada de geração. Assim, o currículo se desloca conforme o modelo melhora.
Quais resultados foram observados no EnterpriseOps Gym?#
Os experimentos usaram o ambiente EnterpriseOps Gym, mais especificamente o domínio Hybrid, com o modelo Gemma-4-26B-A4B-it como alvo e o Qwen3.8-27B como professor. O AutoSynthData gerou 2.000 amostras sintéticas de treinamento em cerca de 18 horas.
O modelo Gemma foi ajustado com esse conjunto e avaliado. O texto da notícia é interrompido antes de detalhar os números da avaliação, portanto os resultados quantitativos não foram informados. A pipeline também foi testada no ambiente ITSM, mas os detalhes dessa experiência não são apresentados na notícia.
O que isso muda para quem usa IA?#
Para desenvolvedores e empresas que constroem agentes, o AutoSynthData mostra uma forma sistemática de gerar dados de treinamento sob medida para ambientes específicos, usando as falhas do modelo como sinal. Isso pode reduzir a dependência de dados anotados manualmente e acelerar a adaptação a domínios corporativos.
A Invision oferece acesso a diversos modelos de IA por meio de uma única chave, o que pode simplificar a experimentação com diferentes modelos e a integração em pipelines desse tipo. Não há promessa de preço ou condição especial; a plataforma busca facilitar o acesso multi-modelo para quem desenvolve.
Perguntas frequentes
O que é AutoSynthData?
É uma pipeline da ServiceNow CoreAI que gera dados de treinamento sintéticos para agentes de IA, a partir das falhas do modelo-alvo e dos acertos de um professor mais forte, com validação e reparo automáticos.
Como o AutoSynthData garante a qualidade dos dados?
Cada tarefa candidata passa por verificação positiva e negativa, avaliação de dificuldade e reparos limitados. Além disso, uma meta-revisão por lote verifica cobertura, diversidade e possíveis vieses na geração.
Quais modelos foram usados nos experimentos?
No domínio Hybrid do EnterpriseOps Gym, o modelo-alvo foi o Gemma-4-26B-A4B-it e o professor foi o Qwen3.8-27B. Foram geradas 2.000 amostras em cerca de 18 horas.
O AutoSynthData pode ser usado com aprendizado por reforço?
A notícia afirma que os experimentos focaram em ajuste fino supervisionado (SFT), mas o mesmo mecanismo poderia suportar aprendizado por reforço (RL), com planos de testar essa fronteira de dificuldade calibrada no futuro.
Fonte original: AutoSynthData: Generating Training Data for Enterprise Agents (Hugging Face). Matéria escrita pela redação da Invision a partir dessa notícia. Versão em texto.