EvalOpsStudio
EntrarAbrir dashboard
Observabilidade contínua para apps de IA em produçãov0.7 - tracing, avaliação e experimentos›

Observabilidade e avaliação
para aplicações de IA.

Trace cada chamada LLM. Avalie cada resposta com rubricas declarativas. Compare prompts e modelos em tráfego de produção antes que a qualidade desvie em silêncio.

Comece a rastrear grátisLer a documentação
pip install evalopsSDK Python - compatível com OpenTelemetry - pronto para self-host
acmeaurora-supportVisão geral
Buscar traces, prompts, rubrics...
• env: prodRX

Aurora Support AI

Resumo de operação · janela: últimas 24h · env: prod

Últimas 24hAtualizarRodar evaluation
Traces
14,287
+12.4% vs 24h
p95 Latência
1.14s
+38ms
Custo
$13.42
+8.1%
Erro
1.8%
-0.4pp
Custo & volume por diaUSD · últimos 14 dias
cost
Custo por modeloVer detalhes
ModeloCallsCustoShare
gpt-4o-miniopenai
8.420$4.2380
gpt-4.1openai
1.206$6.8104
claude-haiku-4.5anthropic
2.310$1.4720
llama-3.3-70bgroq
1.840$0.5210
2.5-flashgemini
920$0.4080
Últimos traces com problemaVer todos os traces
support.refund.flowschema_mismatch0.42
billing.plan.changetimeout0.58
rag.answer.composelow_confidence0.61

Integre com os modelos, runtimes e padrões que seu time já usa.

  • OpenAI
  • Anthropic
  • Gemini
  • Groq
  • LiteLLM
  • LangGraph
  • OpenTelemetry
A plataforma

Tudo para publicar apps LLM sem degradação silenciosa.

Um fluxo guiado para instrumentar, avaliar, comparar e liberar com segurança sem sobrecarregar a equipe com dezenas de cards ao mesmo tempo.

Etapa 1

Tracing estruturado

Do user_message ao llm_response em uma trilha única.

Veja cada execução em timeline com spans encadeados. O time encontra gargalos e custo sem navegar em telas soltas.

  • Tokens por etapa
  • Custo por chamada
  • Latência fim a fim
user_message420 tokens$0.0012112ms
retrieval8 chunks$0.000386ms
tool_callsearch_docs()$0.000174ms
llm_response768 tokens$0.0038412ms
Custo visívelFeedback como datasetPrivacidade por padrãoExportação
Python SDK

Adicione tracing ao seu agente com poucas linhas.

Um decorator, um context manager e um uploader em background. O SDK faz batch e retry sem bloquear a requisição do usuário.

Referência do SDKVer no GitHub
OpenTelemetry-compatible Batch + retry built-in No request blocking
PythonTypeScript
01import evalops02from openai import OpenAI0304evalops.init(api_key="evk_live_...", project="docops-agent")05client = OpenAI()0607@evalops.trace(name="rag.summarize")08def summarize(question: str, doc: str):09 with evalops.span("retrieve"):10 chunks = retriever(doc, k=8)1112 return client.chat.completions.create(13 model="gpt-4o",14 messages=build_prompt(question, chunks),15 )
Como funciona

Do tráfego de produção a um deploy testado contra regressões.

Capture traces reais, rode avaliações, compare versões e aprove apenas mudanças seguras.

ETAPA 01

Instrumente

Adicione o SDK ou envie traces por POST diretamente. Spans, ferramentas e eventos entram em um único grafo de execução.

Entrada
POST /agent/runevalops.trace(...)
ETAPA 02

Avalie

Rode rubricas na ingestão ou manualmente. Cada trace recebe score, reasoning e status de aprovação.

Rubric
Score 0.86Rubric passed
ETAPA 03

Compare

Rode experimentos entre prompts, modelos ou parâmetros e compare qualidade, custo e latência.

Delta
v1.7.1 -> v1.7.2+6.2% score-12% latency
ETAPA 04

Melhore

Promova a melhor variante e exporte exemplos de alta qualidade para fine-tuning ou suítes de regressão.

Gate
Quality gate passed0 critical regressionsReady to deploy
PRONTO PARA COMEÇAR

Pare de debugar seu agente por screenshots.

Crie um projeto, conecte o SDK e veja seus primeiros traces avaliados fluindo em menos de cinco minutos.

Crie seu workspaceEntrar
Sem cartão de créditoSetup em < 5 minSDK + dashboard