Baselines e diffs do walker
Baselines e diffs comparam dois walks autônomos para mesmo aplicativo. Ajudam a separar findings novos, persistentes e resolvidos e mostram onde estado de UI registrado mudou.
Baseline é referência de comparação, não certificação. Fixe só depois de revisar alvo, estado de autenticação, limites, findings e cobertura.
Fluxo recomendado
- Execute e revise walk known-good.
- Fixe com
set_walk_baseline. - Faça deploy de mudança e execute novo walk com configuração comparável.
- Chame
diff_walkscom os dois walk IDs. - Inspecione relatório recursivo e todo finding blocker/major.
- Execute cenários salvos para fluxos onde cobertura determinística importa.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Limites de identidade e comparação
Estados são content-addressed a partir de assinaturas de route e DOM. Findings são unidos com deduplication keys normalizadas. Isso torna comparações estáveis possíveis, mas conteúdo dinâmico ainda pode fazer uma tela lógica parecer nova, e normalização pode ocasionalmente mesclar ou dividir findings inesperadamente.
Para comparação defensável, mantenha alinhados:
- aplicativo e ambiente;
- conta e papel autenticados;
- seed URL e origens permitidas;
- modo walker, limites state/depth/action e perfil fuzz; e
- feature flags e dados de teste.
Se entradas diferirem, documente diferença em vez de tratar contagens como sinal de regressão de qualidade de release.
Ferramentas disponíveis
| Tool | Purpose |
|---|---|
set_walk_baseline | Pin one reviewed walk per owner/app key |
get_walk_baseline / list_walk_baselines | Inspect current references |
clear_walk_baseline | Remove a pin without deleting the walk |
diff_walks | Compare states and findings across two owned walks |
walk_recursive_report | Render the recorded state tree with change annotations |
walk_findings_to_tickets | Produce tracker payloads for selected findings |
run_all_app_scenarios | Queue the saved scenarios for an app |
Export de ticket retorna payloads JSON para Linear, Jira ou GitHub. Não os posta. Revise títulos, links de evidence, severity, conteúdo sensível, project e assignee antes de enviar a tracker externo.
Interpretação de release
Sinal útil de candidato é:
- nenhum finding blocker ou major novo em cobertura comparável;
- finding alvo aparece resolvido;
- cenários salvos importantes passam no ambiente pretendido; e
- alguém revisa estados removidos ou cobertura reduzida.
Não chame release green só porque findings_new é zero. Login falho, timeout cedo, frontier menor ou tester indisponível também podem produzir menos findings.