Baseline a diffy walkera
Baseline a diffy porovnávají dva autonomní walky stejné aplikace. Pomáhají oddělit nová, přetrvávající a vyřešená zjištění a ukazují, kde se změnil zaznamenaný stav UI.
Baseline je referenční bod pro porovnání, ne certifikace. Připněte ho až po kontrole cíle, stavu přihlášení, limitů, zjištění a pokrytí.
Doporučený postup
- Spusťte a projděte walk, u kterého víte, že je v pořádku.
- Připněte ho pomocí
set_walk_baseline. - Nasadte změnu a spusťte nový walk se srovnatelnou konfigurací.
- Zavolejte
diff_walksse dvěma ID walk. - Projděte rekurzivní report a každé zjištění blocker/major.
- Spusťte uložené scénáře u toků, kde záleží na deterministickém pokrytí.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Identita a limity porovnání
Stavy jsou content-addressed podle podpisů trasy a DOM. Zjištění se spojují s normalizovanými klíči deduplikace. Stabilní porovnání je tedy možné, ale dynamický obsah může jednu logickou obrazovku ukázat jako novou a normalizace občas nečekaně sloučí nebo rozdělí zjištění.
Pro obhajitelné porovnání srovnejte tyto vstupy:
- aplikace a prostředí;
- přihlášený účet a role;
- seed URL a povolené origins;
- režim walkera, limity state/depth/action a fuzz profil; a
- feature flags a testovací data.
Když se vstupy liší, rozdíl zdokumentujte místo toho, abyste počty brali jako signál regrese kvality release.
Dostupné nástroje
| Nástroj | Účel |
|---|---|
set_walk_baseline | Připne jeden zkontrolovaný walk na klíč owner/app |
get_walk_baseline / list_walk_baselines | Zobrazí aktuální reference |
clear_walk_baseline | Odstraní připnutí bez smazání walk |
diff_walks | Porovná stavy a zjištění mezi dvěma vlastněnými walky |
walk_recursive_report | Vykreslí zaznamenaný strom stavů s anotacemi změn |
walk_findings_to_tickets | Vytvoří payloady trackera pro vybraná zjištění |
run_all_app_scenarios | Zařadí uložené scénáře pro aplikaci |
Export ticketů vrací JSON payloady pro Linear, Jira nebo GitHub. Neposílá je. Před odesláním do externího trackera projděte titulky, odkazy na evidence, severity, citlivý obsah, projekt a assignee.
Interpretace release
Užitečný signál u kandidáta:
- žádné nové zjištění blocker nebo major při srovnatelném pokrytí;
- cílené zjištění vypadá jako vyřešené;
- důležité uložené scénáře projdou v zamýšleném prostředí; a
- někdo zkontroluje odstraněné stavy nebo snížené pokrytí.
Release neoznačujte za green jen proto, že findings_new je nula. Neúspěšné
přihlášení, brzký timeout, menší frontier nebo nedostupný tester také mohou
snížit počet zjištění.