Baseline a diffy walkera
Baseline a diffy porovnávajú dva autonómne walky tej istej aplikácie. Pomáhajú oddeliť nové, pretrvávajúce a vyriešené zistenia a ukazujú, kde sa zmenil zaznamenaný stav UI.
Baseline je referenčný bod na porovnanie, nie certifikácia. Pripnite ho až po kontrole cieľa, stavu prihlásenia, limitov, zistení a pokrytia.
Odporúčaný postup
- Spustite a prejdite walk, o ktorom viete, že je v poriadku.
- Pripnite ho pomocou
set_walk_baseline. - Nasadte zmenu a spustite nový walk so zrovnateľnou konfiguráciou.
- Zavolajte
diff_walkss dvoma ID walk. - Prejdite rekurzívnu správu a každé zistenie blocker/major.
- Spustite uložené scenáre pri tokoch, kde záleží na deterministickom pokrytí.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Identita a limity porovnania
Stavy sú content-addressed podľa podpisov trasy a DOM. Zistenia sa spájajú s normalizovanými kľúčmi deduplikácie. Stabilné porovnanie je teda možné, ale dynamický obsah môže jednu logickú obrazovku ukázať ako novú a normalizácia občas nečakane zlúči alebo rozdelí zistenia.
Pre obhájiteľné porovnanie zosúlaďte tieto vstupy:
- aplikácia a prostredie;
- prihlásený účet a rola;
- seed URL a povolené origins;
- režim walkera, limity state/depth/action a fuzz profil; a
- feature flags a testovacie dáta.
Keď sa vstupy líšia, rozdiel zdokumentujte namiesto toho, aby ste počty brali ako signál regresie kvality release.
Dostupné nástroje
| Nástroj | Účel |
|---|---|
set_walk_baseline | Pripne jeden skontrolovaný walk na kľúč owner/app |
get_walk_baseline / list_walk_baselines | Zobrazí aktuálne referencie |
clear_walk_baseline | Odstráni pripnutie bez vymazania walk |
diff_walks | Porovná stavy a zistenia medzi dvoma vlastnenými walkmi |
walk_recursive_report | Vykreslí zaznamenaný strom stavov s anotáciami zmien |
walk_findings_to_tickets | Vytvorí payloady trackera pre vybrané zistenia |
run_all_app_scenarios | Zaradí uložené scenáre pre aplikáciu |
Export ticketov vracia JSON payloady pre Linear, Jira alebo GitHub. Neposiela ich. Pred odoslaním do externého trackera prejdite titulky, odkazy na evidence, severity, citlivý obsah, projekt a assignee.
Interpretácia release
Užitočný signál u kandidáta:
- žiadne nové zistenie blocker alebo major pri zrovnateľnom pokrytí;
- cielené zistenie vyzerá ako vyriešené;
- dôležité uložené scenáre prejdú v zamýšľanom prostredí; a
- niekto skontroluje odstránené stavy alebo znížené pokrytie.
Release neoznačujte za green len preto, že findings_new je nula. Neúspešné
prihlásenie, skorý timeout, menší frontier alebo nedostupný tester tiež môžu
znížiť počet zistení.