Baseline in diffi walkera
Baseline in diffi primerjata dva avtonomna walka iste aplikacije. Pomagata ločiti nova, obstoječa in rešena ugotovila ter pokažeta, kje se je spremenilo zabeleženo stanje UI.
Baseline je referenca za primerjavo, ne certifikat. Pripnete ga šele po pregledu cilja, stanja avtentikacije, omejitev, ugotovil in pokritosti.
Priporočen potek
- Zaženite in preglejte walk, za katerega veste, da je v redu.
- Pripnete ga z
set_walk_baseline. - Namestite spremembo in zaženite nov walk s primerljivo konfiguracijo.
- Pokličite
diff_walksz dvema ID walk. - Preglejte rekurzivno poročilo in vsako ugotovilo blocker/major.
- Zaženite shranjene scenarije za tokove, kjer je pomembna deterministična pokritost.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Identiteta in omejitve primerjave
Stanja so content-addressed iz podpisov poti in DOM. Ugotovila se združijo z normaliziranimi ključi deduplikacije. Stabilna primerjava je mogoča, a dinamična vsebina lahko en zaslon logično prikaže kot nov, normalizacija pa včasih nepričakovano združi ali razdeli ugotovila.
Za verodostojno primerjavo uskladite te vhode:
- aplikacija in okolje;
- avtenticiran račun in vloga;
- seed URL in dovoljene origins;
- način walkera, omejitve state/depth/action in fuzz profil; ter
- feature flags in testni podatki.
Če se vhodi razlikujejo, razliko dokumentirajte namesto da bi štetje jemali kot signal regresije kakovosti release.
Razpoložljiva orodja
| Orodje | Namen |
|---|---|
set_walk_baseline | Pripne en pregledan walk na ključ owner/app |
get_walk_baseline / list_walk_baselines | Pregleda trenutne reference |
clear_walk_baseline | Odstrani pripenjanje brez brisanja walk |
diff_walks | Primerja stanja in ugotovila med dvema lastniškima walkoma |
walk_recursive_report | Izriše zabeleženo drevo stanj z opombami sprememb |
walk_findings_to_tickets | Pripravi payloade trackera za izbrana ugotovila |
run_all_app_scenarios | V vrsto postavi shranjene scenarije za aplikacijo |
Izvoz ticketov vrne JSON payloade za Linear, Jira ali GitHub. Ne objavi jih. Pred pošiljanjem v zunanji tracker preglejte naslove, povezave evidence, severity, občutljivo vsebino, projekt in assignee.
Interpretacija release
Uporaben signal pri kandidatu:
- ni novega ugotovila blocker ali major pri primerljivi pokritosti;
- ciljno ugotovilo izgleda rešeno;
- pomembni shranjeni scenariji uspejo v predvidenem okolju; ter
- nekdo pregleda odstranjena stanja ali zmanjšano pokritost.
Release ne označite za green zgolj zato, ker je findings_new nič. Neuspešna
prijava, zgodnji timeout, manjši frontier ali nedostopen tester lahko prav
tako zmanjšajo število ugotovil.