Walker bazės ir skirtumai
Bazės ir skirtumai lygina du autonominius walk toje pačioje programoje. Jie padeda atskirti naujus, išliekančius ir išspręstus findings ir parodo, kur pasikeitė įrašyta UI būsena.
Bazė yra palyginimo atskaita, ne sertifikatas. Prisekite ją tik peržiūrėję tikslą, autentifikacijos būseną, limitus, findings ir aprėptį.
Rekomenduojama eiga
- Paleiskite ir peržiūrėkite patikimą walk.
- Prisekite su
set_walk_baseline. - Įdiekite pakeitimą ir paleiskite naują walk su palyginama konfigūracija.
- Iškvieskite
diff_walkssu abiem walk ID. - Peržiūrėkite rekursinę ataskaitą ir kiekvieną blocker/major finding.
- Paleiskite išsaugotus scenarijus srautams, kur svarbi deterministinė aprėptis.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Tapatumas ir palyginimo ribos
Būsenos identifikuojamos pagal turinį iš maršruto ir DOM parašų. Findings sujungiami su normalizuotais deduplikacijos raktais. Tai leidžia stabiliai lyginti, tačiau dinaminis turinys vis tiek gali padaryti, kad vienas loginis ekranas atrodytų naujas, o normalizavimas kartais netikėtai sujungia ar skaido findings.
Norint pagrįsto palyginimo, suderinkite šiuos įvesties parametrus:
- programą ir aplinką;
- autentifikuotą paskyrą ir rolę;
- seed URL ir leidžiamas origins;
- walker režimą, state/depth/action limitus ir fuzz profilį; ir
- feature flags ir test duomenis.
Jei šie parametrai skiriasi, užfiksuokite skirtumą, o ne laikykitės, kad skaičiai yra release kokybės regresijos signalas.
Galimi įrankiai
| Įrankis | Paskirtis |
|---|---|
set_walk_baseline | Prisegti vieną peržiūrėtą walk kiekvienam owner/app raktui |
get_walk_baseline / list_walk_baselines | Peržiūrėti dabartines atskaitas |
clear_walk_baseline | Pašalinti prisekimą neištrinant walk |
diff_walks | Lyginti būsenas ir findings tarp dviejų jums priklausančių walk |
walk_recursive_report | Atvaizduoti įrašytą būsenų medį su pakeitimų anotacijomis |
walk_findings_to_tickets | Sudaryti tracker payload pasirinktiems findings |
run_all_app_scenarios | Eilėje paleisti išsaugotus programos scenarijus |
Bilietų eksportas grąžina JSON payload Linear, Jira ar GitHub. Jis jų nepublikuoja. Peržiūrėkite pavadinimus, įrodymų nuorodas, severity, jautrų turinį, projektą ir assignee prieš siųsdami ką nors į išorinį tracker.
Release interpretacija
Naudingas kandidato signalas:
- palyginamoje aprėptyje nėra naujo blocker ar major finding;
- tikslinis finding atrodo išspręstas;
- svarbūs išsaugoti scenarijai praeina numatytoje aplinkoje; ir
- kas nors peržiūri pašalintas būsenas ar sumažėjusią aprėptį.
Nelaikykite release „žaliu“ vien todėl, kad findings_new lygu nuliui. Nepavykęs
prisijungimas, ankstyvas timeout, mažesnis frontier ar nepasiekiamas tester taip
pat gali duoti mažiau findings.