Walker-baseline ja diffit
Baselinet ja diffit vertaavat kahta autonomista walkia samalle sovellukselle. Ne auttavat erottamaan uudet, pysyvät ja ratkaistut havainnot ja näyttävät, missä tallennettu UI-tila muuttui.
Baseline on vertailuun tarkoitettu viite, ei sertifiointi. Kiinnitä se vasta kun olet tarkistanut kohteen, autentoinnin tilan, rajat, havainnot ja kattavuuden.
Suositeltu työnkulku
- Aja ja tarkista hyväksi tiedetty walk.
- Kiinnitä se
set_walk_baseline-kutsulla. - Ota muutos käyttöön ja aja uusi walk vertailukelpoisella konfiguraatiolla.
- Kutsu
diff_walkskahdella walk-tunnuksella. - Tarkista rekursiivinen raportti ja jokainen blocker/major-havainto.
- Aja tallennetut skenaariot virtauksille, joissa deterministinen kattavuus merkitsee.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Identiteetti ja vertailurajat
Tilat ovat content-addressed reitti- ja DOM-allekirjoituksista. Havainnot yhdistetään normalisoiduilla deduplikointiavaimilla. Näin vakaat vertailut ovat mahdollisia, mutta dynaaminen sisältö voi silti saada yhden loogisen näkymän näyttämään uudelta, ja normalisointi voi toisinaan yhdistää tai jakaa havaintoja odottamatta.
Puolustettavaan vertailuun pidä nämä syötteet samoina:
- sovellus ja ympäristö;
- autentikoitu tili ja rooli;
- seed URL ja sallitut origins;
- walker-tila, state/depth/action-rajat ja fuzz-profiili; sekä
- feature flags ja testidata.
Jos syötteet poikkeavat, dokumentoi ero sen sijaan, että kohtelisit lukuja release-laatuiseksi regressiosignaaliksi.
Käytettävissä olevat työkalut
| Työkalu | Tarkoitus |
|---|---|
set_walk_baseline | Kiinnitä yksi tarkistettu walk per owner/app-avain |
get_walk_baseline / list_walk_baselines | Tarkista nykyiset viitteet |
clear_walk_baseline | Poista kiinnitys poistamatta walkia |
diff_walks | Vertaa tiloja ja havaintoja kahden omistetun walkin välillä |
walk_recursive_report | Renderöi tallennettu tilapuu muutosmerkinnöillä |
walk_findings_to_tickets | Tuota tracker-payloadit valituille havainnoille |
run_all_app_scenarios | Jonota tallennetut skenaariot sovellukselle |
Ticket-vienti palauttaa JSON-payloadit Linearille, Jiralle tai GitHubille. Se ei julkaise niitä. Tarkista otsikot, evidence-linkit, severity, arkaluonteinen sisältö, projekti ja assignee ennen kuin lähetät mitään ulkoiseen trackeriin.
Releasen tulkinta
Hyödyllinen signaali julkaisuehdokkaalle on:
- ei uusia blocker- tai major-havaintoja vertailukelpoisella kattavuudella;
- kohdennettu havainto näyttää ratkaistulta;
- tärkeät tallennetut skenaariot menevät läpi tarkoitetussa ympäristössä; sekä
- joku tarkistaa poistetut tilat tai pienentyneen kattavuuden.
Älä kutsu releaseä vihreäksi vain siksi, että findings_new on nolla. Epäonnistunut
kirjautuminen, varhainen timeout, pienempi frontier tai poissa oleva testeri voi myös
tuottaa vähemmän havaintoja.