Skip to Content
TestingWalker-baseline og diff

Walker-baseline og diff

Baselines og diff sammenligner to autonome walks for samme applikasjon. De hjelper med å skille nye, vedvarende og løste funn og viser hvor den registrerte UI-tilstanden endret seg.

En baseline er en sammenligningsreferanse, ikke en sertifisering. Fest den først etter gjennomgang av mål, autentiseringstilstand, grenser, funn og dekning.

Anbefalt arbeidsflyt

  1. Kjør og gjennomgå en walk som er kjent som god.
  2. Fest den med set_walk_baseline.
  3. Deploy en endring og kjør en ny walk med sammenlignbar konfigurasjon.
  4. Kall diff_walks med de to walk-ID-ene.
  5. Inspiser den rekursive rapporten og hvert blocker/major-funn.
  6. Kjør lagrede scenarier for flyter der deterministisk dekning teller.
set_walk_baseline( walk_id="<reviewed-walk>", app_name="my-app", notes="Reviewed staging reference for revision <sha>" ) diff_walks( base_walk_id="<reviewed-walk>", new_walk_id="<candidate-walk>" )

Identitet og sammenligningsgrenser

Tilstander er content-addressed fra route- og DOM-signaturer. Funn kobles med normaliserte dedupliseringsnøkler. Det gjør stabile sammenligninger mulig, men dynamisk innhold kan fortsatt få en logisk skjerm til å se ny ut, og normalisering kan av og til uventet slå sammen eller dele funn.

For en forsvarlig sammenligning, hold disse inndataene like:

  • applikasjon og miljø;
  • autentisert konto og rolle;
  • seed URL og tillatte origins;
  • walker-modus, state/depth/action-grenser og fuzz-profil; og
  • feature flags og testdata.

Hvis inndataene avviker, dokumenter forskjellen i stedet for å behandle tall som et regressionssignal med release-kvalitet.

Tilgjengelige verktøy

VerktøyFormål
set_walk_baselineFest én gjennomgått walk per owner/app-nøkkel
get_walk_baseline / list_walk_baselinesInspiser gjeldende referanser
clear_walk_baselineFjern en festing uten å slette walken
diff_walksSammenlign tilstander og funn på tvers av to eide walks
walk_recursive_reportGjengi det registrerte tilstandstreet med endringsannotasjoner
walk_findings_to_ticketsProduser tracker-payloads for valgte funn
run_all_app_scenariosSett lagrede scenarier for en app i kø

Ticketeksport returnerer JSON-payloads for Linear, Jira eller GitHub. Den poster dem ikke. Gjennomgå titler, evidence-lenker, severity, sensitivt innhold, prosjekt og assignee før noe sendes til en ekstern tracker.

Tolkning av release

Et nyttig kandidatsignal er:

  • ingen nye blocker- eller major-funn ved sammenlignbar dekning;
  • det målrettede funnet ser løst ut;
  • viktige lagrede scenarier passerer i tiltenkt miljø; og
  • noen gjennomgår fjernede tilstander eller redusert dekning.

Ikke kall en release grønn bare fordi findings_new er null. Mislykket innlogging, tidlig timeout, mindre frontier eller utilgjengelig tester kan også gi færre funn.

Relatert