Skip to Content
TestingLíneas base y diffs del walker

Líneas base y diffs del walker

Las líneas base y diffs comparan dos walks autónomos para la misma aplicación. Ayudan a separar hallazgos nuevos, persistentes y resueltos y muestran dónde cambió el estado UI registrado.

Una línea base es una referencia de comparación, no una certificación. Fíjala solo tras revisar su objetivo, estado de autenticación, límites, hallazgos y cobertura.

Flujo recomendado

  1. Ejecuta y revisa un walk conocido como bueno.
  2. Fíjalo con set_walk_baseline.
  3. Despliega un cambio y ejecuta un walk nuevo con configuración comparable.
  4. Llama diff_walks con los dos ID de walk.
  5. Inspecciona el informe recursivo y todo hallazgo blocker/major.
  6. Ejecuta escenarios guardados para flujos donde importa cobertura determinista.
set_walk_baseline( walk_id="<reviewed-walk>", app_name="my-app", notes="Reviewed staging reference for revision <sha>" ) diff_walks( base_walk_id="<reviewed-walk>", new_walk_id="<candidate-walk>" )

Límites de identidad y comparación

Los estados tienen dirección por contenido desde firmas de ruta y DOM. Los hallazgos se unen con claves de deduplicación normalizadas. Eso hace posibles comparaciones estables, pero el contenido dinámico aún puede hacer que una pantalla lógica parezca nueva, y la normalización puede ocasionalmente fusionar o dividir hallazgos de forma inesperada.

Para una comparación defendible, mantén alineadas estas entradas:

  • aplicación y entorno;
  • cuenta y rol autenticados;
  • URL seed y orígenes permitidos;
  • modo walker, límites de estado/profundidad/acción y perfil fuzz; y
  • feature flags y datos de prueba.

Si esas entradas difieren, documenta la diferencia en lugar de tratar conteos como señal de regresión con calidad de release.

Herramientas disponibles

ToolPurpose
set_walk_baselinePin one reviewed walk per owner/app key
get_walk_baseline / list_walk_baselinesInspect current references
clear_walk_baselineRemove a pin without deleting the walk
diff_walksCompare states and findings across two owned walks
walk_recursive_reportRender the recorded state tree with change annotations
walk_findings_to_ticketsProduce tracker payloads for selected findings
run_all_app_scenariosQueue the saved scenarios for an app

La exportación a tickets devuelve payloads JSON para Linear, Jira o GitHub. No los publica. Revisa títulos, enlaces de evidencia, severidad, contenido sensible, proyecto y asignado antes de enviar algo a un tracker externo.

Interpretación de release

Una señal útil de candidato es:

  • ningún hallazgo blocker o major nuevo en cobertura comparable;
  • el hallazgo objetivo aparece resuelto;
  • escenarios guardados importantes pasan en el entorno previsto; y
  • alguien revisa estados eliminados o cobertura reducida.

No llames verde a un release solo porque findings_new es cero. Un login fallido, timeout temprano, frontera más pequeña o tester no disponible también pueden producir menos hallazgos.

Relacionado