Walker taban çizgileri ve farkları
Temel çizgiler ve farklar, aynı uygulama için iki otonom yürüyüşü karşılaştırır. Onlar yeni, kalıcı ve çözümlenmiş bulguların ayrılmasına yardımcı olur ve bulguların nerede olduğunu gösterir. kayıtlı kullanıcı arayüzü durumu değişti.
Referans çizgisi bir sertifikasyon değil, bir karşılaştırma referansıdır. Yalnızca bundan sonra sabitleyin hedefini, kimlik doğrulama durumunu, limitlerini, bulgularını ve kapsamını gözden geçirmek.
Önerilen iş akışı
- İyi olduğu bilinen bir yürüyüşü çalıştırın ve gözden geçirin.
set_walk_baselineile sabitleyin.- Bir değişikliği dağıtın ve karşılaştırılabilir konfigürasyonla yeni bir yürüyüş gerçekleştirin.
- İki yürüyüş kimliğiyle
diff_walks’yi arayın. - Yinelenen raporu ve her engelleyici/önemli bulguyu inceleyin.
- Belirleyici kapsamın önemli olduğu akışlar için kayıtlı senaryoları çalıştırın.
set_walk_baseline(
walk_id="<reviewed-walk>",
app_name="my-app",
notes="Reviewed staging reference for revision <sha>"
)
diff_walks(
base_walk_id="<reviewed-walk>",
new_walk_id="<candidate-walk>"
)Kimlik ve karşılaştırma sınırları
Durumlar rota ve DOM imzalarından içerik adreslidir. Bulgular birleştirildi normalleştirilmiş veri tekilleştirme anahtarlarıyla. Bu istikrarlı karşılaştırmaları mümkün kılar, ancak dinamik içerik yine de bir mantıksal ekranın yeni görünmesini sağlayabilir ve normalleştirme bazen bulguları beklenmedik bir şekilde birleştirebilir veya bölebilir.
Savunulabilir bir karşılaştırma için şu girdileri aynı hizada tutun:
- uygulama ve ortam;
- kimliği doğrulanmış hesap ve rol;
- tohum URL’si ve izin verilen kaynaklar;
- yürüteç modu, durum/derinlik/eylem sınırları ve tüylenme profili; ve
- özellik bayrakları ve test verileri.
Bu girdiler farklılık gösteriyorsa, sayıları bir sonuç olarak ele almak yerine farkı belgeleyin. yayın kalitesinde regresyon sinyali.
Mevcut araçlar
| Araç | Amaç |
|---|---|
set_walk_baseline | Sahip/uygulama anahtarı başına incelenen bir yürüyüşü sabitleyin |
get_walk_baseline / list_walk_baselines | Mevcut referansları inceleyin |
clear_walk_baseline | Yürüyüşü silmeden bir raptiyeyi çıkarın |
diff_walks | Sahip olunan iki yürüyüşteki durumları ve bulguları karşılaştırın |
walk_recursive_report | Kaydedilen durum ağacını değişiklik açıklamalarıyla birlikte işleme |
walk_findings_to_tickets | Seçilen bulgular için izleyici verileri üretin |
run_all_app_scenarios | Bir uygulama için kaydedilen senaryoları sıraya koyma |
Bilet dışa aktarımı, Linear, Jira veya GitHub için JSON verilerini döndürür. öyle değil onları yayınla. İnceleme başlıkları, kanıt bağlantıları, önem derecesi, hassas içerik, proje, ve harici bir izleyiciye herhangi bir şey göndermeden önce atanan kişi.
Yorumlamayı yayınlayın
Yararlı bir aday sinyali:
- karşılaştırılabilir kapsamda yeni engelleyici veya önemli bir bulgunun olmaması;
- hedeflenen bulgunun çözümlenmiş görünmesi;
- kaydedilen önemli senaryoların amaçlanan ortamda geçmesi; ve
- birisi kaldırılan durumları veya azaltılan kapsamı inceler.
Yalnızca findings_new sıfır olduğu için bir sürüme yeşil demeyin. Başarısız bir
oturum açma, erken zaman aşımı, daha küçük sınır veya test kullanıcısının kullanılamaması gibi durumlar da ortaya çıkabilir
daha az bulgu.