Testavimas ir programų patikra
OpenFactory turi dvi susijusias sritis:
- vaizdo scenarijai, kurie paleidžia sukurtą artefaktą ir vykdo ribotas svečio patvirtinimus; ir
- programų platformos peržiūra, kuri kuria nekeičiamus programų variantus bei UI testų ir walker darbo eigas.
Prieinamumas gerokai skiriasi tarp programų platformos modulių. Prieš naudodami perskaitykite kiekvieno puslapio būseną.
Programų platformos prieinamumas
| Tema | Dabartinė riba |
|---|---|
| App Deployment | Eilėje perduoda Git šaltinį per nekeičiamų variantų pipeline; sekite asinchroninį diegimą ir sveikatos įrodymus. |
| App UI Testing | Saugo ir vykdo ribotus semantinius scenarijus prieinamiems taikiniams; rezultatai įrodo tik nurodytus veiksmus ir patvirtinimus. |
| Prompt-assisted deployment | Reikia esamo šablono Git URL; brief yra kilmė, ne šaltinio generavimas. |
| App environment variables | Šifruota saugykla ir diegimo perdavimas įgyvendinami, kai sukonfigūruoti reikiami raktai ar tokenai; rotacija ir runtime įrodymai lieka operatoriaus atsakomybė. |
| Managed Databases | Tik stub sutartis; duomenų bazė neparuošiama. |
| Object Storage | Tik stub sutartis; bucket neparuošiamas. |
| Custom Domains | Tik viešo DNS nuosavybės patvirtinimas; pasirinktinis TLS aptarnavimas ir maršrutizavimas neaktyvūs. |
| Checkpoints | Tik stub identifikatoriai; atkuriamo snapshot nėra. |
| Observability | Rankinis įvykių saugojimas ir VM paskirstymas veikia; ingest, probes, samples, logs ir dashboard nebaigti. |
| Web IDE | Tik stub susiejimas; redaktorius ar privatus maršrutas neparuošiami. |
| App Auth | Tik stub susiejimas; tapatybės teikėjas, issuer ar tikras token srautas neparuošiami. |
| Templates and Remix | Kuria programų įrašus iš manifestų ar tinkamos šaltinio linijos; nediegia ir automatiškai nesukuria deklaruotų paslaugų. |
| Autonomous Walker | Ribotas UI atradimas su svarbiomis aprėpties, autorizacijos ir šalutinio poveikio ribomis. |
| Walker Diffs | Lygina saugotus walk ir eksportuoja ticket-shaped payload; pats nekuria išorinių ticket. |
| Walk and Fix | Kuria fix intent; senesnis live-VM patching konfliktuoja su nekeičiamo diegimo modeliu. |
Nekompounduokite stub adapter į gamybinę darbo eigą vien todėl, kad API grąžino success.
Vaizdo scenarijai
Vaizdo testai vykdomi tik tada, kai pasirinktas build ar scenarijus juos įjungia ir prieinama reikalinga testų infrastruktūra. Šias būsenas laikykite atskirai:
- artefakto konstravimas;
- svečio paruošimas ir boot;
- patvirtinimų vykdymas;
- įrodymų finalizavimas; ir
- sertifikavimo ar publikavimo politika.
Build gali pavykti, kol testai išjungti, laukiantys, nepavykę ar nebaigti.
Testų dizainas
Built-in tests
Built-in pavadinimai, pvz., boot, login, packages, network ir services, duoda bazę. Tikslias ribas žr. Default Tests.
Custom assertions
Naudokite Custom Assertions paslaugoms, portui, HTTP, failui, komandai, procesui ir palaikomoms GUI observacijoms. Kiekvienas patvirtinimas turi turėti aprašą, expected result, target, timeout ir failure meaning.
Benchmarks
Benchmark katalogai yra struktūruotų patikrų rinkiniai, ne atitikties sprendimai. Atitinkite tikslų OS/version, išsaugokite applicability ir failures, skaitykite CIS benchmark evidence.
Įrodymų kontrolinis sąrašas
Sprendimui svarbiam paleidimui išsaugokite:
- recipe, source, build, artifact, VM, scenario ir run ID;
- tikslūs artifact ir source digest;
- test environment ir runner version;
- kiekvieno patvirtinimo rezultatą ir raw output;
- screenshots tik kur pagrįsta ir saugiai tvarkoma;
- missing, skipped ar not-applicable checks;
- timestamps ir terminal status; ir
- reviewer disposition ir approval nurodytam sprendimui.
Kai testas nepavyksta, prieš rebuild diagnozuokite failing layer. Dublikato build gali paslėpti ownership, deployment, test-runner ar evidence-finalization defektą, o ne jį pataisyti.