Testimine ja rakenduste kontroll

OpenFactory’il on kaks seotud pinda:

pildiscenaariumid, mis käivitavad ehitatud artefakti ja käivitavad piiratud külalise kinnitused; ja
rakendusplatvormi eelvaade, mis loob muutumatuid rakenduse variante ning UI-testi ja walker töövooge.

Kättesaadavus erineb oluliselt rakendusplatvormi moodulite vahel. Enne kasutamist loe iga lehe olek.

Rakendusplatvormi kättesaadavus

Teema	Praegune piir
App Deployment	Paneb Git allika järjekorda muutmatu variandi pipeline kaudu; jälgi asünkroonset juurutamist ja tervise tõendeid.
App UI Testing	Salvestab ja käivitab piiratud semantilisi stsenaariume kättesaadavate sihtide vastu; tulemused tõestavad ainult nimetatud tegevusi ja kinnitusi.
Prompt-assisted deployment	Vajab olemasolevat malli Git URL-i; brief on päritolu, mitte allika genereerimine.
App environment variables	Krüpteeritud salvestus ja juurutuse üleandmine on tehtud, kui vajalikud võtmed või tokenid on seadistatud; rotatsioon ja runtime tõendid jäävad operaatori mureks.
Managed Databases	Ainult stub leping; andmebaasi ei provisioneerita.
Object Storage	Ainult stub leping; bucketit ei provisioneerita.
Custom Domains	Ainult avaliku DNS omandi kontroll; kohandatud TLS teenindus ja marsruutimine pole aktiivne.
Checkpoints	Ainult stub identifikaatorid; taastatavat snapshotit pole.
Observability	Käsitsi sündmuste salvestus ja VM eraldamine on päris; ingest, probes, samples, logs ja dashboard on lõpetamata.
Web IDE	Ainult stub sidumine; redaktorit ega privaatset marsruuti ei provisioneerita.
App Auth	Ainult stub sidumine; identiteedipakkujat, issuerit ega päris token voogu ei provisioneerita.
Templates and Remix	Loob rakenduse kirjeid manifestidest või sobivast allika liinist; ei juuruta ega loo deklareeritud teenuseid automaatselt.
Autonomous Walker	Piiratud UI avastus oluliste katvuse, autoriseerimise ja kõrvalmõju piirangutega.
Walker Diffs	Võrdleb salvestatud walk-e ja ekspordib ticket-shaped payload; ei esita ise väliseid ticket-e.
Walk and Fix	Loob fix intent; pärand live-VM patching on vastuolus muutmatu juurutuse mudeliga.

Ära seo stub adapterit tootmis töövoogu ainult seetõttu, et API tagastas success.

Pildiscenaariumid

Pilditestid käivituvad ainult siis, kui valitud build või stsenaarium need lubab ja vajalik testi infrastruktuur on olemas. Hoia need olekud eraldi:

artefakti ehitus;
külalise provisioneerimine ja boot;
kinnituste täitmine;
tõendite finaliseerimine; ja
sertifitseerimise või avaldamise poliitika.

Build võib õnnestuda, kui testid on välja lülitatud, ootel, ebaõnnestunud või lõpetamata.

Testi kavandamine

Built-in tests

Built-in nimed nagu boot, login, packages, network ja services annavad baasi. Täpsed piirangud on lehel Default Tests.

Custom assertions

Kasuta Custom Assertions teenuse, pordi, HTTP, faili, käsu, protsessi ja toetatud GUI observatsioonide jaoks. Igal kinnitusel peavad olema description, expected result, target, timeout ja failure meaning.

Benchmarks

Benchmark kataloogid on struktureeritud kontrollide kogumid, mitte vastavuse otsused. Vastuta täpsele OS/version, säilita applicability ja failures, loe CIS benchmark evidence.

Tõendite kontrollnimekiri

Otsuse jaoks olulise jooksu puhul säilita:

recipe, source, build, artifact, VM, scenario ja run ID-d;
täpsed artifact ja source digest;
test environment ja runner version;
iga kinnituse tulemus ja raw output;
screenshots ainult kus põhjendatud ja turvaliselt hallatud;
missing, skipped või not-applicable checks;
timestamps ja terminal status; ja
reviewer disposition ja approval nimetatud otsuse jaoks.

Kui test ebaõnnestub, diagnoosi failing layer enne rebuild. Duplikaat build võib peita ownership, deployment, test-runner või evidence-finalization defekti, mitte seda parandada.