Testaus ja sovellusten varmistus
OpenFactory tarjoaa kaksi toisiinsa liittyvää pintaa:
- kuvaskenaariot, jotka käynnistävät rakennetun artefaktin ja suorittavat rajattuja guest assertions -tarkistuksia; ja
- app-platform preview, joka luo immutable app variants -variantteja sekä UI-test- ja walker-workflow -ketjuja.
Saatavuus vaihtelee paljon app-platform -moduulien välillä. Lue kunkin sivun status ennen käyttöä.
App-platformin saatavuus
| Aihe | Nykyinen raja |
|---|---|
| App Deployment | Jonottaa Git-lähteen immutable variant pipeline -putken kautta; seuraa asynkronista deploymentia ja health evidence -todisteita. |
| App UI Testing | Tallentaa ja ajaa rajattuja semantic scenarios -skenaarioita reachable targets -kohteisiin; tulokset todistavat vain mainitut actions ja assertions. |
| Prompt-assisted deployment | Vaatii olemassa olevan template Git URL -osoitteen; brief on provenance, ei source generation. |
| App environment variables | Encrypted storage ja deployment handoff on toteutettu, kun required keys/tokens on konfiguroitu; rotation ja runtime evidence ovat edelleen operaattorin vastuulla. |
| Managed Databases | Vain stub contract; tietokantaa ei provisioned. |
| Object Storage | Vain stub contract; bucketia ei provisioned. |
| Custom Domains | Vain Public-DNS ownership verification; custom TLS serving/routing ei ole aktiivinen. |
| Checkpoints | Vain stub identifiers; recoverable snapshot -tilannekuvaa ei ole. |
| Observability | Manual event storage ja VM allocation ovat oikeita; ingest, probes, samples, logs ja dashboard ovat keskeneräisiä. |
| Web IDE | Vain stub binding; editoria tai private route -reittiä ei provisioned. |
| App Auth | Vain stub binding; identity provideria, issueria tai real token flow -virtaa ei provisioned. |
| Templates and Remix | Luo app records -tietueita manifesteista tai eligible source lineage -ketjusta; ei deployaa eikä luo declared services -palveluja automaattisesti. |
| Autonomous Walker | Rajattu UI discovery tärkeine coverage-, authorization- ja side effect -rajoineen. |
| Walker Diffs | Vertaa stored walks -kävelyjä ja vie ticket-shaped payloads -kuormia; ei luo external tickets -tikettejä itse. |
| Walk and Fix | Luo fix intent -aikomuksen; legacy live-VM patching on ristiriidassa immutable deployment model -mallin kanssa. |
Älä ketjuta stub adapter -sovitinta tuotantoworkflow’hun vain siksi, että sen API palautti success.
Kuvaskenaariot
Image tests ajetaan vain, kun valittu build/scenario ottaa ne käyttöön ja required test infrastructure on saatavilla. Pidä nämä tilat erillään:
- artifact construction;
- guest provisioning ja boot;
- assertion execution;
- evidence finalization; ja
- certification or publication policy.
Build voi onnistua, vaikka testit olisivat disabled, pending, failed tai incomplete.
Testien suunnittelu
Sisäänrakennetut testit
Sisäänrakennetut nimet kuten boot, login, packages, network ja services muodostavat baseline-tason. Katso Default Tests niiden tarkat rajoitukset.
Custom assertions
Käytä Custom Assertions -sivua service-, port-, HTTP-, file-, command-, process- ja tuettuihin GUI observations -havaintoihin. Jokaisessa assertionissa pitää olla description, expected result, target, timeout ja failure meaning.
Benchmarkit
Benchmark catalogs ovat strukturoituja check sets -joukkoja, eivät compliance determinations -päätöksiä. Vastaa tarkkaa OS/version-arvoa, säilytä applicability ja failures, ja lue CIS benchmark evidence.
Evidence checklist
Päätöstä kantavasta runista säilytä:
- recipe, source, build, artifact, VM, scenario ja run IDs;
- tarkat artifact ja source digests;
- test environment ja runner version;
- jokainen assertion result ja raw output;
- screenshots vain perustelluissa ja turvallisesti käsitellyissä tapauksissa;
- missing, skipped tai not-applicable checks;
- timestamps ja terminal status; ja
- reviewer disposition ja approval mainittuun päätökseen.
Kun testi epäonnistuu, diagnosoi vikaava kerros ennen uudelleenrakennusta. Duplicate build voi peittää ownership-, deployment-, test-runner- tai evidence finalization -vian sen sijaan, että korjaisi sen.