Testování a ověřování aplikací
OpenFactory nabízí dvě související oblasti:
- image scenarios, které bootují sestavený artifact a spouštějí omezené guest assertions; a
- náhled app-platform, který vytváří immutable app variants a workflowy UI-test a walker.
Dostupnost se mezi moduly app-platform výrazně liší. Před použitím si na každé stránce přečtěte stav.
Dostupnost app-platform
| Téma | Aktuální hranice |
|---|---|
| App Deployment | Zařadí Git source do immutable variant pipeline; sledujte asynchronní deployment a health evidence. |
| App UI Testing | Ukládá a spouští omezené semantic scenarios proti dosažitelným targets; výsledky dokazují jen uvedené actions a assertions. |
| Prompt-assisted deployment | Vyžaduje existující template Git URL; brief je provenance, ne source generation. |
| App environment variables | Encrypted storage a deployment handoff jsou implementované, když jsou nakonfigurované požadované keys/tokens; rotation a runtime evidence zůstávají na operátorovi. |
| Managed Databases | Pouze stub contract; žádná databáze se neprovisionuje. |
| Object Storage | Pouze stub contract; žádný bucket se neprovisionuje. |
| Custom Domains | Pouze Public-DNS ownership verification; custom TLS serving/routing není aktivní. |
| Checkpoints | Pouze stub identifiers; neexistuje recoverable snapshot. |
| Observability | Manual event storage a VM allocation jsou skutečné; ingest, probes, samples, logs a dashboard jsou neúplné. |
| Web IDE | Pouze stub binding; neprovisionuje se editor ani private route. |
| App Auth | Pouze stub binding; neprovisionuje se identity provider, issuer ani real token flow. |
| Templates and Remix | Vytváří app records z manifestů nebo eligible source lineage; nedeployuje ani automaticky nevytváří declared services. |
| Autonomous Walker | Omezené UI discovery s důležitými limity coverage, authorization a side effects. |
| Walker Diffs | Porovnává stored walks a exportuje ticket-shaped payloads; externí tickets nezakládá samo. |
| Walk and Fix | Vytváří fix intent; legacy live-VM patching je v konfliktu s immutable deployment model. |
Nepřipojujte stub adapter do produkčního workflow jen proto, že jeho API vrátilo success.
Image scenarios
Image tests běží jen když je zvolený build/scenario zapne a je k dispozici požadovaná test infrastructure. Držte tyto stavy odděleně:
- artifact construction;
- guest provisioning a boot;
- assertion execution;
- evidence finalization; a
- certification or publication policy.
Build může uspět, i když jsou testy vypnuté, pending, failed nebo incomplete.
Návrh testů
Vestavěné testy
Vestavěná jména jako boot, login, packages, network a services dávají základ. Přesná omezení najdete v Default Tests.
Custom assertions
Pro service, port, HTTP, file, command, process a podporovaná GUI pozorování použijte Custom Assertions. Každá assertion by měla mít popis, expected result, target, timeout a význam selhání.
Benchmarks
Benchmark catalogs jsou strukturované sady kontrol, ne compliance determinations. Shodujte přesné OS/version, uchovejte applicability a failures a přečtěte si CIS benchmark evidence.
Kontrolní seznam evidence
U běhu, který má nést rozhodnutí, uchovejte:
- recipe, source, build, artifact, VM, scenario a run IDs;
- přesné artifact a source digests;
- test environment a runner version;
- každý výsledek assertion a raw output;
- screenshots jen kde je to odůvodněné a bezpečně zpracované;
- chybějící, skipped nebo not-applicable checks;
- timestamps a terminal status; a
- reviewer disposition a schválení pro uvedené rozhodnutí.
Když test selže, nejdřív diagnostikujte selhávající vrstvu, až potom rebuild. Duplicitní build může skrýt chybu v ownership, deployment, test-runner nebo evidence finalization místo toho, aby ji opravil.