Testovanie a overovanie aplikácií
OpenFactory má dve súvisiace oblasti:
- image scenarios, ktoré bootujú zostavený artifact a spúšťajú obmedzené guest assertions; a
- náhľad app-platform, ktorý vytvára immutable app variants a workflowy UI-test a walker.
Dostupnosť sa medzi modulmi app-platform výrazne líši. Pred použitím si na každej stránke prečítajte stav.
Dostupnosť app-platform
| Téma | Aktuálna hranica |
|---|---|
| App Deployment | Zaraďí Git source do immutable variant pipeline; sledujte asynchrónny deployment a health evidence. |
| App UI Testing | Ukladá a spúšťa obmedzené semantic scenarios proti dosiahnuteľným targets; výsledky dokazujú len uvedené actions a assertions. |
| Prompt-assisted deployment | Vyžaduje existujúcu template Git URL; brief je provenance, nie source generation. |
| App environment variables | Encrypted storage a deployment handoff sú implementované, keď sú nakonfigurované požadované keys/tokens; rotation a runtime evidence zostávajú na operátorovi. |
| Managed Databases | Iba stub contract; žiadna databáza sa neprovisionuje. |
| Object Storage | Iba stub contract; žiadny bucket sa neprovisionuje. |
| Custom Domains | Iba Public-DNS ownership verification; custom TLS serving/routing nie je aktívne. |
| Checkpoints | Iba stub identifiers; neexistuje recoverable snapshot. |
| Observability | Manual event storage a VM allocation sú skutočné; ingest, probes, samples, logs a dashboard sú neúplné. |
| Web IDE | Iba stub binding; neprovisionuje sa editor ani private route. |
| App Auth | Iba stub binding; neprovisionuje sa identity provider, issuer ani real token flow. |
| Templates and Remix | Vytvára app records z manifestov alebo eligible source lineage; nedeployuje ani automaticky nevytvára declared services. |
| Autonomous Walker | Obmedzené UI discovery s dôležitými limitmi coverage, authorization a side effects. |
| Walker Diffs | Porovnáva stored walks a exportuje ticket-shaped payloads; externé tickets nezakladá samo. |
| Walk and Fix | Vytvára fix intent; legacy live-VM patching je v konflikte s immutable deployment model. |
Nepripájajte stub adapter do produkčného workflow len preto, že jeho API vrátilo success.
Image scenarios
Image tests bežia len keď ich zvolený build/scenario zapne a je k dispozícii požadovaná test infrastructure. Držte tieto stavy oddelene:
- artifact construction;
- guest provisioning a boot;
- assertion execution;
- evidence finalization; a
- certification or publication policy.
Build môže uspieť, aj keď sú testy vypnuté, pending, failed alebo incomplete.
Návrh testov
Vstavané testy
Vstavané názvy ako boot, login, packages, network a services dávajú základ. Presné obmedzenia nájdete v Default Tests.
Custom assertions
Pre service, port, HTTP, file, command, process a podporované GUI pozorovania použite Custom Assertions. Každá assertion by mala mať popis, expected result, target, timeout a význam zlyhania.
Benchmarks
Benchmark catalogs sú štruktúrované sady kontrol, nie compliance determinations. Zhodujte presné OS/version, uchovajte applicability a failures a prečítajte si CIS benchmark evidence.
Kontrolný zoznam evidence
Pri behu, ktorý má niesť rozhodnutie, uchovajte:
- recipe, source, build, artifact, VM, scenario a run IDs;
- presné artifact a source digests;
- test environment a runner version;
- každý výsledok assertion a raw output;
- screenshots len kde je to odôvodnené a bezpečne spracované;
- chýbajúce, skipped alebo not-applicable checks;
- timestamps a terminal status; a
- reviewer disposition a schválenie pre uvedené rozhodnutie.
Keď test zlyhá, najprv diagnostikujte zlyhávajúcu vrstvu, až potom rebuild. Duplicitný build môže skryť chybu v ownership, deployment, test-runner alebo evidence finalization namiesto toho, aby ju opravil.