Testen en applicatieverificatie
OpenFactory heeft twee gerelateerde vlakken:
- imagescenario’s die een gebouwd artefact opstarten en begrensde guest assertions uitvoeren; en
- een app-platform preview die immutable app variants plus UI-test- en walker-workflows aanmaakt.
Beschikbaarheid verschilt sterk tussen app-platformmodules. Lees de status op elke pagina voordat u ze gebruikt.
Beschikbaarheid app-platform
| Onderwerp | Huidige grens |
|---|---|
| App Deployment | Zet een Git-bron in de wachtrij via de immutable variant pipeline; volg het asynchrone deployment en health evidence. |
| App UI Testing | Slaat begrensde semantic scenarios op en voert ze uit tegen bereikbare targets; resultaten bewijzen alleen de genoemde actions en assertions. |
| Prompt-assisted deployment | Vereist een bestaande template Git URL; de brief is provenance, geen source generation. |
| App environment variables | Encrypted storage en deployment handoff zijn geïmplementeerd wanneer vereiste keys/tokens zijn geconfigureerd; rotation en runtime evidence blijven operatorzaken. |
| Managed Databases | Alleen stub contract; er wordt geen database provisioned. |
| Object Storage | Alleen stub contract; er wordt geen bucket provisioned. |
| Custom Domains | Alleen Public-DNS ownership verification; custom TLS serving/routing is niet actief. |
| Checkpoints | Alleen stub identifiers; er bestaat geen recoverable snapshot. |
| Observability | Manual event storage en VM allocation zijn echt; ingest, probes, samples, logs en dashboard zijn incompleet. |
| Web IDE | Alleen stub binding; er wordt geen editor of private route provisioned. |
| App Auth | Alleen stub binding; er wordt geen identity provider, issuer of real token flow provisioned. |
| Templates and Remix | Maakt app records aan uit manifests of eligible source lineage; deployt niet en maakt declared services niet automatisch aan. |
| Autonomous Walker | Begrensde UI discovery met belangrijke limieten voor coverage, authorization en side effects. |
| Walker Diffs | Vergelijkt stored walks en exporteert ticket-shaped payloads; filed geen external tickets zelf. |
| Walk and Fix | Maakt fix intent aan; legacy live-VM patching botst met het immutable deployment model. |
Koppel geen stub adapter aan een productieworkflow alleen omdat de API success teruggeeft.
Imagescenario’s
Image tests draaien alleen wanneer de gekozen build/scenario ze inschakelt en de vereiste test infrastructure beschikbaar is. Houd deze toestanden apart:
- artifact construction;
- guest provisioning en boot;
- assertion execution;
- evidence finalization; en
- certification or publication policy.
Een build kan slagen terwijl tests uitgeschakeld, pending, failed of incomplete zijn.
Testontwerp
Ingebouwde tests
Ingebouwde namen zoals boot, login, packages, network en services vormen een baseline. Bekijk Default Tests voor hun precieze beperkingen.
Custom assertions
Gebruik Custom Assertions voor service, port, HTTP, file, command, process en ondersteunde GUI observations. Elke assertion hoort een description, expected result, target, timeout en failure meaning te bevatten.
Benchmarks
Benchmark catalogs zijn gestructureerde check sets, geen compliance determinations. Match de exacte OS/version, bewaar applicability en failures, en lees CIS benchmark evidence.
Evidence checklist
Voor een run die een beslissing draagt, bewaar:
- recipe, source, build, artifact, VM, scenario en run IDs;
- exacte artifact en source digests;
- test environment en runner version;
- elk assertion result en raw output;
- screenshots alleen waar gerechtvaardigd en veilig afgehandeld;
- missing, skipped of not-applicable checks;
- timestamps en terminal status; en
- reviewer disposition en approval voor de genoemde beslissing.
Als een test faalt, diagnosticeer de falende laag voordat u opnieuw bouwt. Een duplicate build kan een defect in ownership, deployment, test-runner of evidence finalization verbergen in plaats van het te verhelpen.