Testning och applikationsverifiering
OpenFactory har två närliggande ytor:
- bildscenarier som startar en byggd artefakt och kör avgränsade guest assertions; och
- en app-platform preview som skapar immutable app variants plus UI-test- och walker-workflows.
Tillgänglighet skiljer sig mycket mellan app-platform-moduler. Läs status på varje sida innan du använder dem.
Tillgänglighet app-platform
| Ämne | Nuvarande gräns |
|---|---|
| App Deployment | Köar en Git-källa via immutable variant pipeline; följ asynkront deployment och health evidence. |
| App UI Testing | Lagrar och kör avgränsade semantic scenarios mot nåbara targets; resultat visar bara angivna actions och assertions. |
| Prompt-assisted deployment | Kräver befintlig template Git URL; briefen är provenance, inte source generation. |
| App environment variables | Encrypted storage och deployment handoff är implementerat när required keys/tokens är konfigurerade; rotation och runtime evidence är fortfarande operatorns ansvar. |
| Managed Databases | Endast stub contract; ingen databas provisioned. |
| Object Storage | Endast stub contract; ingen bucket provisioned. |
| Custom Domains | Endast Public-DNS ownership verification; custom TLS serving/routing är inte aktivt. |
| Checkpoints | Endast stub identifiers; ingen recoverable snapshot finns. |
| Observability | Manual event storage och VM allocation är verkliga; ingest, probes, samples, logs och dashboard är ofullständiga. |
| Web IDE | Endast stub binding; ingen editor eller private route provisioned. |
| App Auth | Endast stub binding; ingen identity provider, issuer eller real token flow provisioned. |
| Templates and Remix | Skapar app records från manifests eller eligible source lineage; deployar inte och skapar inte declared services automatiskt. |
| Autonomous Walker | Avgränsad UI discovery med viktiga gränser för coverage, authorization och side effects. |
| Walker Diffs | Jämför stored walks och exporterar ticket-shaped payloads; filed inga external tickets själv. |
| Walk and Fix | Skapar fix intent; legacy live-VM patching kolliderar med immutable deployment model. |
Koppla inte in en stub adapter i ett produktionsworkflow bara för att dess API returnerade success.
Bildscenarier
Image tests körs bara när vald build/scenario aktiverar dem och required test infrastructure finns. Håll dessa tillstånd åtskilda:
- artifact construction;
- guest provisioning och boot;
- assertion execution;
- evidence finalization; och
- certification or publication policy.
En build kan lyckas medan tester är disabled, pending, failed eller incomplete.
Testdesign
Inbyggda tester
Inbyggda namn som boot, login, packages, network och services ger en baseline. Se Default Tests för deras exakta begränsningar.
Custom assertions
Använd Custom Assertions för service, port, HTTP, file, command, process och stödda GUI observations. Varje assertion bör innehålla description, expected result, target, timeout och failure meaning.
Benchmarks
Benchmark catalogs är strukturerade check sets, inte compliance determinations. Matcha exakt OS/version, behåll applicability och failures, och läs CIS benchmark evidence.
Evidence checklist
För en run som bär på ett beslut, behåll:
- recipe, source, build, artifact, VM, scenario och run IDs;
- exakta artifact och source digests;
- test environment och runner version;
- varje assertion result och raw output;
- screenshots bara där det är motiverat och hanteras säkert;
- missing, skipped eller not-applicable checks;
- timestamps och terminal status; och
- reviewer disposition och approval för det angivna beslutet.
När ett test misslyckas, diagnostisera det felande lagret innan du bygger om. En duplicate build kan dölja ett fel i ownership, deployment, test-runner eller evidence finalization i stället för att åtgärda det.