Pruebas y verificación de aplicaciones
OpenFactory tiene dos superficies relacionadas:
- escenarios de imagen que arrancan un artefacto compilado y ejecutan aserciones acotadas en guest; y
- una vista previa de plataforma de apps que crea variants inmutables de app más flujos de prueba UI y walker.
La disponibilidad difiere mucho entre módulos de la plataforma de apps. Lee el estado en cada página antes de usarla.
Disponibilidad de la plataforma de apps
| Topic | Current boundary |
|---|---|
| Despliegue de app | Encola una fuente Git mediante el pipeline de variant inmutable; sigue la evidencia de despliegue y salud asíncronos. |
| Pruebas UI de app | Almacena y ejecuta escenarios semánticos acotados contra destinos alcanzables; los resultados prueban solo las acciones y aserciones declaradas. |
| Despliegue asistido por prompt | Requiere una URL Git de plantilla existente; el brief es procedencia, no generación de fuente. |
| Variables de entorno de app | Almacenamiento cifrado y handoff de despliegue están implementados cuando las claves/tokens requeridos están configurados; rotación y evidencia en runtime siguen siendo responsabilidad del operador. |
| Bases de datos gestionadas | Solo contrato stub; no se aprovisiona base de datos. |
| Almacenamiento de objetos | Solo contrato stub; no se aprovisiona bucket. |
| Dominios personalizados | Solo verificación de propiedad DNS pública; servicio/routing TLS personalizado no está activo. |
| Checkpoints | Solo identificadores stub; no existe instantánea recuperable. |
| Observabilidad | Almacenamiento manual de eventos y asignación VM son reales; ingest, sondas, muestras, logs y dashboard están incompletos. |
| Web IDE | Solo binding stub; no se aprovisiona editor ni ruta privada. |
| App Auth | Solo binding stub; no se aprovisiona proveedor de identidad, issuer ni flujo real de tokens. |
| Plantillas y Remix | Crea registros de app desde manifiestos o linaje fuente elegible; no despliega ni crea automáticamente servicios declarados. |
| Walker autónomo | Descubrimiento UI acotado con límites importantes de cobertura, autorización y efectos secundarios. |
| Diffs del walker | Compara walks almacenados y exporta payloads con forma de ticket; no archiva tickets externos por sí solo. |
| Walk and Fix | Crea intención de fix; el parche legacy en VM en vivo entra en conflicto con el modelo de despliegue inmutable. |
No encadenes un adaptador stub en un flujo de producción porque su API devolvió éxito.
Escenarios de imagen
Las pruebas de imagen se ejecutan solo cuando la compilación/escenario seleccionado las habilita y la infraestructura de prueba requerida está disponible. Mantén estos estados separados:
- construcción del artefacto;
- aprovisionamiento y arranque del guest;
- ejecución de aserciones;
- finalización de evidencia; y
- política de certificación o publicación.
Una compilación puede tener éxito mientras las pruebas están deshabilitadas, pendientes, fallidas o incompletas.
Diseño de pruebas
Pruebas integradas
Nombres integrados como boot, login, packages, network y services aportan una línea base. Inspecciona Pruebas por defecto para sus limitaciones precisas.
Aserciones personalizadas
Usa Aserciones personalizadas para observaciones de servicio, puerto, HTTP, archivo, comando, proceso y GUI admitidas. Toda aserción debe incluir descripción, resultado esperado, destino, timeout y significado del fallo.
Benchmarks
Los catálogos de benchmark son conjuntos de comprobaciones estructurados, no determinaciones de cumplimiento. Coincide con el SO/versión exactos, conserva aplicabilidad y fallos, y lee Evidencia de benchmarks CIS.
Lista de evidencia
Para una ejecución que sustenta una decisión, conserva:
- ID de receta, fuente, compilación, artefacto, VM, escenario y ejecución;
- digest exactos de artefacto y fuente;
- entorno de prueba y versión del runner;
- cada resultado de aserción y salida en bruto;
- capturas solo donde estén justificadas y manejadas con seguridad;
- comprobaciones faltantes, omitidas o no aplicables;
- marcas de tiempo y estado terminal; y
- disposición del revisor y aprobación para la decisión declarada.
Cuando una prueba falla, diagnostica la capa que falla antes de recompilar. Una compilación duplicada puede ocultar un defecto de propiedad, despliegue, runner de prueba o finalización de evidencia en lugar de corregirlo.