테스트 및 적용 검증
OpenFactory에는 두 가지 관련 표면이 있습니다.
- 빌드된 아티팩트를 부팅하고 제한된 게스트 어설션을 실행하는 이미지 시나리오 그리고
- 변경할 수 없는 앱 변형과 UI 테스트 및 워커 워크플로를 생성하는 앱 플랫폼 미리보기입니다.
가용성은 앱 플랫폼 모듈에 따라 크게 다릅니다. 사용하기 전에 각 페이지의 상태를 읽어보세요.
앱 플랫폼 가용성
| 주제 | 현재 경계 |
|---|---|
| App Deployment | 불변 변형 파이프라인을 통해 Git 소스를 대기열에 추가합니다. 비동기 배포 및 상태 증거를 따릅니다. |
| App UI Testing | 도달 가능한 대상에 대해 제한된 의미론적 시나리오를 저장하고 실행합니다. 결과는 명시된 행동과 주장만을 입증합니다. |
| Prompt-assisted deployment | 기존 템플릿 Git URL이 필요합니다. 간략한 내용은 소스 생성이 아니라 출처입니다. |
| App environment variables | 필수 키/토큰이 구성되면 암호화된 저장소 및 배포 전달이 구현됩니다. 회전 및 런타임 증거는 여전히 운영자의 관심사입니다. |
| Managed Databases | 스텁 계약만 가능합니다. 데이터베이스가 프로비저닝되지 않았습니다. |
| Object Storage | 스텁 계약만 가능합니다. 버킷이 프로비저닝되지 않았습니다. |
| Custom Domains | Public-DNS 소유권 확인만 가능합니다. 맞춤 TLS 제공/라우팅이 활성화되지 않았습니다. |
| Checkpoints | 스텁 식별자만 해당됩니다. 복구 가능한 스냅샷이 없습니다. |
| Observability | 수동 이벤트 저장 및 VM 할당은 실제입니다. 수집, 프로브, 샘플, 로그 및 대시보드가 불완전합니다. |
| Web IDE | 스텁 바인딩만 해당. 편집자나 개인 경로가 프로비저닝되지 않습니다. |
| App Auth | 스텁 바인딩만 해당. ID 공급자, 발급자 또는 실제 토큰 흐름이 프로비저닝되지 않습니다. |
| Templates and Remix | 매니페스트 또는 적격 소스 계보에서 앱 기록을 생성합니다. 선언된 서비스를 배포하거나 자동으로 생성하지 않습니다. |
| Autonomous Walker | 중요한 적용 범위, 승인 및 부작용 제한이 있는 제한된 UI 검색입니다. |
| Walker Diffs | 저장된 걷기를 비교하고 티켓 모양의 페이로드를 내보냅니다. 자체적으로 외부 티켓을 제출하지 않습니다. |
| Walk and Fix | 수정 의도를 생성합니다. 레거시 라이브 VM 패치는 변경할 수 없는 배포 모델과 충돌합니다. |
API가 성공을 반환했기 때문에 스텁 어댑터를 프로덕션 워크플로에 연결하지 마세요.
이미지 시나리오
이미지 테스트는 선택한 빌드/시나리오에서 활성화되고 필요한 테스트 인프라를 사용할 수 있는 경우에만 실행됩니다. 다음 상태를 별도로 유지하십시오.
- 유물 건설;
- 게스트 프로비저닝 및 부팅
- 어설션 실행;
- 증거 확정; 그리고
- 인증 또는 출판 정책.
테스트가 비활성화되거나, 보류 중이거나, 실패하거나, 완료되지 않은 동안에도 빌드가 성공할 수 있습니다.
테스트 디자인
내장 테스트
boot, login, packages, network 및 services와 같은 기본 제공 이름은 기준선을 제공합니다. 정확한 제한 사항은 Default Tests를 검사하세요.
사용자 정의 어설션
서비스, 포트, HTTP, 파일, 명령, 프로세스 및 지원되는 GUI 관찰에는 Custom Assertions를 사용하십시오. 모든 어설션에는 설명, 예상 결과, 대상, 시간 초과 및 실패 의미가 포함되어야 합니다.
벤치마크
벤치마크 카탈로그는 규정 준수 결정이 아닌 구조화된 검사 세트입니다. 정확한 OS/버전을 일치시키고, 적용성 및 장애를 유지하고, CIS benchmark evidence를 읽으십시오.
증거 체크리스트
의사결정 실행을 위해 다음을 유지합니다.
- 레시피, 소스, 빌드, 아티팩트, VM, 시나리오 및 실행 ID
- 정확한 아티팩트 및 소스 다이제스트;
- 테스트 환경 및 실행기 버전
- 모든 주장 결과와 원시 출력
- 정당하고 안전하게 취급되는 경우에만 스크린샷을 찍습니다.
- 누락, 건너뛰기 또는 적용할 수 없는 검사;
- 타임스탬프 및 터미널 상태 그리고
- 명시된 결정에 대한 검토자의 처분 및 승인.
테스트가 실패하면 재구축하기 전에 실패한 레이어를 진단하세요. 중복 빌드는 소유권, 배포, 테스트 실행기 또는 증거 최종화 결함을 수정하는 대신 숨길 수 있습니다.