測試和應用驗證
OpenFactory 有兩個相關表面:
- 啟動建置的工件並運行有界訪客斷言的圖像場景;和
- 一個應用程式平台預覽,可建立不可變的應用程式變體以及 UI 測試和 walker 工作流程。
不同應用程式平台模組的可用性存在很大差異。使用前請閱讀每個頁面上的狀態。
應用程式平台可用性
| 主題 | 當前邊界 |
|---|---|
| App Deployment | 透過不可變變體管道對 Git 源進行排隊;遵循非同步部署和運行狀況證據。 |
| App UI Testing | 針對可到達的目標儲存和運行有界語義場景;結果僅證明所陳述的行為和主張。 |
| Prompt-assisted deployment | 需要現有範本 Git URL;簡介是出處,而不是來源生成。 |
| App environment variables | 配置所需的密鑰/令牌後,即可實現加密儲存和部署切換;旋轉和運行時間證據仍然是操作員關注的問題。 |
| Managed Databases | 僅存根合約;沒有配置資料庫。 |
| Object Storage | 僅存根合約;沒有配置儲存桶。 |
| Custom Domains | Public-DNS 僅限所有權驗證;自訂 TLS 服務/路由未啟動。 |
| Checkpoints | 僅存根標識符;不存在可恢復的快照。 |
| Observability | 手動事件儲存和VM分配是真實的;攝取、探針、樣本、日誌和儀表板不完整。 |
| Web IDE | 僅存根綁定;沒有提供編輯器或私人路線。 |
| App Auth | 僅存根綁定;不提供身分提供者、發行者或真實令牌流。 |
| Templates and Remix | 從清單或合格的來源沿襲建立應用程式記錄;不部署或自動建立聲明的服務。 |
| Autonomous Walker | 有界 UI 發現,具有重要的覆蓋範圍、授權和副作用限制。 |
| Walker Diffs | 比較儲存的路徑並匯出票據形狀的有效負載;它本身不會提交外部票據。 |
| Walk and Fix | 建立修復意圖;舊版即時虛擬機修補與不可變部署模型存在衝突。 |
不要將存根適配器連結到生產工作流程中,因為它的 API 回傳成功。
圖片場景
只有當選定的建置/場景啟用影像測試且所需的測試基礎架構可用時,才會執行影像測試。將這些狀態分開:
- 工件建置;
- 來賓配置和啟動;
- 斷言執行;
- 證據最終確定;和
- 認證或公佈政策。
當測試被停用、待定、失敗或不完整時,建置可以成功。
測試設計
內建測試
boot、login、packages、network 和 services 等內建名稱提供了基準。檢查 Default Tests 的精確限制。
自訂斷言
使用 Custom Assertions 進行服務、連接埠、HTTP、檔案、命令、流程和支援的 GUI 觀察。每個斷言都應包括描述、預期結果、目標、逾時和失敗含義。
基準
基準目錄是結構化檢查集,而不是合規性決定。匹配確切的作業系統/版本,保留適用性和故障,並讀取 CIS benchmark evidence。
證據清單
對於決策運行,請保留:
- 配方、來源、建置、工件、VM、場景和運行 ID;
- 精確的工件和來源摘要;
- 測試環境和運行器版本;
- 每個斷言結果和原始輸出;
- 僅在合理且安全處理的情況下使用螢幕截圖;
- 遺漏、跳過或不適用的檢查;
- 時間戳和終端狀態;和
- 審閱者對所述決定的處置和批准。
當測試失敗時,在重建之前診斷失敗的層。重複的建置可能會隱藏所有權、部署、測試執行程式或證據最終確定缺陷,而不是修復它。