Skip to Content
Testing測試和應用驗證

測試和應用驗證

OpenFactory 有兩個相關表面:

  • 啟動建置的工件並運行有界訪客斷言的圖像場景;和
  • 一個應用程式平台預覽,可建立不可變的應用程式變體以及 UI 測試和 walker 工作流程。

不同應用程式平台模組的可用性存在很大差異。使用前請閱讀每個頁面上的狀態。

應用程式平台可用性

主題當前邊界
App Deployment透過不可變變體管道對 Git 源進行排隊;遵循非同步部署和運行狀況證據。
App UI Testing針對可到達的目標儲存和運行有界語義場景;結果僅證明所陳述的行為和主張。
Prompt-assisted deployment需要現有範本 Git URL;簡介是出處,而不是來源生成。
App environment variables配置所需的密鑰/令牌後,即可實現加密儲存和部署切換;旋轉和運行時間證據仍然是操作員關注的問題。
Managed Databases僅存根合約;沒有配置資料庫。
Object Storage僅存根合約;沒有配置儲存桶。
Custom DomainsPublic-DNS 僅限所有權驗證;自訂 TLS 服務/路由未啟動。
Checkpoints僅存根標識符;不存在可恢復的快照。
Observability手動事件儲存和VM分配是真實的;攝取、探針、樣本、日誌和儀表板不完整。
Web IDE僅存根綁定;沒有提供編輯器或私人路線。
App Auth僅存根綁定;不提供身分提供者、發行者或真實令牌流。
Templates and Remix從清單或合格的來源沿襲建立應用程式記錄;不部署或自動建立聲明的服務。
Autonomous Walker有界 UI 發現,具有重要的覆蓋範圍、授權和副作用限制。
Walker Diffs比較儲存的路徑並匯出票據形狀的有效負載;它本身不會提交外部票據。
Walk and Fix建立修復意圖;舊版即時虛擬機修補與不可變部署模型存在衝突。

不要將存根適配器連結到生產工作流程中,因為它的 API 回傳成功。

圖片場景

只有當選定的建置/場景啟用影像測試且所需的測試基礎架構可用時,才會執行影像測試。將這些狀態分開:

  1. 工件建置;
  2. 來賓配置和啟動;
  3. 斷言執行;
  4. 證據最終確定;和
  5. 認證或公佈政策。

當測試被停用、待定、失敗或不完整時,建置可以成功。

測試設計

內建測試

bootloginpackagesnetworkservices 等內建名稱提供了基準。檢查 Default Tests 的精確限制。

自訂斷言

使用 Custom Assertions 進行服務、連接埠、HTTP、檔案、命令、流程和支援的 GUI 觀察。每個斷言都應包括描述、預期結果、目標、逾時和失敗含義。

基準

基準目錄是結構化檢查集,而不是合規性決定。匹配確切的作業系統/版本,保留適用性和故障,並讀取 CIS benchmark evidence

證據清單

對於決策運行,請保留:

  • 配方、來源、建置、工件、VM、場景和運行 ID;
  • 精確的工件和來源摘要;
  • 測試環境和運行器版本;
  • 每個斷言結果和原始輸出;
  • 僅在合理且安全處理的情況下使用螢幕截圖;
  • 遺漏、跳過或不適用的檢查;
  • 時間戳和終端狀態;和
  • 審閱者對所述決定的處置和批准。

當測試失敗時,在重建之前診斷失敗的層。重複的建置可能會隱藏所有權、部署、測試執行程式或證據最終確定缺陷,而不是修復它。