Skip to Content
Testingテストとアプリケーションの検証

テストとアプリケーションの検証

OpenFactory には 2 つの関連するサーフェスがあります。

  • 構築されたアーティファクトを起動し、制限されたゲスト アサーションを実行するイメージ シナリオ。そして
  • 不変のアプリバリアントと UI テストおよびウォーカー ワークフローを作成するアプリ プラットフォーム プレビュー。

可用性はアプリ プラットフォーム モジュールによって大きく異なります。ご利用前に各ページの状況をご確認ください。

アプリプラットフォームの可用性

トピック現在の境界
App Deployment不変バリアント パイプラインを通じて Git ソースをキューに入れます。非同期展開と健全性の証拠に従います。
App UI Testing到達可能なターゲットに対して、制限されたセマンティック シナリオを保存して実行します。結果は、述べられた行動と主張のみを証明します。
Prompt-assisted deployment既存のテンプレート Git URL が必要です。要点は出所であり、ソースの生成ではありません。
App environment variables暗号化されたストレージと展開のハンドオフは、必要なキー/トークンが構成されているときに実装されます。ローテーションと実行時の証拠は、依然としてオペレータの懸念事項です。
Managed Databasesスタブ契約のみ。データベースはプロビジョニングされていません。
Object Storageスタブ契約のみ。バケットはプロビジョニングされていません。
Custom DomainsPublic-DNS 所有権の確認のみ。カスタム TLS サービング/ルーティングはアクティブではありません。
Checkpointsスタブ識別子のみ。回復可能なスナップショットが存在しません。
Observability手動イベント ストレージと VM 割り当ては実際のものです。取り込み、プローブ、サンプル、ログ、ダッシュボードが不完全です。
Web IDEスタブ バインディングのみ。エディターやプライベート ルートはプロビジョニングされません。
App Authスタブ バインディングのみ。 ID プロバイダー、発行者、または実際のトークン フローはプロビジョニングされません。
Templates and Remixマニフェストまたは適格なソース系統からアプリ レコードを作成します。宣言されたサービスを展開したり、自動的に作成したりしません。
Autonomous Walker重要なカバレッジ、認可、および副作用制限を備えた、制限された UI 検出。
Walker Diffs保存されたウォークを比較し、チケット形式のペイロードをエクスポートします。それ自体は外部チケットをファイルしません。
Walk and Fix修正意図を作成します。従来のライブ VM パッチ適用は、不変の展開モデルと競合します。

API が成功を返したため、スタブ アダプターを実稼働ワークフローにチェーンしないでください。

イメージシナリオ

イメージ テストは、選択したビルド/シナリオで有効になっており、必要なテスト インフラストラクチャが利用可能な場合にのみ実行されます。これらの状態を分けておいてください。

  1. アーティファクトの構築。
  2. ゲストのプロビジョニングとブート。 アサーションの実行 ４．
  3. 証拠の確定。そして
  4. 認証または出版ポリシー。

テストが無効、保留中、失敗、または不完全であっても、ビルドは成功する可能性があります。

テスト設計

組み込みテスト

boot、login、packages、network、services などの組み込み名がベースラインを提供します。 Default Tests の正確な制限を調べてください。

カスタム アサーション

サービス、ポート、HTTP、ファイル、コマンド、プロセス、およびサポートされている GUI の監視には、Custom Assertions を使用します。すべてのアサーションには、説明、期待される結果、ターゲット、タイムアウト、および失敗の意味が含まれている必要があります。

ベンチマーク

ベンチマーク カタログは構造化されたチェック セットであり、コンプライアンスを決定するものではありません。 OS/バージョンを正確に一致させ、適用性と障害を保持して、CIS benchmark evidence を読んでください。

証拠チェックリスト

意思決定を伴う実行の場合は、以下を保持します。

  • レシピ、ソース、ビルド、アーティファクト、VM、シナリオ、および実行 ID。
  • 正確なアーティファクトとソースのダイジェスト。
  • テスト環境とランナーのバージョン。
  • すべてのアサーション結果と生の出力。
  • スクリーンショットは、正当かつ安全に取り扱われる場合にのみ使用します。
  • チェックが欠落している、スキップされている、または適用できないチェック。
  • タイムスタンプと端末ステータス。そして
  • 規定された決定に対する審査員の処分と承認。

テストが失敗した場合は、再構築する前に失敗したレイヤーを診断します。重複したビルドにより、所有権、デプロイメント、テストランナー、または証拠の最終化の欠陥が修正されるのではなく、隠蔽される可能性があります。

実行と検証アプリ認証プレビュー