このポートフォリオで分かること

• QA 自動化パイプラインの組み立てと運用ノウハウ
• LLM 活用によるテスト生成と評価の実践知
• CI パイプラインの可観測性・改善サイクルの設計

GitHubリポジトリ Evidence Catalog Weekly Summary

English version

🔎 最新CIレポート: JUnit要約 / Flakyランキング / Coverage HTML

🚀 Fresh CI signals in English: JUnit digest / Flaky leaderboard / Coverage dashboard

Demos

01

Spec to Cases

仕様書 Markdown からテストケース JSON を抽出する LLM + ルールベース変換パイプライン。

• スキーマ検証と type-preserving な変換ロジック。
• スモールスタート向けに CLI / JSON サンプルを同梱。

Evidence →

02

LLM to Playwright

LLM が受け入れ基準を補完しながら Playwright テストを自動生成する PoC。

• data-testid ベースの堅牢なセレクタ戦略と a11y スキャンを統合。
• JSON / CSV ドライバでデータ駆動テストを最小構成に。

Evidence →

03

CI Flaky Analyzer

CI ログから Flaky テストを検出し、HTML レポート / 起票テンプレまで自動生成する CLI。

• JUnit XML のストリーミング解析とスコアリングを npm ワークフロー化。
• HTML レポート / JSONL 履歴 / GitHub Issue テンプレをワンコマンドで生成。

Evidence →

04

LLM Adapter — Provider Orchestration

OpenAI / Azure / ローカルモックを統合し、比較ランと本番フォールバックを両立する LLM アダプタ。

• プロバイダ統合レイヤーでトレースを共通化し、切替や多重呼び出しを安全に制御。
• llm-adapter --provider adapter/config/providers/openai.yaml --prompts projects/04-llm-adapter/examples/prompts/ja_one_liner.jsonl で JSONL テンプレートから単発実行。
• python adapter/run_compare.py --providers adapter/config/providers/openai.yaml --prompts datasets/golden/tasks.jsonl が比較ランを一括管理。
• 差分メトリクスは data/runs-metrics.jsonl に JSONL で蓄積し、監査ログへ接続。

Evidence →

CI Metrics Trend

Weekly Summary

Weekly QA Snapshot — 2025-10-13

• TotalTests: 126
• PassRate: 97.62%
• NewDefects: 0
• TopFailureKinds: rate_limit, http_5xx, timeout 週次サマリを詳しく読む →

01. Spec to Cases

• 仕様書からテストケースを自動生成するパイプラインの最小構成。
• 成果物: cases.sample.json
• 追加資料: spec.sample.md

02. LLM to Playwright

• LLMで受け入れ基準を拡張し、Playwrightテストを自動生成するPoC。
• 成果物: tests/generated/
• サンプル: blueprint.sample.json / demo/
• 参考資料: tests/README.md

03. CI Flaky Analyzer

• CIログからflakyテストを検知し再実行・自動起票までを一気通貫にする仕組み。
• 成果物: npx flaky analyze 実行時に projects/03-ci-flaky/out/index.html（HTML/CSV/JSON）が生成され、CI ではアーティファクトとして取得。
• 解析サンプル: 任意の JUnit XML を npx flaky parse --input <path-to-xml> で取り込み、履歴ストアに蓄積。

04. LLM Adapter — Provider Orchestration

• OpenAI / Azure / ローカルモックを共通トレースで束ね、フォールバック設計と多重呼び出しを両立。
• llm-adapter --provider adapter/config/providers/openai.yaml --prompts projects/04-llm-adapter/examples/prompts/ja_one_liner.jsonl で JSONL テンプレートから単発実行。
• python adapter/run_compare.py --providers adapter/config/providers/openai.yaml --prompts datasets/golden/tasks.jsonl が比較ランを data/runs-metrics.jsonl に記録。
• 参考資料: evidence/llm-adapter

週次サマリの一覧を見る →

Evidence Library

• QA Evidence Catalog
• テスト計画書
• 欠陥レポートサンプル

運用メモ

• weekly-qa-summary.yml ワークフローが docs/weekly-summary.md を自動更新。
• tools/generate_gallery_snippets.py が週次サマリからハイライトカードを生成。
• .github/workflows/pages.yml が docs/ 配下を GitHub Pages にデプロイ（別途 publish-docs ワークフローは廃止済み）。
• 開発ログのナビゲーションは Development Log Hub に集約。