「Devin（Ask機能）」を活用したテスト設計の効率化について

はじめまして。TalentXでQAエンジニアをしている川出です。

本記事では、自律型AIエージェントDevinの対話機能である「Ask Devin」を活用し、テスト設計（仕様把握・テストケースのドラフト作成）を効率化した事例をご紹介します。

一般的に「開発自動化」の文脈で語られることが多いDevinですが、ソースコードをあらかじめ学習・把握して根拠付きで回答してくれるAsk機能は、QAエンジニアの「影響範囲調査」や「境界値の洗い出し」と非常に親和性が高いことが分かりました。

AIを開発だけでなく「QAの強力な相棒」として巻き込むことで、どのように品質担保のスピードを上げられたのか、実際のプロンプトの工夫を交えて解説します。

【実践】「mainとブランチの差分」からテスト観点を洗い出す

QAエンジニアがテスト設計を行う際、最も時間がかかり、かつ経験が求められるのが「今回の開発で、どこがどう変わり、どこに影響が出るか（影響範囲の特定）」です。

実際に投げたプロンプトのイメージ

Devinはリポジトリ全体の構造を理解しているため、以下のようなシンプルな依頼でも強力なコンテキストを理解してくれます。

プロンプト例：
「mainブランチと、現在開発中の〇〇ブランチの差分を確認してください。その差分を元に、QAとしてテストすべき機能や考慮すべきテスト観点を網羅的に洗い出してください。」

Devinの回答と、驚いたポイントプロンプトを投げると、Devinは即座に差分ファイルをスキャンし、人間がコードを読み解くよりも遥かに速いスピードでテスト観点をリストアップしてくれました。

特に感動したのは、単に「変更されたファイル」を並べるだけでなく、以下のような「コードの文脈を読んだ一歩踏み込んだ指摘」をしてくれた点です。

影響範囲の自動特定：「〇〇の関数が修正されているため、それを呼び出している△△画面の表示処理もテストする必要があります」という、依存関係を踏まえた影響範囲の提示。
異常系の切り出し：「今回の修正でバリデーションの条件が追加されています。そのため、境界値（上限・下限）のテストに加え、〇〇のデータが空で入ってきた場合の異常系テストが必要です」という、具体的なテスト条件の提案。

「ソースコードのこの行が変わったから、この観点が必要」という根拠（ソースコードへのリンクや行数）が明確なため、AI特有の「ハルシネーション」を過度に心配することなく、人間のQAとしても非常にレビューがしやすかったです。

導入して分かったメリットと「人間のQA」の役割

実際に「Ask Devin」に伴走してもらいながらテスト設計を行ってみて、得られた成果と、これからのAI時代におけるQAエンジニアの立ち位置について見えてきたものがあります。

テスト設計のリードタイムが激減（体感で8割削減）：これまでは、PRDを確認し仕様を読み解き、そこから洗い出したテスト観点とドキュメントと突き合わせるという「テスト設計の準備段階」に多くの時間を投資していました。 Devinに差分からの観点洗い出しを任せたところ、体感として8割程度網羅された的確なテスト観点がものの数分で出力されました。 QAエンジニアはゼロから観点をひねり出す必要がなくなり、Devinが作った高精度なベースを「レビューして肉付けする」というアプローチに変えることができます。これにより、初動のテスト設計における「網羅性の担保」と「影響範囲の特定」が効率化され、テスト設計をより手戻りなくスムーズに進められるようになりました。
「事実ベースの網羅率8割」のDevinと、残り2割を埋める「人間のQA」： Devinの出す観点は非常に優秀ですが、万能ではありません。 Devin（AI）が得意な領域：コードの差分、依存関係、例外処理のロジックなど、「仕様とコードに閉じている事実」の網羅的な洗い出し。人間のQAが必要な領域（残り2割）：ユーザーの実際のユースケース、画面の触り心地（UI/UX）、プロダクトのビジネスドメイン特有のドキュメント化されていない「暗黙の仕様」の考慮。 Devinがコードベースの事実（8割）という主要な土台を網羅してくれるからこそ、人間のQAは「ユーザーの視点に立った、より本質的な品質検証（2割）」に最初から脳のリソースを100%集中できるようになります。これこそが、AIを相棒にする最大のメリットだと感じました。