テストドライバー

TestDriverの主な洞察

TestDriverとは何ですか？

テストドライバー あります AI クラウドデスクトップサンドボックス内で実際のアプリケーションを実行することで、すべてのプルリクエストをテストするQAエンジニアツールです。Haxor Inc.が開発したこのツールは、GitHubにアプリとして統合されます。開発者がプルリクエストを開いたり、@testdriveraiをメンションしたりすると、エージェントがコードの差分を読み取り、実際のユーザーのように実行中のインターフェースをクリックして、ビデオ再生で確認した内容を報告します。

その後、回帰テストを通常のVitestファイルとして書き出し、新しいプルリクエストとしてコミットします。TestDriverは、脆弱なCSSセレクタの代わりに、コンピュータビジョンを使用してボタン、フィールド、テキストを検出します。そのため、Webアプリ、Chrome拡張機能、VS Code拡張機能、ネイティブWindowsソフトウェアを単一のコードベースからカバーできる数少ないテスト自動化ツールの1つとなっています。エンジニアリングリーダーにとってのビジネス上のメリットは、見落とされる欠陥の減少、手動QAの削減、そしてより迅速で安全なリリースです。

TestDriverの簡単な評価

TestDriverの舞台裏の仕組み

TestDriverは、コード変更のたびに6段階の品質ループを実行します。このループを理解することで、価値とコストの両方を予測することができます。

1. セットアップ。 GitHubアプリをインストールすると、ボットがセットアップ課題とプルリクエストを作成します。そのプルリクエストによってテストドライバーが追加されます。ai また、vitest パッケージ、TestDriver レポーターと長時間のタイムアウトを設定した vitest.config.js ファイル、GitHub Actions ワークフロー、および一連のサンプル テストも含まれています。
2. 検証します。 新しいプルリクエストがマージされると、ビジョンエージェントは差分を読み取って変更内容を把握します。その後、サンドボックスを起動し、アプリを開いて、クリック、入力、画面の読み取りなどによって新しい動作をテストします。
3. 貢献する。 テストが合格すると、エージェントはテストファイルをコミットする別のプルリクエストを作成します。あなたのチームは、他のコードと同様にそれをレビューします。
4. CI環境で実行します。 コミットされたテストは、ユーザーが目にする内容を変更する今後のすべてのプルリクエストで実行されます。また、標準のVitestファイルであるため、npm testを使用してローカル環境でも実行できます。
5. 自己治癒。 再設計後にキャッシュされた要素が一致しなくなった場合、 AI 再びそれを見つけ、キャッシュを更新して処理を続行する。
6. デバッグと予防。 失敗した実行結果は、ビデオ再生、ネットワークログ、リソースグラフに直接リンクされます。コンソールは合格率と不安定なテストを追跡し、回帰が発生した瞬間にそれを表示します。

TestDriverの主な機能

@testdriver を使用したプルリクエストの自動テストai エージェント

TestDriverはGitHubアプリとしてインストールされ、選択したリポジトリを監視します。プルリクエストを開くか、@testdriverをタグ付けしてください。ai コメント欄に修正内容が記載されると、エージェントはサンドボックスを起動し、差分を読み込んで実行中のアプリで変更内容をテストします。その後、テスト結果を記録したレビューを投稿します。テストが合格すると、新しいテストファイルがコミットされた状態で2つ目のプルリクエストが作成されます。

チームは差分を確認し、マージすることで、定型的な作業を一切行わずに回帰テストのカバレッジを確保できます。また、GitHub Copilotチャット、プルリクエストレビュー、GitHub モバイルアプリからエージェントを呼び出すことも可能です。リリース管理者にとって、これは QA をスプリント終了時のボトルネックから、すべてのマージで実行される品質ゲートへと変革します。

展望 AI 脆弱なセレクタを無視する要素検出

ほとんどのUI自動化は、開発者がクラス名を変更したり、div要素を移動したりしたために動作しなくなります。TestDriverはそのような落とし穴を完全に回避します。「ヘッダーにある青いサインインボタン」のように、要素を平易な英語で記述するだけで、ビジョンモデルが画面上のそれらの要素を検出します。

XPathクエリもデータ属性もDOMアクセスも不要です。キャンバス要素、ビデオプレーヤー、iFrame、OAuthポップアップ、PDFなど、セレクタベースのツールでは対応できないような要素でも動作します。つまり、ソースコードにアクセスできないサードパーティ製Webアプリのテストも可能です。

自然言語によるアサーションと画面データ抽出

結果の確認は、要素を見つけるのと同じくらい簡単です。assert() コマンドは、「ダッシュボードが表示されているか」や「カートに商品が入っているか」など、画面に関するイエス・ノー形式の質問を行います。extract() コマンドは、画面から情報を読み取り、テキストとして返します。これは、注文番号や価格などを取得して後で再利用する場合に便利です。

parse() コマンドは、OmniParser を使用して画面上のすべての UI 要素を検出します。これらのチェックはレンダリングされた画面を読み取るため、 LLMチャットボット 返信、ファイルアップロード、さらにはスペルチェックや文法チェックまで。これは出荷チームにとって大きなメリットです。 AI 機能によっては、実行ごとに出力が変化する場合があります。

自己学習キャッシュと自己修復テストメンテナンス

AI ビジョン処理は呼び出しごとに時間とコストがかかるため、TestDriverは実行しながら学習します。検出された各要素はビジョンフィンガープリント（その要素周辺の画面の知覚ハッシュ）とともに保存されます。次回の実行時には、SDKはモデルを再度呼び出す代わりにキャッシュと照合します。ドキュメントによると、再実行速度は最大1.7倍向上し、ある例では検索時間が2.1秒から12ミリ秒に短縮されたとのことです。

キャッシュキーはテストファイルのハッシュ、プロンプトテキスト、画面の状態、プラットフォームをブレンドするため、テストを編集すると古いエントリが自動的にクリアされます。UI が切り替わり、キャッシュされた一致が失敗すると、TestDriver は AI 再度要素を検索し、キャッシュを更新します。キャッシュされた要素、プロンプト、ヒット率はコンソールで確認できます。

Web、デスクトップ、拡張機能アプリ向けの本格的なデスクトップサンドボックス

TestDriverは単にヘッドレスブラウザを駆動するだけではありません。実行時には毎回、LinuxまたはWindows上で完全な仮想マシンを起動します。つまり、ソフトウェアのインストール、デスクトッププログラムの起動、Chrome拡張機能の読み込み、または拡張機能が組み込まれたVS Codeの起動などが可能です。

exec() コマンドは、サンドボックス内でシェルスクリプトまたは PowerShell スクリプトを実行するため、UI の手順を開始する前に、データのシード、.deb パッケージのインストール、テスト ユーザーの作成などを行うことができます。focusApplication() コマンドは任意のウィンドウを前面に表示するため、2 つのアプリケーション間でのフローが可能になります。さらに、2captcha サービスに接続する captcha() ヘルパーも用意されています。Web アプリケーション以外にも様々なアプリケーションをリリースしている企業にとって、この 1 つの環境で、複数のテスト ツールを寄せ集めたような状況を解消できます。

ビデオ再生とネットワークログを含むデバッグスイート

ビルドエラー（赤色表示）は、その原因が特定できた場合にのみ役立ちます。TestDriverは、Dashcam機能で実行履歴を記録します。チェックが失敗すると、クリック、キー入力、アサーションのすべてが順番に記録されたビデオ再生に直接ジャンプできます。ビデオに加えて、ヘッダー、ペイロード、タイミングを含む完全なネットワークログも取得できます。

CPUとメモリのグラフも用意されており、メモリリークや画面表示の遅延を特定できます。さらに、テストが想定された経路から逸脱した箇所を正確に示すアクションログも表示されます。各テストは、より詳細な監査のために、メタデータ、バージョン、インフラストラクチャの詳細を含むJSON結果ファイルも出力します。

品質分析、不安定なテストの追跡、およびJUnitレポート

エンジニアリングマネージャーが必要としているのは、単一の結果だけでなく、傾向です。TestDriverコンソールは、実行ごとに合格率、不安定なテスト、および失敗パターンを追跡します。これにより、10回に1回失敗するテストを簡単に特定できます。これは、製品に実際の競合状態が存在する兆候であることがよくあります。結果はJUnit XML形式でエクスポートされるため、チームが既に使用しているレポートツールやダッシュボードに直接反映されます。上層部に報告するQAリーダーにとっては、テスト実行結果をリリース準備データに変換できます。

MCPサーバーおよびエージェントスキル AI コーディングアシスタント

TestDriverは、エージェント型コーディングワークフローにうまく適合します。npx testdriverを実行します。ai initは3つの要素を設定します。テスト作成エージェント、Anthropic SKILL.md形式の100以上のスキルファイル、そして検索、クリック、入力、アサート、スクリーンショットなどのツールを提供するMCPサーバーが提供されます。

Claude Code、Claude Desktop、Cursor、VS Code（Copilot、Windsurf、Codex、Zedを含む）を自動的に構成します。LovableとReplitは部分的にセットアップされ、v0は手動で構成する必要があります。開発者はコーディングアシスタントにテストの作成を依頼し、ライブサンドボックスでの動作、スクリーンショットの取得、テストが合格するまでの再実行などを確認できます。

秘密情報、変数、および再利用可能なテストコード

成熟したテストスイートには、クリーンなデータ処理が不可欠です。TestDriverでは、型付き値をシークレットとしてマークできるため、パスワードやトークンがログや記録に表示されないようにすることができます。変数を使用すると、変化するデータを挿入でき、カスタムキャッシュキーによって、その変化したデータがキャッシュに不要なエントリを蓄積するのを防ぐことができます。

スタータープロジェクトには、再利用可能なログインコードスニペットも同梱されており、多くのテストで共通の手順を共有するパターンを示しています。その結果、テスト数が10個から数百個に増えても、コードスイートは整理された状態を維持できます。

サポート対象プラットフォームおよびテスト対象

要点はシンプルだ。TestDriverは現在、WindowsとLinuxのデスクトップ環境を完全にカバーしており、Appleプラットフォームとネイティブモバイルは今後の開発ロードマップに含まれている。

TestDriver SDK コマンドリファレンス

統合とエコシステム

TestDriverの料金プラン

TestDriverの課金システムは実際にはどのように機能するのか？

シートとは、請求期間中にプルリクエストのTestDriverレビューを受けたり、テストを実行したりしたGitHubユーザーのことです。チームメイトをWebコンソールに招待するのは無料で、シート数には影響しません。テスト時間は、自動プルリクエストレビューを含め、サンドボックスが実行されている時間に応じて課金され、秒単位で計測されます。

120分は1回限りの無料トライアルであり、月額プランではありません。トライアル期間が終了すると、Pro版が自動的に起動し、クレジットカードに料金が請求されます。クレジットカードが承認されなかった場合、カード情報を更新するまで新しいテストは一時停止されます。料金は返金不可で、座席変更は日割り計算となります。各チームは1回のみ無料トライアルをご利用いただけます。

テストドライバーのコストシナリオ

所要時間を概算するには、プルリクエストの数を数えてください。自動レビュー1件につきサンドボックスが約5分間稼働すると仮定すると、1ヶ月に200件のプルリクエストで合計1,000分になります。月額料金が数千ドルを超えた場合は、エンタープライズ定額ライセンスモデルを検討する価値があります。

TestDriver入門

• ステップ1： 無料トライアルを開始しましょう。 テストドライバー 「GitHubに追加」をクリックしてください。チェックアウト時にクレジットカード情報を追加してください。14日間の無料トライアル期間中は料金は発生しません。

• ステップ2： GitHubアプリをインストールし、セットアッププルリクエストをマージします。対象とするリポジトリを選択してください。ボットは、パッケージ、Vitest設定、GitHub Actionsワークフロー、サンプルテストを含むセットアッププルリクエストを作成します。コンソールからTD_API_KEYをリポジトリシークレットとして追加し、マージしてください。

• ステップ3： 最初のテストを依頼してください。 プルリクエストを作成し、平易な英語でコメントしてください。例：「@testdriverai ログインして、最初の商品をカートに追加し、カートバッジに「1」と表示されていることを確認してください。要素IDではなく、ユーザーが行う操作と表示される内容を説明してください。
• ステップ4： 録画を確認し、テストを統合してください。 TestDriverは結果と再生リンクを返信し、テストファイルを追加するプルリクエストを作成します。これをマージすると、ユーザーが目にする可能性のある変更を含む今後のすべてのプルリクエストでテストが実行されます。
• ステップ5： 地元企業を選ぶことで、より多くのコントロールが可能になります。 開発者はnpx testdriverを実行できますai Node.js 20.19 以降を使用したプロジェクト内で init を実行します。これにより、エージェント、スキル、および MCP サーバーがセットアップされます。 AI コーディングツールすると、npm test を使用してスイートを実行し、サンドボックスのライブプレビューを見ることができます。

TestDriverを際立たせる魅力

20年間QAチームを率いてきた経験から、私がツールを評価する基準はただ一つ。それは、顧客が実際に使用するものをテストできるかどうかだ。Momentic、Octomind、QA WolfはWebアプリのテストには優れている。しかし、これらのツールはどれも、プルリクエストごとにWindowsマシンを起動してネイティブデスクトッププログラムをクリックするようなテストは行わない。TestDriverはそれができるのだ。

ポップアップやバックグラウンドページを備えたChrome拡張機能、実際のエディタ内で動作するVS Code拡張機能、Windowsデスクトップソフトウェア、ソースコードにアクセスできないサードパーティ製Webアプリなど、幅広い用途に対応しています。画面を人間のように読み取るため、キャンバスチャート、埋め込み動画、LLMチャットボットの応答なども処理できます。単一のブラウザタブにとどまらない製品開発を行うチームにとって、これは検討に値する理由です。

テストドライバーによる徹底検証：誇大広告と現実

マーケティングではセレクターもDOMもセットアップも不要と謳われている。最初の2つの主張は確かに正しい。しかし3つ目は説明が必要だ。リポジトリにはテストファイルが作成され、誰かが管理してレビューする必要がある。仮想マシンの起動に1～2分かかるため、決して手軽な単体テストとは言えないだろう。

展望 AI 曖昧なプロンプトを誤解することもあるため、「ボタン」は「ヘッダーの青いサインインボタン」よりもパフォーマンスが悪くなります。キャッシュは、スイートが温まると、ほとんどの速度と一貫性の問題を解決します。本当の隠れた変数はコストです。自動プルリクエストレビューを含め、サンドボックスの実行中は常に分単位で課金されるため、使用頻度の高いリポジトリは初日から使用状況を監視する必要があります。

TestDriverの実際の使用事例

TestDriverと従来のSeleniumおよびPlaywrightによるテストの比較

率直に言って、TestDriverはPlaywrightのすべてのテストを置き換えるものではありません。高速なユニットレベルのUIチェックは依然としてPlaywrightで行うべきです。TestDriverは、スプリントごとにセレクタベースのテストスイートでは対応しきれない、長く視覚的な、複数のアプリケーションにまたがるユーザー体験においてこそ真価を発揮します。

テストドライバーの成績向上に役立つプロのヒント

長所と短所

エンタープライズセキュリティとセルフホスティング展開

規制対象の購入者は、エンタープライズ ティアで本格的なオプションを利用できます。標準設定では、CloudFormation を介して独自の AWS アカウント内でテスト サンドボックスを実行し、TestDriver がダッシュボードと API をホストします。独自の OpenAI or 人間的鍵ので、 AI 支出とデータフローは、すべてあなたの管理下にあります。

銀行、医療機関、防衛機関、政府機関向けには、完全なエアギャップ構成のオプションが用意されており、AWS、Azure、GCP、またはオンプレミスのハードウェア上で、外部接続なしでスタック全体を実行します。さらに、テストマシンへのRDPアクセス、Packerスクリプトを使用してゴールデンベースイメージから構築されたカスタムVMイメージ、VPNの展開、並列テストスロットごとの定額ライセンスも利用できます。この最後の点は、財務チームにとって最も重要です。予測不可能な分単位の料金を、固定予算に置き換えることができるからです。

購入前に知っておくべき制限事項

完璧なツールなど存在しない。これらは、私がベンダーとのレビュー会議で必ず提起する点だ。

TestDriverを使うべき人と、使うべきでない人は誰ですか？

✅ GitHub で製品チームを運営していて、単なる Web アプリ以上のものをリリースしていて、デザインが画面を変更するたびにセレクタベースのスイートが壊れてしまう場合は、これを購入してください。

エージェントがテストの作成と保守を代行してくれるため、専任のQAエンジニアがいない小規模チームにも最適な選択肢です。Chrome拡張機能、VS Code拡張機能、Windowsソフトウェアを開発している企業にとって、これ以上のソリューションを見つけるのは難しいでしょう。

❌製品が主にネイティブモバイルアプリである場合、チームがGitLabやBitbucketを使用しておりPRボットのエクスペリエンスを求めている場合、またはシンプルなマーケティングサイトの簡単なチェックのみが必要な場合は、現時点ではスキップしてください。そのような場合は、より安価なWeb専用ツールまたは通常のPlaywrightで十分です。

よくあるご質問

TestDriverの最適な代替案

代替案の方が理にかなっている場合

• モメンティック クレジットベースの課金方式を好み、シート料金がなく、ローコードエディタを好むWeb専業チームに最適です。
• QAウルフ フルマネージド型のQAサービスを必要とし、そのための予算も確保できる企業に適しています。
• オクタマインド 次のようなチームに適しています AI 執筆時のサポートは提供されるが、ベンダーロックインのない標準的なPlaywrightコードが使用される。
• マブル ウェブ、モバイル、APIのテストを1つの契約で必要とする大規模企業に適しています。

TestDriverに関する最終評価

TestDriverは最も実用的なものの1つです AI テストツール 今年レビューしました。単にコードを読むだけではなく、 AI レビュー担当者。実際の製品を実際のマシンで実行し、変更が正しく機能することを証明します。GitHubエージェントはテスト作成の面倒な作業のほとんどを省き、キャッシュによって高速な実行を維持し、デバッグスイートによって障害を容易に理解できます。

落とし穴は明らかです。料金は分単位で課金され、Appleやモバイルプラットフォームへの対応はまだこれからで、テストはJavaScriptのみで行われます。デスクトップアプリ、ブラウザ拡張機能、あるいは複雑なWeb製品をGitHubでリリースしているチームにとって、これらのトレードオフは容易に受け入れられるでしょう。まずは1つのリポジトリで無料トライアルを開始し、プルリクエストあたりの処理時間を計測してから、展開範囲を広げていくのが良いでしょう。