TestDriver – Wichtigste Erkenntnisse
Was ist TestDriver?
Testfahrer ist ein AI Ein QA-Ingenieur, der jeden Pull Request testet, indem er Ihre echte Anwendung in einer Cloud-Desktop-Sandbox ausführt. Entwickelt von Haxor Inc., integriert er sich als App in GitHub. Sobald ein Entwickler einen Pull Request öffnet oder @testdriverai erwähnt, liest der Agent die Code-Diffs, klickt sich wie ein echter Benutzer durch die Benutzeroberfläche und dokumentiert seine Beobachtungen mit einer Videoaufzeichnung.
Anschließend erstellt es Regressionstests als einfache Vitest-Dateien und überträgt diese in einem neuen Pull Request. Anstelle fehleranfälliger CSS-Selektoren nutzt TestDriver Computer Vision, um Schaltflächen, Felder und Text zu erkennen. Dadurch gehört es zu den wenigen Testautomatisierungstools , die Webanwendungen, Chrome-Erweiterungen, VS Code-Erweiterungen und native Windows-Software mit einer einzigen Codebasis abdecken können. Für Entwicklungsleiter bedeutet dies weniger unentdeckte Fehler, weniger manuelle Qualitätssicherung und schnellere, sicherere Releases.
TestDriver-Kurzurteil
| Frage | Antworten |
|---|---|
| Am besten geeignet für | Produktteams auf GitHub, die Desktop-Software, Browsererweiterungen oder komplexe Web-Apps entwickeln. |
| Nicht ideal für | Mobile-First-Apps, Teams, die Tests ausschließlich in Python oder Java schreiben, und Teams außerhalb von GitHub, die den PR-Bot nutzen möchten. |
| Herausragende Stärke | Vision AI Tests auf echten Windows- und Linux-Rechnern, nicht nur auf einem Browser |
| Größte Vorsicht! | Nutzungskosten pro Minute bei stark frequentierten Repositories |
| Zeit bis zum ersten Test | Minuten mit der GitHub-App |
| Unsere Punktzahl | 8.3 aus 1 |
Wie TestDriver im Hintergrund funktioniert
TestDriver durchläuft bei jeder Codeänderung einen sechsstufigen Qualitätsprüfungsprozess. Das Verständnis dieses Prozesses hilft Ihnen, sowohl den Nutzen als auch die Kosten vorherzusagen.
- Konfiguration. Nach der Installation der GitHub-App öffnet der Bot ein Setup-Ticket und einen Pull Request. Dieser Pull Request fügt den Testtreiber hinzu.ai und vitest-Pakete, eine vitest.config.js-Datei mit dem TestDriver-Reporter und langen Timeouts, ein GitHub Actions-Workflow und eine Reihe von Beispieltests.
- Bestätigen. Wenn ein neuer Pull Request eingeht, liest der Vision-Agent die Änderungen (Diffs), um die Änderungen zu ermitteln. Anschließend startet er eine Sandbox, öffnet die Anwendung und testet das neue Verhalten durch Klicken, Tippen und Lesen des Bildschirms.
- Dazu beitragen. Sobald ein Test erfolgreich war, öffnet der Agent einen separaten Pull Request, der die Testdatei einbindet. Ihr Team überprüft diese dann wie jeden anderen Code.
- In CI ausführen. Die festgeschriebenen Tests werden bei jedem zukünftigen Pull Request ausgeführt, der Änderungen vornimmt, die für den Benutzer sichtbar sind. Sie lassen sich auch lokal mit npm test ausführen, da es sich um standardmäßige Vitest-Dateien handelt.
- Selbstheilung. Wenn ein zwischengespeichertes Element nach einer Neugestaltung nicht mehr übereinstimmt, AI findet es wieder, aktualisiert den Cache und fährt fort.
- Debuggen und verhindern. Fehlgeschlagene Testläufe verlinken direkt zu einer Videoaufzeichnung, Netzwerkprotokollen und Ressourcendiagrammen. Die Konsole protokolliert außerdem Erfolgsquoten und fehlerhafte Tests, sodass Regressionen sofort sichtbar werden.
TestDriver installiert sich als GitHub-App und überwacht die von Ihnen ausgewählten Repositories. Erstellen Sie einen Pull Request oder taggen Sie @testdriver.ai In einem Kommentar startet der Agent eine Sandbox, liest die Änderungen und testet sie in der laufenden Anwendung. Anschließend veröffentlicht er eine Rezension mit einer Aufzeichnung seiner Beobachtungen. Sobald ein Test erfolgreich ist, öffnet er einen zweiten Pull Request, in dem die neue Testdatei bereits eingecheckt ist.
Ihr Team prüft die Änderungen, führt sie zusammen und erzielt so eine umfassende Regressionsabdeckung – ganz ohne unnötigen Code. Sie können den Agenten auch über den GitHub Copilot- Chat, Pull-Request-Reviews oder die GitHub Mobile App aufrufen. Für Release-Manager verwandelt dies die Qualitätssicherung von einem Engpass am Ende eines Sprints in eine Qualitätsprüfung, die bei jedem Merge durchgeführt wird.
Die meisten UI-Automatisierungen scheitern, weil ein Entwickler eine Klasse umbenannt oder ein Div-Element verschoben hat. TestDriver umgeht diese Falle vollständig. Sie beschreiben Elemente in einfacher Sprache, z. B. „blauer Anmeldebutton in der Kopfzeile“, und das Bildverarbeitungsmodell findet sie auf dem Bildschirm.
Es sind keine XPath-Abfragen, keine Datenattribute und kein DOM-Zugriff erforderlich. Dies funktioniert mit Canvas-Elementen, Videoplayern, iFrames, OAuth-Popups und PDFs. Genau dort stoßen selektorbasierte Tools üblicherweise an ihre Grenzen. Außerdem können Sie damit Webanwendungen von Drittanbietern testen, deren Quellcode Sie nicht einsehen können.
Die Überprüfung der Ergebnisse ist genauso einfach wie das Auffinden von Elementen. Der Befehl `assert()` stellt eine Ja/Nein-Frage zum Bildschirminhalt, z. B. „Das Dashboard ist sichtbar“ oder „Es befindet sich ein Artikel im Warenkorb“. Der Befehl `extract()` liest Informationen vom Bildschirm und gibt sie als Text zurück. Dies ist praktisch, um beispielsweise eine Bestellnummer oder einen Preis zu extrahieren und später wiederzuverwenden.
Der Befehl `parse()` erkennt mithilfe von OmniParser jedes UI-Element auf dem Bildschirm. Da diese Prüfungen den gerenderten Bildschirm auslesen, funktionieren sie auch für LLM-Chatbot Antworten, Datei-Uploads und sogar Rechtschreib- und Grammatikprüfungen. Das ist ein echter Vorteil für Teams, die im Versand tätig sind. AI Funktionen, bei denen sich die Ausgaben bei jedem Durchlauf ändern.
AI Die Bildverarbeitung kostet bei jedem Aufruf Zeit und Geld, daher lernt TestDriver kontinuierlich dazu. Jedes gefundene Element wird mit einem visuellen Fingerabdruck gespeichert, einem Hashwert der Bildschirmumgebung um das Element herum. Beim nächsten Durchlauf vergleicht das SDK die Daten mit dem Cache, anstatt das Modell erneut aufzurufen. Laut Dokumentation sind Wiederholungsläufe bis zu 1.7-mal schneller; ein Beispiel zeigt eine Reduzierung der Suchzeit von 2.1 Sekunden auf 12 Millisekunden.
Der Cache-Schlüssel verknüpft den Hash der Testdatei, Ihren Eingabeaufforderungstext, den Bildschirmstatus und die Plattform, sodass beim Bearbeiten eines Tests veraltete Einträge automatisch gelöscht werden. Wenn sich die Benutzeroberfläche ändert und die zwischengespeicherte Übereinstimmung fehlschlägt, ruft TestDriver die entsprechende Funktion auf. AI Das Element wird erneut gefunden und der Cache aktualisiert. Zwischengespeicherte Elemente, Eingabeaufforderungen und Trefferraten können in der Konsole angezeigt werden.
TestDriver steuert nicht nur einen Browser ohne grafische Oberfläche. Jeder Durchlauf startet eine vollständige virtuelle Maschine unter Linux oder Windows. Das bedeutet, dass Software installiert, Desktop-Programme gestartet, Chrome-Erweiterungen geladen oder VS Code mit Ihrer Erweiterung geöffnet werden kann.
Der Befehl `exec()` führt Shell- oder PowerShell-Skripte in der Sandbox aus, sodass Sie Testdaten bereitstellen, ein .deb-Paket installieren oder einen Testbenutzer erstellen können, bevor die Benutzeroberfläche startet. Mit dem Befehl `focusApplication()` wird jedes Fenster in den Vordergrund gebracht, wodurch Abläufe zwischen zwei Anwendungen möglich werden. Es gibt sogar einen `captcha()`-Helfer, der eine Verbindung zum 2captcha-Dienst herstellt. Für Unternehmen, die mehr als nur eine Webanwendung anbieten, ersetzt eine einzige Umgebung eine Vielzahl separater Testwerkzeuge.
Ein fehlgeschlagener Build ist nur dann nützlich, wenn die Fehlerursache ersichtlich ist. TestDriver zeichnet jeden Durchlauf mit der Dashcam-Funktion auf. Nach einem fehlgeschlagenen Test gelangen Sie direkt zu einer Videowiedergabe mit allen Klicks, Tastatureingaben und Assertions in chronologischer Reihenfolge. Zusätzlich zum Video erhalten Sie vollständige Netzwerkprotokolle mit Headern, Nutzdaten und Zeitangaben.
Zusätzlich gibt es CPU- und Speicherdiagramme, um Speicherlecks und langsame Bildschirme zu erkennen, sowie ein Aktionsprotokoll, das genau anzeigt, wo ein Test vom erwarteten Ablauf abgewichen ist. Jeder Test erstellt außerdem eine JSON-Ergebnisdatei mit Metadaten, Versionen und Infrastrukturdetails für detailliertere Prüfungen.
Entwicklungsleiter benötigen Trendanalysen, nicht nur Einzelergebnisse. Die TestDriver-Konsole erfasst Erfolgsquoten, fehlerhafte Tests und Fehlermuster über jeden Testlauf hinweg. So lassen sich Tests, die nur in einem von zehn Fällen fehlschlagen, leicht erkennen – ein häufiges Anzeichen für eine Race Condition im Produkt. Die Ergebnisse werden als JUnit-XML exportiert und fließen direkt in die Reporting-Tools und Dashboards Ihres Teams ein. Für QA-Leiter, die nach oben berichten, werden Testläufe so zu wichtigen Daten für die Release-Bereitschaft.
TestDriver fügt sich nahtlos in agentenbasierte Codierungsabläufe ein. Ausführen von npx testdriverai init richtet drei Komponenten ein. Sie erhalten einen Testschreibagenten, über 100 Skill-Dateien im Anthropic SKILL.md-Format und einen MCP-Server, der Werkzeuge wie Suchen, Klicken, Tippen, Überprüfen und Screenshotten bereitstellt.
Es konfiguriert Claude Code, Claude Desktop, Cursor, VS Code mit Copilot, Windsurf, Codex und Zed automatisch. Lovable und Replit werden nur teilweise eingerichtet, und Version 0 erfordert eine manuelle Konfiguration. Ihre Entwickler können ihren Programmierassistenten bitten, einen Test zu schreiben, diesen dann in einer Live-Sandbox auszuführen, Screenshots zu erstellen und den Test so lange zu wiederholen, bis er erfolgreich ist.
Ausgereifte Testsuiten benötigen eine saubere Datenverarbeitung. Mit TestDriver können Sie typisierte Werte als geheim markieren, sodass Passwörter und Token in Protokollen und Aufzeichnungen maskiert bleiben. Variablen ermöglichen das Einfügen veränderlicher Daten, und benutzerdefinierte Cache-Schlüssel verhindern, dass diese veränderlichen Daten den Cache mit unnötigen Einträgen füllen.
Das Starterprojekt enthält sogar einen wiederverwendbaren Login-Codeausschnitt, der das Muster für die gemeinsame Nutzung von Schritten in vielen Tests veranschaulicht. Das Ergebnis ist eine Testsuite, die auch bei einer Erweiterung von zehn auf Hunderte von Tests übersichtlich bleibt.
Unterstützte Plattformen und Testziele
| Testziel | Pro Plan | ENTERPRISE |
|---|---|---|
| Web-Apps | ✅ | ✅ |
| Web-Apps von Drittanbietern | ✅ | ✅ |
| Chrome-Erweiterungen | ✅ | ✅ |
| VS Code-Erweiterungen | ✅ | ✅ |
| Windows-Desktop-Apps | ✅ | ✅ |
| macOS-Desktop-Apps | ❌ | In Vorbereitung |
| Android-Apps | ❌ | In Vorbereitung |
| iOS-Apps | ❌ | In Vorbereitung |
| Linux-Sandbox | ✅ | ✅ |
| Windows-Sandbox | ✅ | ✅ |
| macOS-Sandbox | ❌ | In Vorbereitung |
| Root-Zugriff auf Testmaschinen | ❌ | ✅ |
| Benutzerdefinierte VM-Images | ❌ | ✅ |
Die wichtigste Erkenntnis ist einfach: TestDriver deckt heute bereits die gesamte Windows- und Linux-Desktop-Umgebung ab, während Apple-Plattformen und native mobile Anwendungen noch in der Entwicklung sind.
TestDriver SDK-Befehlsreferenz
| Befehl | Was es macht |
|---|---|
| provision.chrome() | Startet Chrome in der Sandbox unter einer ausgewählten URL |
| finden() | Findet ein Element anhand einer einfachen englischen Beschreibung |
| Klick(), Doppelklick, Rechtsklick | Klickt auf ein Element oder eine Bildschirmposition |
| schweben() | Wenn Sie mit der Maus über ein Element fahren, werden Menüs oder Tooltips angezeigt. |
| Art() | Gibt Text in das fokussierte Feld ein, optional auch im Geheimmodus. |
| pressKeys() | Sendet Tasten und Tastenkombinationen wie Tab oder Enter. |
| scrollen() | Scrollt Seiten und Elemente in jede Richtung |
| behaupten() | Stellt eine Ja/Nein-Frage zum aktuellen Bildschirm |
| Extrakt() | Liest Informationen vom Bildschirm und gibt sie als Text zurück |
| parse () | Erkennt mithilfe von OmniParser jedes sichtbare UI-Element. |
| exec () | Führt Shell- oder PowerShell-Befehle innerhalb des Sandkastens |
| focusApplication() | Bringt ein Anwendungsfenster in den Vordergrund |
| Bildschirmfoto() | Erstellt und speichert während eines Laufs einen Screenshot. |
| captcha() | Löst Captchas mithilfe des 2captcha-Dienstes |
| Maus gedrückt, Maus losgelassen | Durch Drücken und Loslassen der Maustaste werden Ziehaktionen ausgeführt. |
Integrationen und Ökosystem
| Kategorie | Unterstützte Tools |
|---|---|
| Pull Request Agent | GitHub-Webanwendung, GitHub Copilot-Chat, PR-Reviews, GitHub Mobile |
| AI Codierungsclients mit automatischer Einrichtung | Claude Code, Claude Desktop, Cursor, VS Code Copilot, Windsurf, Codex, Zed |
| AI App Builder | Lovable und Replit (teilweise Einrichtung), v0 (manuelle Einrichtung) |
| CI-Pipelines | Der standardmäßig generierte GitHub Actions-Workflow sowie alle CI-Systeme, die Node.js ausführen. |
| Reporting | JUnit-XML, JSON-Ergebnisse pro Test, TestDriver-Konsole |
| Testläufer | Vitest |
| Unternehmensinfrastruktur | AWS über CloudFormation, plus Azure, GCP und On-Premises für Air-Gap-Setups. |
| Unternehmen AI Anbieter | OpenAI, Anthropic und andere Anbieter, die Ihre eigenen Schlüssel verwenden |
| Unterstützung Kanäle | Community-Support für Pro, Slack Connect für Enterprise- und Expert-Services |
TestDriver-Preispläne
| Plan Name | Kosten | Wichtige Einschlüsse |
|---|---|---|
| Kostenlose Testversion | 0 € für 14 Tage oder 120 Testminuten, je nachdem, was zuerst eintritt. | Voller Pro-Zugang. Karte wird beim Kauf benötigt, aber während der Testphase nicht belastet. |
| Pro | 20 US-Dollar pro Sitzplatz und Monat zuzüglich 0.14 US-Dollar pro Testminute | Cloud-Hosting, unbegrenzte Konsolenbenutzer, unbegrenzt AI Generierung und Testläufe, Linux- und Windows-Sandboxes, Webanwendungen, Chrome- und VS Code-Erweiterungen, Windows-Desktopanwendungen, Aufzeichnungen, Analysen, CPU-, RAM- und Netzwerkprofile, Community-Support |
| Experten-Services (TestDriver für Unternehmen) | Ab $ 600 pro Monat | Ein gemeinsamer Slack-Kanal mit TestDriver-zertifizierten Experten, privater Support und geführte Einrichtung, optional mit Testerstellung, Testwartung, Fehleranalyse und Fehlerberichterstattung |
| Unternehmen | Individuelles Angebot (Pauschallizenz pro parallelem Test-Slot) | Selbstgehostete oder vom Internet getrennte Bereitstellung, unbegrenzte Testminuten, Root-Zugriff, benutzerdefinierte VM-Images, VPN-Bereitstellung, Bring Your Own AI Schlüssel, vollständig verwaltete Testdienstleistungen, privater Slack Connect-Support |
Wie die Abrechnung bei TestDriver wirklich funktioniert
Ein Testplatz entspricht jedem GitHub-Nutzer, der im Abrechnungszeitraum eine TestDriver-Überprüfung eines Pull Requests erhält oder einen Test durchführt. Das Einladen von Teammitgliedern zur Webkonsole ist kostenlos und erhöht die Anzahl der Testplätze nicht. Die Testminuten werden sekundengenau abgerechnet, solange die Sandbox läuft, einschließlich automatischer Pull-Request-Überprüfungen.
Die 120 Minuten sind ein einmaliges Testkontingent und kein Monatsabo. Nach Ablauf des Testzeitraums startet Pro automatisch und Ihre Karte wird belastet. Bei Ablehnung Ihrer Karte werden neue Tests pausiert, bis Sie die Daten aktualisieren. Gebühren sind nicht erstattungsfähig, und Änderungen der Sitzplätze werden anteilig berechnet. Jedes Team erhält nur einen kostenlosen Testzeitraum.
TestDriver-Kostenszenarien
| Teamprofil | Plätze | Testminuten pro Monat | Geschätzte monatliche Kosten |
|---|---|---|---|
| Solo-Gründer | 1 | 300 | $62 |
| Startup-Team | 5 | 1,000 | $240 |
| Vergrößern | 20 | 5,000 | $1,100 |
| Organisation für Produkte mit hohem Volumen | 50 | 20,000 | $3,800 |
Um die benötigte Zeit in Minuten abzuschätzen, zählen Sie Ihre Pull Requests. Wenn jede automatische Überprüfung die Sandbox etwa fünf Minuten lang beschäftigt, ergeben 200 Pull Requests pro Monat insgesamt 1,000 Minuten. Sobald Ihre monatliche Rechnung einige Tausend Dollar übersteigt, lohnt sich ein Gespräch über das Enterprise-Lizenzmodell mit Pauschalpreis.
Erste Schritte mit TestDriver
- Schritt 1: Starten Sie Ihre kostenlose Testphase. Gehen Sie zu Testfahrer Klicken Sie auf „Zu GitHub hinzufügen“. Fügen Sie beim Bezahlvorgang eine Karte hinzu. Während der 14-tägigen Testphase fallen keine Kosten an.
- Schritt 2: Installieren Sie die GitHub-App und führen Sie den Setup-Pull-Request zusammen. Wählen Sie die gewünschten Repositories aus. Der Bot erstellt daraufhin einen Setup-Pull-Request mit den Paketen, der Vitest-Konfiguration, dem GitHub-Actions-Workflow und Beispieltests. Fügen Sie TD_API_KEY aus der Konsole als Repository-Geheimnis hinzu und führen Sie den Pull-Request zusammen.
- Schritt 3: Fordern Sie Ihren ersten Test an. Erstelle einen Pull Request und kommentiere ihn in einfachem Englisch. Zum Beispiel: „@testdriverai Melden Sie sich an, legen Sie das erste Produkt in den Warenkorb und vergewissern Sie sich, dass die Warenkorbanzeige 1 anzeigt.“ Beschreiben Sie, was ein Benutzer tut und sieht, nicht Element-IDs.
- Schritt 4: Sehen Sie sich die Aufzeichnung an und führen Sie den Test zusammen. TestDriver antwortet mit einem Ergebnis und einem Wiedergabelink und erstellt anschließend einen Pull Request, der die Testdatei hinzufügt. Nach dem Mergen wird der Test bei jedem zukünftigen Pull Request ausgeführt, der Änderungen vornimmt, die für den Benutzer sichtbar sind.
- Schritt 5: Setzen Sie auf lokale Lösungen für mehr Kontrolle. Entwickler können npx testdriver ausführen.ai Führen Sie `init` innerhalb eines Projekts mit Node.js 20.19 oder höher aus. Dadurch werden Agent, Skills und MCP-Server für Ihr Projekt eingerichtet. AI ProgrammierwerkzeugeAnschließend können Sie die Testsuite mit npm test ausführen und eine Live-Vorschau der Sandbox ansehen.
Der besondere Reiz, der TestDriver auszeichnet
Nach zwei Jahrzehnten in der Leitung von QA-Teams bewerte ich Tools anhand einer einzigen Frage: Können sie testen, was meine Kunden tatsächlich nutzen? Momentic, Octomind und QA Wolf sind stark bei Webanwendungen. Keines dieser Tools startet jedoch bei jedem Pull Request einen kompletten Windows-Rechner und führt ein natives Desktop-Programm aus. TestDriver hingegen schon.
Es unterstützt Chrome-Erweiterungen mit Popups und Hintergrundseiten, VS Code-Erweiterungen innerhalb eines echten Editors, Windows-Desktop-Software und Webanwendungen von Drittanbietern, für die kein Quellcodezugriff besteht. Da es die Bildschirmanzeige wie ein Mensch interpretiert, verarbeitet es auch Canvas-Diagramme, eingebettete Videos und LLM-Chatbot-Antworten. Für jedes Produktteam, das mehr als nur einen Browsertab als Anwendung bereitstellt, ist dies ein Grund, es in die engere Auswahl zu nehmen.
Hype vs. Realität in unserem TestDriver Shakedown
Die Werbung verspricht keine Selektoren, kein DOM und keine Einrichtung. Die ersten beiden Aussagen treffen zu. Die dritte bedarf einer Erläuterung. Man erhält trotzdem eine Testdatei im Repository, die von jemandem verwaltet und geprüft werden muss. Der erste Durchlauf dauert ein bis zwei Minuten, während die virtuelle Maschine hochfährt; es wird sich also nie wie ein kurzer Unit-Test anfühlen.
Vision AI Auch unklare Eingabeaufforderungen können falsch interpretiert werden, weshalb die Eingabe eines Buttons schlechter abschneidet als die eines blauen Anmeldebuttons in der Kopfzeile. Der Cache behebt die meisten Probleme mit Geschwindigkeit und Konsistenz, sobald die Testumgebung warmgelaufen ist. Der eigentliche, oft übersehene Faktor sind die Kosten. Die Abrechnung erfolgt minutengenau während der gesamten Laufzeit einer Sandbox, einschließlich automatischer PR-Reviews. Daher ist bei stark frequentierten Repositories von Anfang an eine genaue Nutzungsüberwachung erforderlich.
Anwendungsfälle aus der Praxis für TestDriver
TestDriver vs. traditionelles Selenium und Playwright-Testing
| Faktor | Testfahrer | Dramatiker oder Selen |
|---|---|---|
| Element-Targeting | Beschreibungen in einfacher Sprache, vorgelesen von einer Bildverarbeitungs-KI | CSS-Selektoren, XPath oder Test-IDs |
| Wartung nach Änderungen der Benutzeroberfläche | Die Selbstheilung erfolgt durch das Wiederfinden des Elements. | Die Tests schlagen häufig fehl und erfordern manuelle Korrekturen. |
| Native Desktop-Apps | ✅ Windows heute | ❌ Separate Werkzeuge erforderlich |
| Chrome- und VS Code-Erweiterungen | ✅ Eingebaut | Mit zusätzlichem Aufwand möglich |
| Leinwand, Video und PDFs | ✅ Liest den gerenderten Bildschirm | Schwer oder unmöglich |
| Testerstellung | AI Der Agent schreibt und committet Tests | Ingenieure dokumentieren jeden Schritt. |
| Ausführungsgeschwindigkeit | Langsamer, da bei jedem Durchlauf eine vollständige VM gestartet wird. | Sehr schnell im Headless-Modus |
| Kosten | Sitzplatzgebühr zuzüglich Nutzungsgebühr pro Minute | Kostenloser Open-Source-Code, Infrastrukturkosten fallen an. |
| Sprachunterstützung | JavaScript mit Vitest | Viele Sprachen |
| Fehlerbeseitigung | Videowiedergabe, Netzwerk-, CPU- und Speicherprotokolle | Protokolle und Screenshots mit Setup |
Ehrlich gesagt ersetzt TestDriver nicht jeden Playwright-Test. Schnelle Unit-Tests der Benutzeroberfläche gehören weiterhin in Playwright. TestDriver spielt seine Stärken vor allem bei langen, visuellen, appübergreifenden Benutzerabläufen aus, die mit Selektor-basierten Testsuiten in jedem Sprint an ihre Grenzen stoßen.
Profi-Tipps für bessere TestDriver-Ergebnisse
Vor-und Nachteile
- Testet jeden Pull Request automatisch.
- Umfasst Desktop-Anwendungen und Erweiterungen.
- Keine Selektoren zu verwalten.
- Die Tests bleiben einfacher Vitest-Code.
- Hervorragendes Debugging der Videowiedergabe.
- Funktioniert mit Top AI Codierungswerkzeuge.
- Selbstgehostete Option für Unternehmen.
- Niedriger Eintrittspreis pro Sitzplatz.
- Die Kosten pro Minute können steigen.
- macOS- und Mobilversionen stehen noch aus.
- Erstellung von JavaScript-Tests.
- Der Pro-Plan genießt Unterstützung aus der Community.
Unternehmenssicherheit und selbstgehostete Bereitstellung
Regulierte Käufer erhalten im Enterprise-Tarif umfangreiche Optionen. Die Standardkonfiguration führt Testumgebungen in Ihrem eigenen AWS-Konto über CloudFormation aus, während TestDriver das Dashboard und die API hostet. Sie bringen Ihre eigene Open-Cloud-Umgebung mit.AI or Anthropische Tasten, damit AI Ausgaben und Datenfluss bleiben unter Ihrer Kontrolle.
Für Banken, das Gesundheitswesen, die Verteidigungsindustrie und Behörden bietet sich eine vollständig isolierte Lösung an, bei der die gesamte Infrastruktur auf AWS, Azure, GCP oder lokaler Hardware ohne externe Verbindung betrieben wird. Zusätzlich erhalten Sie RDP-Zugriff auf Testmaschinen, benutzerdefinierte VM-Images, die mithilfe von Packer-Skripten aus einem Basis-Image erstellt werden, VPN-Bereitstellung und eine pauschale Lizenz pro parallelem Testlauf. Letzteres ist besonders für Finanzabteilungen relevant: Es ersetzt unvorhersehbare Minutenkosten durch eine feste Budgetposition.
Einschränkungen, die Sie vor dem Kauf kennen sollten
Kein Werkzeug ist perfekt, und das sind die Punkte, die ich in jedem Lieferantenbewertungsgespräch ansprechen würde.
Wer sollte TestDriver verwenden und wer sollte darauf verzichten?
✅ Kaufen Sie es, wenn Sie ein Produktteam auf GitHub betreiben, mehr als nur eine einfache Web-App veröffentlichen und Ihre auf Selektoren basierende Suite jedes Mal nicht mehr funktioniert, wenn sich das Design auf einem Bildschirm ändert.
Es eignet sich auch hervorragend für kleine Teams ohne dedizierten QA-Ingenieur, da der Agent die Tests für Sie schreibt und pflegt. Unternehmen, die Chrome-Erweiterungen, VS Code-Erweiterungen oder Windows-Software entwickeln, werden kaum eine bessere Lösung finden.
❌ Überspringen Sie diesen Schritt vorerst, wenn Ihr Produkt hauptsächlich eine native mobile App ist, Ihr Team mit GitLab oder Bitbucket arbeitet und die Vorteile eines PR-Bots nutzen möchte oder Sie lediglich schnelle Überprüfungen einer einfachen Marketing-Website benötigen. In diesen Fällen genügt ein günstigeres, reines Webtool oder die Standardversion von Playwright.
Häufig gestellte Fragen
Wie findet TestDriver Elemente ohne CSS-Selektoren?
TestDriver erstellt einen Screenshot der Sandbox und verwendet eine Vision AI Das Modell dient dazu, das von Ihnen in Klartext beschriebene Element zu lokalisieren. Sobald es gefunden wurde, speichert es einen Wahrnehmungshash dieses Bildschirmbereichs in seinem Cache. Zukünftige Durchläufe gleichen das Element zuerst mit dem Cache ab, wobei exakte, pixelgenaue oder Template-basierte Strategien verwendet werden, und rufen die Funktion erst dann auf, wenn sie gefunden wurde. AI Das passiert erneut, wenn die Bildschirmanzeige nicht mehr übereinstimmt. Genau das macht Tests schnell und unempfindlich gegenüber Layoutänderungen.
Ist TestDriver kostenlos nutzbar?
TestDriver bietet eine 14-tägige kostenlose Testphase für den Pro-Tarif mit maximal 120 Testminuten. Sie hinterlegen beim Bezahlvorgang eine Karte, während der Testphase fallen jedoch keine Kosten an. Danach kostet Pro 20 $ pro Nutzer und Monat plus 0.14 $ pro Testminute. Auf der regulären Preisseite gibt es keinen dauerhaft kostenlosen Tarif. Nutzen Sie die Testphase daher als Gelegenheit, den Service zu testen.
Was kostet TestDriver für ein kleines Entwicklerteam?
Ein Nutzer, der eine Pull-Request-Überprüfung auslöst oder einen Test durchführt, gilt als Nutzerplatz. Die Abrechnung erfolgt sekundengenau. Fünf Entwickler, die monatlich 1,000 Minuten nutzen, zahlen etwa 240 US-Dollar. Große Teams mit hohem Nutzungsaufkommen sollten sich nach dem Enterprise-Tarif erkundigen. Dieser bietet eine pauschale Lizenz pro parallelem Test-Slot mit unbegrenzter Minutenzahl.
Kann TestDriver native Windows-Desktopanwendungen testen?
Ja. Windows-Desktop-Apps sind im Pro-Plan enthalten, da jeder Test auf einer vollständigen virtuellen Maschine und nicht nur im Browser ausgeführt wird. Sie können Ihre App mit `exec()` und PowerShell installieren, starten und anschließend per Klick, Texteingabe und natürlicher Sprache Bestätigungen abgeben. macOS-Desktop-Apps sowie Android- und iOS-Apps sind im Enterprise-Plan demnächst verfügbar.
Wie lange dauert ein TestDriver-Test?
Der erste Durchlauf dauert ein bis zwei Minuten, während die Sandbox hochfährt und die AI Der Bildschirm wird analysiert. Die Homepage-Demo zeigt einen vollständigen Registrierungstest, der in etwa 42 Sekunden abgeschlossen ist. Spätere Durchläufe sind schneller, da der selbstlernende Cache Wiederholungen überspringt. AI Anrufe, wobei die Dokumentation eine bis zu 1.7-mal schnellere Ausführung angibt.
Funktioniert TestDriver mit Claude Code, Cursor und GitHub Copilot?
Ja. Der npx-Testtreiber.ai Der Befehl `init` installiert einen TestDriver-Agenten, über 100 Skill-Dateien und einen lokalen MCP-Server. Er konfiguriert automatisch Claude Code, Claude Desktop, Cursor, VS Code mit Copilot, Windsurf, Codex und Zed. AI Der Assistent kann dann eine Sandbox starten, auf dem Live-Bildschirm agieren und den Testcode Schritt für Schritt schreiben, bis er erfolgreich ist.
Was geschieht mit Testdaten und Passwörtern während eines TestDriver-Laufs?
Mit der Option „Geheim“ eingegebene Werte werden in Protokollen und Videoaufzeichnungen maskiert. Im gehosteten Pro-Tarif werden Screenshots von TestDriver verarbeitet.'s AI Teams mit strengen Compliance-Anforderungen können auf Enterprise umsteigen, das Sandboxes und Daten in einem eigenen AWS-Konto oder einer vollständig isolierten Umgebung speichert und ihnen die Nutzung eigener Dienste ermöglicht. AI Anbieterschlüssel.
Kann TestDriver auch in anderen CI-Tools als GitHub ausgeführt werden?
Der Pull-Request-Agent ist für GitHub entwickelt, die Tests selbst sind jedoch einfache Vitest-Dateien. Das bedeutet, sie laufen in jeder CI-Pipeline, die Node.js ausführen kann, sofern die Variable `TD_API_KEY` gesetzt ist. Der Befehl `init` generiert standardmäßig einen GitHub-Actions-Workflow, und die Ergebnisse können als JUnit-XML für andere Reporting-Tools exportiert werden.
Die besten Alternativen zu TestDriver
| Werkzeugname | Einstiegspreis | Tests nativer Desktop-Apps |
|---|---|---|
| Momentisch | Kostenloses Abo mit 2,000 Credits, danach 125 $ pro Monat (Pay-as-you-go). | ❌ Nur Web |
| QA Wolf | Individuelles Angebot für einen Managed Service | ❌ Fokus auf Web und Mobilgeräte |
| Octomind | Günstige monatliche Pauschalpreise | ❌ Nur online über Playwright |
| MABL | Individuelles Angebot für Unternehmen | ❌ Nur Web, Mobilgeräte und API |
Wann eine Alternative sinnvoller ist
- Momentisch Geeignet für reine Web-Teams, die eine kreditbasierte Abrechnung ohne Lizenzgebühren und einen Low-Code-Editor bevorzugen.
- QA Wolf Geeignet für Unternehmen, die einen vollständig gemanagten QA-Service wünschen und über das entsprechende Budget verfügen.
- Octomind passt zu Teams, die wollen AI Hilfe während der Erstellungsphase, aber Standard-Playwright-Code ohne Anbieterbindung.
- MABL eignet sich für größere Unternehmen, die Web-, Mobil- und API-Tests im Rahmen eines einzigen Vertrags benötigen.
Endgültiges Urteil über TestDriver
TestDriver ist einer der praktischsten AI Testwerkzeuge Ich habe es dieses Jahr überprüft. Es liest nicht einfach nur Code wie ein AI Der Tester führt Ihr Produkt auf einem echten Rechner aus und beweist, dass die Änderung funktioniert. Der GitHub-Agent nimmt Ihnen den Großteil der mühsamen Testarbeit ab, der Cache sorgt für schnelle Ausführung und die Debugging-Suite macht Fehler leicht verständlich.
Die Haken sind klar: Die Abrechnung erfolgt minutengenau, Apple- und mobile Plattformen sind noch nicht verfügbar, und Tests laufen ausschließlich in JavaScript. Für Teams, die Desktop-Anwendungen, Browsererweiterungen oder komplexe Webprodukte auf GitHub veröffentlichen, sind diese Kompromisse leicht zu akzeptieren. Beginnen Sie mit der kostenlosen Testversion in einem Repository und messen Sie die Minuten pro Pull Request, bevor Sie die Funktion breiter ausrollen.
