TestDriver 주요 인사이트
TestDriver란 무엇인가요?
테스트드라이버 는 Teledyne LeCroy 오실로스코프 및 LSA-XNUMX 시리즈 임베디드 신호 분석기가 AI QA 엔지니어가 클라우드 데스크톱 샌드박스에서 실제 애플리케이션을 실행하여 모든 풀 리퀘스트를 테스트합니다. Haxor Inc.에서 개발한 이 도구는 GitHub에 앱으로 통합됩니다. 개발자가 풀 리퀘스트를 열거나 @testdriverai를 멘션하면 에이전트가 코드 변경 사항을 읽고 실제 사용자처럼 실행 중인 인터페이스를 탐색하며 확인한 내용을 비디오 재생으로 보고합니다.
TestDriver는 회귀 테스트를 일반 Vitest 파일로 작성하고 새 풀 리퀘스트에 커밋합니다. 취약한 CSS 선택자 대신 컴퓨터 비전을 사용하여 버튼, 필드 및 텍스트를 찾습니다. 덕분에 웹 앱, Chrome 확장 프로그램, VS Code 확장 프로그램 및 네이티브 Windows 소프트웨어를 하나의 코드베이스에서 테스트할 수 있는 몇 안 되는 테스트 자동화 도구 중 하나입니다. 엔지니어링 책임자에게 있어 이러한 도구의 이점은 결함 발생률 감소, 수동 QA 작업량 감소, 더 빠르고 안전한 릴리스입니다.
TestDriver의 빠른 평가
| 문제 | 대답 |
|---|---|
| 지원 기기 | 데스크톱 소프트웨어, 브라우저 확장 프로그램 또는 복잡한 웹 앱을 출시하는 GitHub의 제품 팀 |
| 이상적이지 않음 | 모바일 우선 앱 개발팀, 파이썬이나 자바로만 테스트를 작성하는 팀, 그리고 GitHub를 사용하지 않고 PR 봇을 원하는 팀 |
| 뛰어난 강점 | 비전 AI 브라우저뿐만 아니라 실제 Windows 및 Linux 시스템에서 테스트합니다. |
| 가장 큰 주의 사항 | 사용량이 많은 저장소의 분당 사용 비용 |
| 첫 번째 테스트 시간 | GitHub 앱 사용 몇 분 |
| 우리의 점수 | 8.3의 1 아웃 |
TestDriver의 작동 원리
TestDriver는 모든 코드 변경 사항에 대해 6단계 품질 검증 과정을 거칩니다. 이 과정을 이해하면 가치와 비용을 모두 예측하는 데 도움이 됩니다.
- 설정. GitHub 앱을 설치하면 봇이 설정 이슈와 풀 리퀘스트를 생성합니다. 해당 풀 리퀘스트를 통해 테스트 드라이버가 추가됩니다.ai vitest 패키지, TestDriver 리포터 및 긴 타임아웃 설정이 포함된 vitest.config.js 파일, GitHub Actions 워크플로 및 샘플 테스트 세트가 포함되어 있습니다.
- 검증합니다. 새로운 풀 리퀘스트가 접수되면 비전 에이전트는 변경 사항을 읽어 어떤 부분이 바뀌었는지 파악합니다. 그런 다음 샌드박스를 실행하고 앱을 열어 화면을 클릭하고 입력하고 읽는 등의 작업을 통해 새로운 동작을 테스트합니다.
- 기여하다. 테스트가 통과되면 에이전트는 테스트 파일을 커밋하는 별도의 풀 리퀘스트를 생성합니다. 팀은 다른 코드와 마찬가지로 해당 풀 리퀘스트를 검토합니다.
- CI 환경에서 실행하세요. 커밋된 테스트는 사용자가 보게 될 내용을 변경하는 모든 향후 풀 리퀘스트에 대해 실행됩니다. 또한 표준 Vitest 파일이므로 npm test를 사용하여 로컬에서도 실행됩니다.
- 스스로 치유합니다. 캐시된 요소가 재설계 후 더 이상 일치하지 않으면, AI 그것을 다시 찾으면 캐시를 업데이트하고 계속 진행합니다.
- 디버깅하고 예방하세요. 테스트 실패 시 비디오 재생, 네트워크 로그 및 리소스 그래프로 바로 연결됩니다. 콘솔은 통과율과 불안정한 테스트를 추적하여 회귀 오류가 발생하는 즉시 표시합니다.
TestDriver는 GitHub 앱으로 설치되며 사용자가 선택한 저장소를 모니터링합니다. 풀 리퀘스트를 열거나 @testdriver를 태그하세요.ai 댓글에 내용이 입력되면 에이전트가 샌드박스를 시작하고, 변경 사항을 읽은 후 실행 중인 앱에서 변경 사항을 테스트합니다. 그런 다음 관찰 내용을 기록한 리뷰를 게시합니다. 테스트가 통과되면 새 테스트 파일이 이미 커밋된 두 번째 풀 리퀘스트를 생성합니다.
팀원들은 변경 사항을 검토하고 병합하여 불필요한 코드 작성 없이 회귀 테스트 범위를 확보할 수 있습니다. GitHub Copilot 채팅, 풀 리퀘스트 검토 또는 GitHub 모바일 앱에서도 에이전트를 호출할 수 있습니다. 릴리스 관리자에게 있어 이러한 기능은 QA를 스프린트 종료 시점의 병목 현상에서 모든 병합 시 실행되는 품질 관리 단계로 전환시켜 줍니다.
대부분의 UI 자동화 오류는 개발자가 클래스 이름을 바꾸거나 div 요소를 이동시키는 등의 사소한 실수로 발생합니다. TestDriver는 이러한 문제를 완전히 방지합니다. "헤더에 있는 파란색 로그인 버튼"과 같이 명확한 언어로 요소를 설명하면 비전 모델이 화면에서 해당 요소를 찾아냅니다.
XPath 쿼리, 데이터 속성, DOM 접근이 필요하지 않습니다. 캔버스 요소, 비디오 플레이어, iFrame, OAuth 팝업, PDF 등 기존 선택자 기반 도구가 제대로 작동하지 않는 영역에서도 문제없이 작동합니다. 또한 소스 코드에 전혀 접근할 수 없는 타사 웹 애플리케이션도 테스트할 수 있습니다.
결과를 확인하는 것은 요소를 찾는 것만큼 간단합니다. assert() 명령은 화면에 대해 "대시보드가 보이는가?" 또는 "장바구니에 상품이 있는가?"와 같이 예/아니오로 응답하는 질문을 합니다. extract() 명령은 화면에서 정보를 읽어 텍스트로 반환하는데, 이는 주문 번호나 가격 등을 추출하여 나중에 재사용하기에 편리합니다.
`parse()` 명령은 OmniParser를 사용하여 화면의 모든 UI 요소를 감지합니다. 이러한 검사는 렌더링된 화면을 읽기 때문에 다음과 같은 경우에도 작동합니다. LLM 챗봇 답글 작성, 파일 업로드, 심지어 맞춤법 및 문법 검사까지 가능합니다. 이는 제품 출시를 앞둔 팀에게 실질적인 이점입니다. AI 실행할 때마다 출력값이 바뀌는 특징들.
AI 화면 인식은 호출할 때마다 시간과 비용이 소모되므로 TestDriver는 실행하면서 학습합니다. TestDriver가 발견한 각 요소는 해당 요소 주변 화면의 지각 해시인 비전 지문과 함께 저장됩니다. 다음 실행 시 SDK는 모델을 다시 호출하는 대신 캐시된 데이터를 사용하여 일치 여부를 확인합니다. 문서에 따르면 재실행 속도가 최대 1.7배 빨라지며, 한 예시에서는 조회 시간이 2.1초에서 12밀리초로 단축되었습니다.
캐시 키는 테스트 파일 해시, 프롬프트 텍스트, 화면 상태 및 플랫폼을 조합하여 생성되므로 테스트를 편집하면 오래된 항목이 자동으로 삭제됩니다. UI가 변경되어 캐시된 일치 항목이 실패하면 TestDriver는 해당 캐시를 호출합니다. AI 다시 말해, 해당 요소를 찾아서 캐시를 업데이트합니다. 콘솔에서 캐시된 요소, 프롬프트 및 적중률을 확인할 수 있습니다.
TestDriver는 단순히 헤드리스 브라우저만 실행하는 것이 아닙니다. 실행할 때마다 Linux 또는 Windows 기반의 완전한 가상 머신이 부팅됩니다. 즉, 소프트웨어를 설치하고, 데스크톱 프로그램을 실행하고, Chrome 확장 프로그램을 로드하거나, 확장 프로그램이 포함된 VS Code를 열 수 있습니다.
`exec()` 명령은 샌드박스에서 셸 또는 PowerShell 스크립트를 실행하므로 UI 단계가 시작되기 전에 데이터를 시드하거나, `.deb` 패키지를 설치하거나, 테스트 사용자를 생성할 수 있습니다. `focusApplication()` 명령은 모든 창을 맨 앞으로 가져오므로 두 앱 간의 흐름을 구현할 수 있습니다. 2captcha 서비스에 연결하는 `captcha()` 헬퍼 함수도 있습니다. 웹 앱 외에도 여러 앱을 배포하는 기업의 경우, 이 단일 환경을 통해 여러 개의 개별 테스트 도구를 사용하는 대신 효율적으로 작업할 수 있습니다.
빨간색으로 표시된 빌드는 실패 원인을 파악할 수 있을 때만 유용합니다. TestDriver는 대시캠 기능을 통해 모든 실행 과정을 기록합니다. 검사가 실패하면 모든 클릭, 키 입력 및 어설션 과정을 순서대로 보여주는 비디오 재생 화면으로 바로 이동할 수 있습니다. 비디오와 함께 헤더, 페이로드 및 타이밍 정보를 포함한 전체 네트워크 로그도 제공됩니다.
CPU 및 메모리 그래프를 통해 메모리 누수 및 느린 화면을 파악할 수 있으며, 테스트가 예상 경로에서 벗어난 지점을 정확하게 보여주는 액션 로그도 제공됩니다. 각 테스트는 메타데이터, 버전 및 인프라 세부 정보가 포함된 JSON 결과 파일을 생성하여 심층적인 감사를 지원합니다.
엔지니어링 관리자는 단일 결과뿐 아니라 추세를 파악해야 합니다. TestDriver 콘솔은 모든 실행에서 통과율, 불안정한 테스트 및 실패 패턴을 추적합니다. 이를 통해 10번 중 한 번 실패하는 테스트를 쉽게 찾아낼 수 있으며, 이는 제품에서 실제 경쟁 조건이 발생하고 있음을 나타내는 중요한 단서입니다. 결과는 JUnit XML 형식으로 내보내지므로 팀에서 이미 사용 중인 보고 도구 및 대시보드에 바로 통합할 수 있습니다. QA 리더가 상위 관리자에게 보고할 경우, 이 기능을 통해 테스트 실행 결과를 릴리스 준비 데이터로 활용할 수 있습니다.
TestDriver는 에이전트 기반 코딩 워크플로에 완벽하게 통합됩니다. npx testdriver를 실행하세요.ai init 명령은 세 가지 구성 요소를 설정합니다. 테스트 작성 에이전트, Anthropic SKILL.md 형식의 100개 이상의 스킬 파일, 그리고 찾기, 클릭, 입력, 검증, 스크린샷 등의 도구를 제공하는 MCP 서버가 포함됩니다.
이 프로그램은 Claude Code, Claude Desktop, Cursor, VS Code with Copilot, Windsurf, Codex 및 Zed를 자동으로 구성합니다. Lovable과 Replit은 부분적으로 설정되며, v0은 수동 구성이 필요합니다. 개발자는 코딩 도우미에게 테스트 작성을 요청한 다음, 실제 샌드박스에서 실행되는 과정을 지켜보고, 스크린샷을 찍고, 테스트가 통과할 때까지 반복 실행할 수 있습니다.
완성도 높은 테스트 스위트에는 깔끔한 데이터 처리가 필수적입니다. TestDriver는 입력된 값을 비밀로 표시하여 로그 및 녹음에서 암호와 토큰이 가려지도록 합니다. 변수를 사용하면 변경되는 데이터를 주입할 수 있으며, 사용자 지정 캐시 키를 사용하면 변경되는 데이터로 인해 캐시에 불필요한 항목이 쌓이는 것을 방지할 수 있습니다.
스타터 프로젝트에는 재사용 가능한 로그인 코드 조각이 포함되어 있어 여러 테스트에서 공통 단계를 공유하는 패턴을 보여줍니다. 그 결과, 테스트 수가 10개에서 수백 개로 늘어나더라도 깔끔한 상태를 유지하는 테스트 스위트를 만들 수 있습니다.
지원 플랫폼 및 테스트 대상
| 테스트 대상 | 프로 계획 | 엔터프라이즈 계획 |
|---|---|---|
| 웹앱 | ✅ | ✅ |
| 타사 웹 앱 | ✅ | ✅ |
| 크롬 확장 프로그램 | ✅ | ✅ |
| VS Code 확장 프로그램 | ✅ | ✅ |
| 윈도우 데스크톱 앱 | ✅ | ✅ |
| macOS 데스크톱 앱 | ❌ | Coming soon |
| 안드로이드 앱 | ❌ | Coming soon |
| iOS 앱 | ❌ | Coming soon |
| 리눅스 샌드박스 | ✅ | ✅ |
| 윈도우 샌드박스 | ✅ | ✅ |
| macOS 샌드박스 | ❌ | Coming soon |
| 테스트 머신에 대한 루트 액세스 권한 | ❌ | ✅ |
| 사용자 지정 VM 이미지 | ❌ | ✅ |
핵심은 간단합니다. TestDriver는 현재 Windows 및 Linux 데스크톱 환경을 완벽하게 지원하며, Apple 플랫폼과 네이티브 모바일 지원은 향후 개발 계획에 포함되어 있습니다.
TestDriver SDK 명령어 참조
| Command | 그것이하는 일 |
|---|---|
| provision.chrome() | 선택한 URL에서 샌드박스 환경으로 Chrome을 시작합니다. |
| 찾기() | 일반적인 영어 설명에서 요소를 찾습니다. |
| 클릭, 더블클릭, 오른쪽클릭 | 요소 또는 화면 위치를 클릭합니다. |
| hover() | 마우스 커서를 요소 위에 올리면 메뉴나 툴팁이 나타납니다. |
| 유형() | 선택된 필드에 텍스트를 입력합니다. (선택적으로 비밀 모드 사용 가능) |
| pressKeys() | Tab이나 Enter와 같은 키 및 단축키를 전송합니다. |
| 스크롤() | 페이지와 요소를 모든 방향으로 스크롤합니다. |
| 주장하다() | 현재 화면에 대해 예/아니오로 답하는 질문을 합니다. |
| 발췌() | 화면에서 정보를 읽어 텍스트로 반환합니다. |
| parse () | OmniParser를 사용하여 보이는 모든 UI 요소를 감지합니다. |
| exec () | 셸을 실행하거나 PowerShell 명령 모래 상자 안에서 |
| focusApplication() | 애플리케이션 창을 전면에 표시합니다. |
| 스크린샷() | 실행 중에 스크린샷을 캡처하고 저장합니다. |
| 캡차() | 2captcha 서비스를 통해 캡차를 해결합니다. |
| 마우스다운, 마우스업 | 마우스를 누르고 놓으면 드래그 동작이 가능합니다. |
통합 및 생태계
| 카테고리 | 지원되는 도구 |
|---|---|
| 풀 리퀘스트 에이전트 | GitHub 웹, GitHub Copilot 채팅, PR 검토, GitHub 모바일 |
| AI 자동 설정이 가능한 코딩 클라이언트 | 클로드 코드, 클로드 데스크톱, 커서, VS 코드 코파일럿, 윈드서프, 코덱스, 제드 |
| AI 앱 빌더 | Lovable 및 Replit(부분 설정), v0(수동 설정) |
| CI 파이프라인 | GitHub Actions 워크플로는 기본적으로 생성되며, Node.js를 실행하는 모든 CI 환경도 포함됩니다. |
| 통계 보고서 | JUnit XML, 테스트별 JSON 결과, TestDriver 콘솔 |
| 테스트 러너 | 비테스트 |
| 엔터프라이즈 인프라 | CloudFormation을 통한 AWS, Azure, GCP 및 온프레미스 환경을 활용하여 에어갭 구성을 구축할 수 있습니다. |
| 기업 AI 공급 업체 | OpenAI, Anthropic 및 기타 제공업체에서 자체 키를 사용하여 |
| 지원 채널 | Pro 버전에서는 커뮤니티 지원이 제공되며, Enterprise 및 Expert 서비스에서는 Slack Connect를 이용할 수 있습니다. |
TestDriver 가격 플랜
| 계획 이름 | 비용 | 주요 포함 사항 |
|---|---|---|
| 무료 시험판 | 14일 또는 120분 테스트 중 먼저 도달하는 시점까지 무료입니다. | 모든 기능을 이용할 수 있는 Pro 버전입니다. 결제 시 카드 정보가 필요하지만, 체험 기간 동안에는 요금이 청구되지 않습니다. |
| 찬성 | 좌석당 월 20달러에 테스트 1분당 0.14달러가 추가됩니다. | 클라우드 호스팅, 무제한 콘솔 사용자, 무제한 AI 생성 및 테스트 실행, Linux 및 Windows 샌드박스, 웹 앱, Chrome 및 VS Code 확장 프로그램, Windows 데스크톱 앱, 녹화, 분석, CPU, RAM 및 네트워크 프로필, 커뮤니티 지원 |
| 전문 서비스 (비즈니스용 테스트 드라이버) | 매달 $ 600부터 | TestDriver 인증 전문가와 공유하는 Slack 채널, 개별 지원 및 가이드 설정, 선택적으로 테스트 생성, 테스트 유지 관리, 오류 조사 및 버그 보고 기능을 제공합니다. |
| 기업 | 맞춤 견적 (병렬 테스트 슬롯당 정액 라이선스) | 자체 호스팅 또는 에어갭 배포, 무제한 테스트 시간, 루트 액세스, 사용자 지정 VM 이미지, VPN 배포, 사용자 지정 환경 지원 AI 키, 완전 관리형 테스트 서비스, 비공개 Slack Connect 지원 |
TestDriver의 실제 청구 방식은 다음과 같습니다.
시트는 청구 기간 동안 풀 리퀘스트에 대한 TestDriver 리뷰를 받거나 테스트를 실행하는 모든 GitHub 사용자를 의미합니다. 팀원을 웹 콘솔에 초대하는 것은 무료이며 시트가 추가되지 않습니다. 테스트 시간은 샌드박스가 실행되는 동안(자동 풀 리퀘스트 리뷰 포함) 초 단위로 계산됩니다.
120분 무료 체험은 1회 한정 체험 기간이며, 월간 구독 상품이 아닙니다. 체험 기간이 종료되면 Pro 버전이 자동으로 시작되고 카드에서 요금이 청구됩니다. 카드 결제가 거부될 경우, 카드 정보를 업데이트할 때까지 새로운 테스트가 일시 중단됩니다. 결제 금액은 환불되지 않으며, 사용자 변경 시 요금은 사용 기간에 따라 차등 적용됩니다. 각 팀은 1회 무료 체험만 이용할 수 있습니다.
테스트드라이버 비용 시나리오
| 팀 프로필 | 좌석 | 월별 테스트 시간(분) | 월 예상 비용 |
|---|---|---|---|
| 솔로 창업자 | 1 | 300 | $62 |
| 스타트업 팀 | 5 | 1,000 | $240 |
| 확장 | 20 | 5,000 | $1,100 |
| 대량 생산 제품 조직 | 50 | 20,000 | $3,800 |
소요 시간을 분 단위로 계산하려면 풀 리퀘스트 수를 세어보세요. 자동 리뷰 하나당 샌드박스가 약 5분 정도 작동한다고 가정하면, 한 달에 200개의 풀 리퀘스트가 발생하면 총 1,000분이 소요됩니다. 월 사용료가 몇천 달러를 넘어가면 엔터프라이즈 정액 라이선스 모델을 고려해 보는 것이 좋습니다.
TestDriver 시작하기
- 1 단계 : 무료 체험을 시작하세요. 다음으로 이동하세요. 테스트드라이버 GitHub에 추가를 클릭하세요. 결제 시 카드를 추가하세요. 14일 무료 체험 기간 동안에는 요금이 청구되지 않습니다.
- 2 단계 : GitHub 앱을 설치하고 설정 PR을 병합하세요. 포함할 저장소를 선택합니다. 그러면 봇이 패키지, Vitest 구성, GitHub Actions 워크플로 및 샘플 테스트가 포함된 설정 풀 리퀘스트를 생성합니다. 콘솔에서 TD_API_KEY를 저장소 비밀 키로 추가하고 병합하세요.
- 3 단계 : 첫 번째 테스트를 요청하세요. 풀 리퀘스트를 열고 이해하기 쉬운 영어로 댓글을 남겨주세요. 예를 들어, "@testdriver" 와 같이 작성해 주세요.ai 로그인하고 첫 번째 제품을 장바구니에 추가한 다음 장바구니 배지에 1이 표시되는지 확인하세요." 사용자가 무엇을 하고 무엇을 보는지 설명하세요. 요소 ID를 나열하지 마세요.
- 4 단계 : 녹음 내용을 검토하고 테스트를 병합하세요. TestDriver는 결과와 실행 링크를 응답으로 보내고, 테스트 파일을 추가하는 풀 리퀘스트를 생성합니다. 해당 풀 리퀘스트를 병합하면 사용자가 보게 될 내용을 변경하는 모든 후속 풀 리퀘스트에서 테스트가 실행됩니다.
- 5 단계 : 더 나은 제어를 위해 지역 업체를 이용하세요. 개발자는 npx testdriver를 실행할 수 있습니다.ai Node.js 20.19 이상 버전이 설치된 프로젝트 내에서 초기화합니다. 에이전트, 스킬 및 MCP 서버를 설정합니다. AI 코딩 도구그런 다음 npm test 명령으로 테스트 스위트를 실행하고 샌드박스의 실시간 미리보기를 확인할 수 있습니다.
TestDriver를 차별화하는 핵심 요소
20년 넘게 QA 팀을 운영하면서 저는 도구를 평가할 때 단 하나의 질문을 기준으로 삼습니다. 바로 '고객이 실제로 사용하는 것을 테스트할 수 있는가?'입니다. Momentic, Octomind, QA Wolf는 웹 애플리케이션 테스트에 강점을 보입니다. 하지만 이들 중 어느 것도 모든 풀 리퀘스트마다 윈도우 머신을 완전히 부팅하고 네이티브 데스크톱 프로그램을 실행하는 테스트는 수행하지 않습니다. TestDriver는 바로 그런 기능을 제공합니다.
이 도구는 팝업 및 백그라운드 페이지를 사용하는 Chrome 확장 프로그램, 실제 편집기 내의 VS Code 확장 프로그램, Windows 데스크톱 소프트웨어, 소스 코드에 접근할 수 없는 타사 웹 앱까지 지원합니다. 사람이 화면을 읽는 것처럼 작동하기 때문에 캔버스 차트, 내장 비디오, LLM 챗봇 답변까지 처리할 수 있습니다. 단일 브라우저 탭 이상을 사용하는 제품 개발 팀이라면 이 도구를 반드시 고려해야 할 이유입니다.
테스트 드라이버 실전 테스트에서 과대광고와 현실의 차이
마케팅 문구는 셀렉터도, DOM도, 설정도 필요 없다고 홍보합니다. 처음 두 가지 주장은 사실입니다. 하지만 세 번째 주장은 맥락이 필요합니다. 여전히 저장소에 테스트 파일이 생성되므로, 누군가가 해당 파일을 관리하고 검토해야 합니다. 처음 실행할 때는 가상 머신이 부팅되는 데 1~2분 정도 걸리므로, 빠른 단위 테스트처럼 느껴지지는 않을 것입니다.
비전 AI 모호한 프롬프트를 잘못 해석하는 경우도 있는데, 이것이 바로 "버튼"이 "헤더의 파란색 로그인 버튼"보다 성능이 떨어지는 이유입니다. 캐시는 일단 테스트 환경이 안정화되면 속도 및 일관성 문제를 대부분 해결해 줍니다. 진정한 숨겨진 변수는 비용입니다. 샌드박스가 실행되는 전체 시간(자동 PR 검토 포함) 동안 사용 시간이 청구되므로 사용량이 많은 저장소는 처음부터 사용량을 모니터링해야 합니다.
TestDriver의 실제 사용 사례
TestDriver와 기존 Selenium 및 Playright 테스트 방식 비교
| 요인 | 테스트드라이버 | 극작가 또는 셀레늄 |
|---|---|---|
| 요소 타겟팅 | 비전 AI가 읽는 쉬운 영어 설명 | CSS 선택자, XPath 또는 테스트 ID |
| UI 변경 후 유지 관리 | 스스로 치유하려면 해당 요소를 다시 찾아야 합니다. | 테스트는 종종 오류가 발생하며 수동으로 수정해야 합니다. |
| 네이티브 데스크톱 앱 | ✅ 윈도우즈 투데이 | ❌ 별도의 도구가 필요합니다 |
| Chrome 및 VS Code 확장 프로그램 | ✅ 내장 | 추가 설정으로 가능합니다 |
| 캔버스, 비디오 및 PDF | ✅ 렌더링된 화면을 읽습니다 | 어렵거나 불가능함 |
| 테스트 작성 | AI 에이전트가 테스트를 작성하고 커밋합니다. | 엔지니어는 모든 단계를 기록합니다. |
| 실행 속도 | 실행할 때마다 전체 가상 머신이 부팅되므로 속도가 느립니다. | 헤드리스 모드에서 매우 빠릅니다. |
| 비용 | 좌석 요금에 분당 사용료가 추가됩니다. | 무료 오픈 소스이며, 인프라 비용은 사용자 부담입니다. |
| 언어 지원 | Vitest를 사용한 JavaScript | 많은 언어 |
| 디버깅 | 비디오 재생, 네트워크, CPU 및 메모리 로그 | 설치 과정 중 추적 정보 및 스크린샷 |
솔직히 말해서 TestDriver가 모든 Playwright 테스트를 대체하는 것은 아닙니다. 빠른 단위 수준의 UI 테스트는 여전히 Playwright에서 수행해야 합니다. TestDriver는 매 스프린트마다 선택기 기반 테스트 스위트를 무력화시키는 길고 시각적이며 앱 전반에 걸친 사용자 여정 테스트에서 진가를 발휘합니다.
TestDriver에서 더 나은 결과를 얻기 위한 전문가 팁
장단점
- 모든 풀 리퀘스트를 자동으로 테스트합니다.
- 데스크톱 앱과 확장 프로그램을 다룹니다.
- 유지 관리해야 할 선택기가 없습니다.
- 테스트는 Vitest 코드 그대로 유지됩니다.
- 뛰어난 비디오 재생 디버깅 기능입니다.
- 최고 수준의 업체와 협력합니다 AI 코딩 도구.
- 기업용 자체 호스팅 옵션.
- 좌석당 저렴한 입장료.
- 분당 비용이 올라갈 수 있습니다.
- macOS 및 모바일 버전은 아직 개발 중입니다.
- 자바스크립트만으로 테스트 코드를 작성할 수 있습니다.
- 프로 플랜이 커뮤니티의 지지를 얻고 있습니다.
기업 보안 및 자체 호스팅 배포
규제 대상 구매자는 엔터프라이즈 등급에서 다양한 옵션을 이용할 수 있습니다. 표준 설정은 CloudFormation을 통해 자체 AWS 계정 내에서 테스트 샌드박스를 실행하고, TestDriver는 대시보드와 API를 호스팅합니다. 오픈 소스 솔루션은 자체적으로 제공해야 합니다.AI or 인류학적 열쇠그래서 AI 지출 및 데이터 흐름은 사용자의 통제 하에 유지됩니다.
은행, 의료, 국방 및 정부 기관의 경우, 완전한 에어갭(air gap) 옵션을 통해 AWS, Azure, GCP 또는 온프레미스 하드웨어에서 외부 연결 없이 전체 스택을 실행할 수 있습니다. 또한 테스트 머신에 대한 RDP 액세스, Packer 스크립트를 사용하여 골든 베이스 이미지에서 구축된 맞춤형 VM 이미지, VPN 배포 및 병렬 테스트 슬롯당 고정 라이선스를 제공받을 수 있습니다. 특히 재무팀에게는 마지막 항목이 가장 중요합니다. 예측 불가능한 분 단위 요금 대신 고정 예산 항목을 사용할 수 있기 때문입니다.
구매 전 알아두어야 할 제한 사항
어떤 도구도 완벽하지 않으며, 이는 제가 모든 공급업체 검토 회의에서 제기할 사항들입니다.
TestDriver는 누가 사용해야 하고 누가 사용하지 않아도 되는가?
✅ GitHub에서 제품 팀을 운영하고, 일반 웹 앱 이상의 것을 출시하며, 화면 디자인이 변경될 때마다 선택기 기반 도구 모음이 제대로 작동하지 않는다면 이 제품을 구매하세요 .
이 솔루션은 전담 QA 엔지니어가 없는 소규모 팀에게도 매우 적합합니다. 에이전트가 테스트를 작성하고 유지 관리해 주기 때문입니다. 크롬 확장 프로그램, VS 코드 확장 프로그램 또는 윈도우 소프트웨어를 개발하는 회사라면 이보다 더 나은 솔루션을 찾기 어려울 것입니다.
❌ 제품이 주로 네이티브 모바일 앱이거나, 팀이 GitLab 또는 Bitbucket을 사용하고 PR 봇 경험이 필요하거나, 간단한 마케팅 사이트에서 빠른 검사만 필요한 경우 라면 지금은 건너뛰세요 . 그런 경우에는 더 저렴한 웹 전용 도구나 일반 Playwright로도 충분합니다.
자주 묻는 질문
TestDriver는 CSS 선택자 없이 어떻게 요소를 찾나요?
TestDriver는 샌드박스의 스크린샷을 찍고 비전을 사용합니다. AI 이 모델은 사용자가 일반적인 영어로 설명한 요소를 찾습니다. 요소를 찾으면 해당 화면 영역의 지각 해시 값을 캐시에 저장합니다. 이후 실행에서는 정확한 일치, 픽셀 차이 또는 템플릿 전략을 사용하여 캐시와 먼저 일치하는 항목을 찾고, 일치하는 항목이 없으면 해당 모델을 호출합니다. AI 화면이 더 이상 일치하지 않을 때 다시 테스트를 진행합니다. 이것이 바로 테스트가 빠르고 레이아웃 변경에 강한 이유입니다.
TestDriver는 무료로 사용할 수 있나요?
TestDriver는 Pro 플랜에 대해 14일 무료 체험을 제공하며, 테스트 시간은 최대 120분입니다. 결제 시 카드 정보를 등록해야 하지만, 체험 기간 동안에는 요금이 청구되지 않습니다. 체험 기간 종료 후 Pro 플랜은 월 20달러(사용자 계정당)에 테스트 1분당 0.14달러가 추가됩니다. 공식 가격 페이지에는 영구 무료 플랜이 없으므로, 체험 기간은 제품을 평가해 볼 수 있는 기간으로 활용하시기 바랍니다.
소규모 엔지니어링 팀의 경우 TestDriver 사용 비용은 얼마인가요?
'시트'는 PR 리뷰를 시작하거나 테스트를 실행하는 모든 GitHub 사용자를 의미하며, 사용 시간은 초 단위로 계산됩니다. 예를 들어, 개발자 5명이 한 달에 1,000분을 사용하는 경우 약 240달러가 청구됩니다. 사용량이 많은 대규모 팀의 경우, 병렬 테스트 슬롯당 정액 라이선스를 사용하고 사용 시간에 제한이 없는 엔터프라이즈 플랜을 문의하는 것이 좋습니다.
TestDriver로 네이티브 Windows 데스크톱 애플리케이션을 테스트할 수 있습니까?
네. Windows 데스크톱 앱은 Pro 플랜에 포함되어 있습니다. 모든 테스트가 브라우저 전용 실행기가 아닌 완전한 가상 머신에서 실행되기 때문입니다. exec() 함수와 PowerShell을 사용하여 앱을 설치하고 실행한 다음, 클릭, 입력 및 자연어 처리를 통해 검증할 수 있습니다. macOS 데스크톱 앱, Android 및 iOS 앱은 Enterprise 플랜에서 곧 출시될 예정입니다.
TestDriver 테스트를 실행하는 데 얼마나 걸립니까?
첫 실행은 샌드박스가 부팅되는 동안 1~2분 정도 소요됩니다. AI 화면을 살펴봅니다. 홈페이지 데모에서는 전체 회원가입 테스트가 약 42초 만에 완료되는 것을 보여줍니다. 이후 실행은 자체 학습 캐시가 반복 작업을 건너뛰기 때문에 더 빨라집니다. AI 호출 속도가 최대 1.7배 빨라졌다고 문서에 명시되어 있습니다.
TestDriver는 Claude Code, Cursor 및 GitHub Copilot과 호환됩니까?
네. npx 테스트 드라이버입니다.ai init 명령은 TestDriver 에이전트, 100개 이상의 스킬 파일 및 로컬 MCP 서버를 설치합니다. 또한 Claude Code, Claude Desktop, Cursor, VS Code(Copilot 포함), Windsurf, Codex 및 Zed를 자동으로 구성합니다. AI 그러면 어시스턴트는 샌드박스를 시작하고, 실시간 화면에서 작업을 수행하며, 테스트 코드를 단계별로 작성하여 통과할 때까지 작업을 진행할 수 있습니다.
TestDriver 실행 중에 테스트 데이터와 비밀번호는 어떻게 되나요?
비밀 옵션으로 입력된 값은 로그 및 비디오 녹화에서 가려집니다. 호스팅된 프로 플랜에서는 스크린샷이 TestDriver에서 처리됩니다.'s AI 서비스를 이용할 수 있습니다. 엄격한 규정 준수가 필요한 팀은 엔터프라이즈 버전으로 전환할 수 있으며, 이 버전에서는 샌드박스와 데이터를 자체 AWS 계정 또는 완전히 격리된 환경에 유지하고 자체 서비스를 사용할 수 있습니다. AI 공급자 키.
TestDriver는 GitHub 이외의 CI 도구에서도 실행될 수 있나요?
풀 리퀘스트 에이전트는 GitHub용으로 개발되었지만, 테스트 자체는 일반 Vitest 파일입니다. 즉, TD_API_KEY 변수가 설정되어 있는 한 Node.js를 실행할 수 있는 모든 CI 파이프라인에서 실행됩니다. 초기화 명령은 기본적으로 GitHub Actions 워크플로를 생성하며, 결과는 다른 보고 도구에서 사용할 수 있도록 JUnit XML 형식으로 내보낼 수 있습니다.
TestDriver의 최고의 대안
| 도구 이름 | 가격 진입점 | 네이티브 데스크톱 앱 테스트 |
|---|---|---|
| 모멘틱 | 2,000 크레딧이 제공되는 무료 티어 이후 월 125달러씩 사용량에 따라 지불하는 방식입니다. | ❌ 웹 전용 |
| QA 울프 | 관리형 서비스에 대한 맞춤 견적 | ❌ 웹 및 모바일 중심 |
| 옥토마인드 | 저렴한 정액 월정액 요금제 | ❌ Playwright 웹사이트에서만 이용 가능 |
| 마블 | 맞춤형 기업 견적 | ❌ 웹, 모바일 및 API 전용 |
대안이 더 합리적일 때
- 모멘틱 사용자 부담금이 없고 크레딧 기반 청구 방식과 로우 코드 에디터를 선호하는 웹 전용 팀에 적합합니다.
- QA 울프 완전 관리형 QA 서비스를 원하고 그에 상응하는 예산을 보유한 기업에 적합합니다.
- 옥토마인드 원하는 팀에 적합합니다 AI 제작 과정에서 도움을 받을 수 있지만, 벤더 종속성이 없는 표준 Playright 코드입니다.
- 마블 웹, 모바일 및 API 테스트를 하나의 계약으로 처리해야 하는 대규모 기업에 적합합니다.
TestDriver에 대한 최종 평가
TestDriver는 가장 실용적인 도구 중 하나입니다. AI 테스트 도구 올해 리뷰를 작성했습니다. 단순히 코드를 읽는 것만이 아닙니다. AI 리뷰어 역할을 하는 GitHub 에이전트는 실제 머신에서 실제 제품을 실행하여 변경 사항이 제대로 작동하는지 검증합니다. GitHub 에이전트는 테스트 작성에 필요한 대부분의 번거로운 작업을 줄여주고, 캐시를 통해 빠른 실행 속도를 유지하며, 디버깅 도구를 통해 오류를 쉽게 이해할 수 있도록 도와줍니다.
단점은 분명합니다. 사용 시간당 요금이 부과되고, Apple 및 모바일 플랫폼은 아직 개발 중이며, 테스트는 JavaScript에서만 실행됩니다. 데스크톱 앱, 브라우저 확장 프로그램 또는 복잡한 웹 제품을 GitHub에 배포하는 팀이라면 이러한 단점을 감수할 만합니다. 무료 체험판을 하나의 저장소에서 사용해보고, 전체 저장소로 확대하기 전에 풀 리퀘스트당 소요 시간을 측정해 보세요.
