접근성 정보로 데스크톱 앱을 조작하는 스킬 묶음
스크린샷 대신 접근성 트리로 맥·윈도우·리눅스 앱의 버튼과 입력칸을 조작하게 해 줘요.
구성 한눈에 보기
이렇게 시키면
- “Finder를 열어 다운로드 폴더의 파일 목록을 읽어 줘”
- “이 앱의 설정 창에서 체크박스를 켜 줘”
준비물
- agent-desktop 도구를 따로 설치해야 해요(npm)
- macOS는 접근성 권한 허용이 필요
- jev-desktop은 TYPESAFE_API_KEY가 필요해요(스크립트는 ZIP의 scripts/jev에 있어요)
스킬 안
- 설명서 3개LICENSE, OPENSEED-NOTE.md …
- 스크립트 157개input_hold_policy.rs, cargo-test-isolated-home.sh …
- 하위 지시문 24개build-and-link.md, error-handling.md …
- 테스트 2개README.md, smoke.py
- 기타 1개agent_desktop.h
이걸 받아요
- 앱 화면 요소를 정리한 JSON 목록
- 클릭과 입력 후 확인한 화면 상태
쓸 수 있는 환경
- Claude Code
이런 거예요
에이전트가 데스크톱 앱을 보고 직접 조작해야 할 때 쓰는 스킬 묶음이에요. 앱의 접근성 트리를 JSON으로 읽고, 누를 수 있는 요소마다 붙은 참조값으로 클릭, 입력, 스크롤, 단축키, 메뉴 이동, 클립보드, 창 관리를 해요. 조작한 뒤 다시 읽어 결과를 확인하는 흐름이에요. 스킬은 기본 사용법, macOS용, Windows용, Linux용, 다른 언어에서 부르는 FFI 바인딩용으로 나뉘어 있어요. jev-desktop은 목표를 한 문장으로 주면 알아서 관찰하고 실행하는 스킬이에요. 이 스킬들은 agent-desktop 명령줄 도구가 있어야 동작해요. macOS는 접근성 권한을 허용해야 해요. 화면에는 개인 정보가 담길 수 있으니 로그나 업로드에 주의하라고 저장소가 안내해요. 이 사본에는 skills 폴더의 스킬 6개가 모두 들어 있어요. 저장소 작업용 스킬 2개는 빠졌어요. 이 게시물은 Vercel Labs 님이 공개한 오픈소스 프로젝트를 OpenSeed 운영자가 Apache-2.0 라이선스에 따라 옮겨 올린 사본이에요. 원작자가 직접 올린 게시물이 아니고, 원작자와 제휴하거나 보증받은 것도 아니에요. 용량·파일 수 한도 때문에 일부 파일을 뺐어요. 라이선스 파일과 출처·바뀐 점은 ZIP 안의 OPENSEED-NOTE.md 에 있어요. 최신 버전은 원본 보기에서 확인해 주세요.
준비물
- agent-desktop 도구를 따로 설치해야 해요(npm)
- macOS는 접근성 권한 허용이 필요
- jev-desktop은 TYPESAFE_API_KEY가 필요해요(스크립트는 ZIP의 scripts/jev에 있어요)
사용법
- ZIP 받기「ZIP 받기」를 눌러 파일을 받아요. 로그인만 하면 돼요.
- 폴더에 풀고 열기원하는 폴더에 압축을 풀고, 쓰는 AI 도구에서 그 폴더를 열어요.
- 말로 시키기아래 문장 중 하나를 그대로 말해 보세요.
이렇게 말해 보세요
- “Finder를 열어 다운로드 폴더의 파일 목록을 읽어 줘”
- “이 앱의 설정 창에서 체크박스를 켜 줘”
- “화면의 입력 폼을 채우고 결과를 확인해 줘”
이런 결과를 받아요
- 앱 화면 요소를 정리한 JSON 목록
- 클릭과 입력 후 확인한 화면 상태
설치 방법
도구와 요금제에 따라 메뉴 이름이 조금 다를 수 있어요.
파일 구성 188개
- agent-desktop/LICENSE11KB
- agent-desktop/OPENSEED-NOTE.md1KB
- agent-desktop/README.md10KB
- agent-desktop/crates/core/src/commands/input_hold_policy.rs422B
- agent-desktop/crates/ffi/include/agent_desktop.h83KB
- agent-desktop/scripts/cargo-test-isolated-home.sh400B
- agent-desktop/scripts/check-architecture.sh1KB
- agent-desktop/scripts/check-bash3-compat.sh5KB
- agent-desktop/scripts/check-capture-redaction.ps117KB
- agent-desktop/scripts/check-e2e-windows-contract.ps110KB
- agent-desktop/scripts/check-elf-glibc-floor-selftest.sh3KB
- agent-desktop/scripts/check-elf-glibc-floor.sh2KB
- agent-desktop/scripts/check-gitleaks-policy.mjs5KB
- agent-desktop/scripts/check-linux-archive-contents.sh4KB
- agent-desktop/scripts/check-linux-capture-cli.py8KB
- agent-desktop/scripts/check-linux-findings.py4KB
- agent-desktop/scripts/check-no-phase-references.sh23KB
- agent-desktop/scripts/check-npm-package.js18KB
- agent-desktop/scripts/check-release-consistency.sh1KB
- agent-desktop/scripts/check-rust-file-size.sh7KB
- agent-desktop/scripts/check-stale-ref-constructor-misuse.sh7KB
- agent-desktop/scripts/check-win32-ui-shell-exclusion.ps17KB
- agent-desktop/scripts/check_architecture.py36KB
- agent-desktop/scripts/check_rust_comments.py5KB
- agent-desktop/scripts/check_rust_comments_test.py2KB
- agent-desktop/scripts/checkout-release-source.sh497B
- agent-desktop/scripts/ci-ffi-helper-discovery-smoke.sh2KB
- agent-desktop/scripts/ci-npm-wrapper-smoke.sh4KB
- agent-desktop/scripts/cursor-multi-agent-probe.py9KB
- agent-desktop/scripts/ffi-archive-readme-linux.md1KB
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/actions-element.json134B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/app-name-field.json115B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/attribution-field.json124B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/body-field.json133B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/description-field.json89B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/name-field.json74B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/occluder-name-nested-bounds.json341B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/occluder-name.json265B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/path-element-bracket-in-label.json240B
- agent-desktop/scripts/fixtures/capture-redaction/must-catch/path-element.json263B
나머지 148개는 ZIP 을 풀면 볼 수 있어요.