Ghost OS: 스크린샷 없이 모든 macOS 앱을 조작하는 AI 에이전트 컴퓨터 유즈

Ghost OS

AI 에이전트가 컴퓨터를 쓰려면 스크린샷이 필요하다고들 한다. 화면을 캡처하고, 이미지를 분석하고, 어디를 클릭할지 추론한다. 하지만 이건 느리고, 비싸고, 불안정하다.

Ghost OS는 다른 길을 택했다. 스크린샷 없이 macOS의 Accessibility Tree에 직접 접근한다. 구조화된 데이터로 모든 앱을 조작한다. Slack에서 메시지를 보내고, Finder에서 파일을 찾고, Safari에서 탭을 전환한다. 모든 걸 픽셀 하나 건드리지 않고.

왜 Accessibility Tree인가

기존 컴퓨터 유즈의 문제

전통적인 컴퓨터 유즈는 비전 기반이다:

스크린샷 캡처
이미지 분석 (Claude, GPT-4V 등)
좌표 추론
마우스 클릭

이 방식의 문제점:

느리다 — 스크린샷 캡처와 이미지 분석에 시간 소요
비싸다 — 비전 모델 호출 비용
불안정하다 — 해상도 변경, 다크모드, 애니메이션에 취약
정보 손실 — 픽셀만 보고 텍스트, 상태, 구조를 놓침

Ghost OS의 접근

macOS는 모든 UI 요소를 Accessibility Tree로 노출한다. 버튼, 텍스트, 슬라이더, 윈도우 — 모든 게 계층적 구조로 존재한다. Ghost OS는 이 트리에 직접 접근한다.

특징	비전 기반	Ghost OS
데이터 소스	스크린샷 (픽셀)	Accessibility Tree (구조)
속도	느림 (이미지 분석)	빠름 (직접 접근)
비용	높음 (비전 모델)	낮음 (텍스트 기반)
정확도	해상도 의존	구조 기반, 정확
프라이버시	스크린샷 필요	스크린샷 불필요

핵심 기능

29개 도구로 모든 것을 조작

Ghost OS는 6개 카테고리, 29개 도구를 제공한다:

Perception (인식)

화면을 “보는” 도구들. 하지만 스크린샷이 아니라 구조를 읽는다.

ghost_context — 현재 앱과 윈도우 컨텍스트
ghost_state — UI 상태 정보
ghost_find — 요소 검색
ghost_read — 텍스트 읽기
ghost_inspect — 요소 상세 정보
ghost_element_at — 좌표 기반 요소 찾기
ghost_screenshot — 필요시 스크린샷 (선택적)
ghost_annotate — 요소에 주석

Vision (비전)

이미지 기반 작업이 필요할 때.

ghost_ground — 시각적 그라운딩
ghost_parse_screen — 스크린 파싱

Actions (행동)

실제 조작을 수행하는 도구들.

ghost_click — 클릭
ghost_hover — 호버
ghost_long_press — 길게 누르기
ghost_drag — 드래그
ghost_type — 텍스트 입력
ghost_press — 키 입력
ghost_hotkey — 단축키
ghost_scroll — 스크롤
ghost_focus — 포커스 이동
ghost_window — 윈도우 관리

Wait (대기)

ghost_wait — 조건 대기

Recipes (자동화)

한 번 보여주면 영원히 기억하는 Self-learning 기능.

ghost_recipes — 레시피 목록
ghost_run — 레시피 실행
ghost_recipe_show — 레시피 상세
ghost_recipe_save — 레시피 저장
ghost_recipe_delete — 레시피 삭제

Learning (학습)

ghost_learn_start — 학습 시작
ghost_learn_stop — 학습 종료
ghost_learn_status — 학습 상태

Self-learning Recipes: 한 번 보여주면 영원히 기억

Ghost OS macOS

Ghost OS의 가장 강력한 기능은 Self-learning Recipes다.

어떻게 작동하나

ghost_learn_start로 학습 모드 시작
사용자가 작업 수행 (예: Slack에서 특정 채널로 이동)
ghost_learn_stop으로 학습 종료
Ghost OS가 작업을 “레시피”로 저장
다음부터 ghost_run으로 자동 실행

활용 예시

# 첫 번째: 학습
사용자: "Slack에서 #general 채널로 가는 법을 배워"
Ghost OS: [학습 모드 시작]
사용자: [직접 Slack을 조작]
Ghost OS: [학습 완료, "go-to-slack-general" 레시피 저장]

# 이후: 자동 실행
사용자: "Slack general 채널 가줘"
Ghost OS: [레시피 실행, 자동 이동]

반복 작업을 한 번만 수행하면 된다. 그 다음은 Ghost OS가 알아서 한다.

Any App: 모든 macOS 앱 지원

Ghost OS는 범용이다. 특정 앱에 제한되지 않는다.

지원 앱 예시

Slack — 메시지 읽기, 채널 전환, DM 보내기
Finder — 파일 검색, 폴더 탐색, 파일 이동
Messages — iMessage 읽기, 메시지 보내기
Safari — 탭 관리, 북마크, 폼 채우기
Mail — 이메일 읽기, 보내기, 정리
Calendar — 일정 확인, 추가
Notes — 노트 읽기, 작성
그 외 모든 macOS 앱 — Accessibility API를 사용하는 모든 앱

왜 가능한가

macOS의 Accessibility API는 모든 앱이 구현해야 하는 표준이다. Ghost OS는 이 표준을 활용한다. 앱별로 커스텀 통합이 필요 없다.

Local: 데이터가 머신을 떠나지 않음

프라이버시가 중요하다. Ghost OS는 모든 걸 로컬에서 처리한다.

스크린샷 없이 구조화된 데이터만 사용
모든 처리가 로컬 머신에서
외부 서버로 데이터 전송 없음
민감한 정보가 클라우드에 닿지 않음

회사 내부 도구, 개인 메시지, 금융 앱 — 모두 안전하게 조작 가능하다.

MCP Protocol: Claude Code, Cursor, VS Code 지원

Ghost OS는 MCP (Model Context Protocol) 를 완벽하게 지원한다.

지원하는 AI 도구

Claude Code — 터미널에서 바로 사용
Cursor — AI 코드 에디터
VS Code — MCP 확장을 통해
기타 MCP 지원 도구 — 모든 MCP 클라이언트

사용 예시 (Claude Code)

사용자: "Slack에서 #dev 채널의 마지막 메시지 요약해줘"

Claude Code → Ghost OS:
1. ghost_find로 Slack 앱 찾기
2. ghost_find로 #dev 채널 찾기
3. ghost_click으로 채널 이동
4. ghost_read로 마지막 메시지 읽기
5. 요약 반환

에이전트가 macOS 전체를 하나의 작업 공간으로 사용한다.

설치

Homebrew로 설치

brew install ghostwright/ghost-os/ghost-os
ghost setup

요구사항

macOS (Accessibility API 필수)
Homebrew

권한 설정

처음 실행하면 macOS 접근성 권한을 요청한다. 시스템 환경설정 → 보안 및 개인정보 보호 → 손쉬운 사용에서 Ghost OS를 허용하면 된다.

기술 스택

언어: Swift
플랫폼: macOS
인터페이스: Accessibility API
프로토콜: MCP
아키텍처: Native macOS app + MCP server

Swift로 작성되어 macOS와 완벽하게 통합된다. Electron이나 웹 기반이 아니라 진정한 네이티브 앱이다.

다른 컴퓨터 유즈와 비교

도구	플랫폼	방식	장점	단점
Ghost OS	macOS	Accessibility Tree	빠름, 정확, 프라이버시	macOS 전용
OpenInterpreter	전 플랫폼	비전 + 액션	크로스 플랫폼	느림, 비쌈
Claude Computer Use	클라우드	비전	강력한 모델	클라우드 의존
Rabbit R1	하드웨어	비전	휴대용	제한적 기능

Ghost OS는 macOS에서 가장 효율적인 선택이다.

사용 사례

1. 자동화된 워크플로우

매일 아침:
1. Slack에서 #announcements 확인
2. Calendar에서 오늘 일정 확인
3. Mail에서 읽지 않은 중요 메일 찾기
4. Notes에 요약 작성

Ghost OS 레시피로 자동화.

2. AI 에이전트 작업 공간 확장

Claude Code가 터미널뿐 아니라 Slack, Mail, Calendar까지 사용. 컨텍스트가 훨씬 풍부해진다.

3. 반복 작업 제거

매주 하는 보고서 작성, 매일 하는 이메일 정리 — 한 번 보여주면 Ghost OS가 대신 한다.

마치며: 스크린샷 없는 컴퓨터 유즈

Ghost OS는 컴퓨터 유즈의 새로운 패러다임을 보여준다. 비전 모델에 의존하지 않고, 운영체제가 제공하는 구조화된 데이터를 활용한다.

Accessibility Tree First 접근의 장점:

빠르다 — 이미지 분석 없이 직접 접근
정확하다 — 픽셀이 아니라 구조를 읽는다
프라이빗하다 — 스크린샷이 외부로 나가지 않는다
범용적이다 — 모든 macOS 앱에서 작동한다

Self-learning Recipes는 반복 작업을 영구히 자동화한다. 한 번 보여주면, 다시는 하지 않아도 된다.

697+ 스타는 이 접근이 유효하다는 증거다. macOS 사용자라면, 특히 AI 에이전트와 함께 일한다면, Ghost OS를 반드시 확인해봐야 한다.

🔗 관련 정보

GitHub: https://github.com/ghostwright/ghost-os
Homebrew: brew install ghostwright/ghost-os/ghost-os
저자: ghostwright
스타: 697+
라이선스: MIT