
LLM은 학습된 후에는 재학습이 어렵다. 새로운 지식을 추가하려면 전체를 다시 학습시키거나, RAG 같은 외부 검색에 의존해야 한다.
Memento-Skills는 다른 접근을 취한다. LLM 파라미터를 건드리지 않고, 외부 스킬 메모리를 통해 지속 학습한다.
핵심 질문
“어떻게 assistant를 실행하느냐”가 아니라 “어떻게 agent가 학습하느냐”
Memento-Skills는:
- 실패에서 학습하고
- 자신의 스킬 코드를 재작성하고
- 필요하면 새 스킬을 생성한다
3가지 LLM 적응 패러다임
| 패러다임 | 방식 | 비용 |
|---|---|---|
| Pre-training | 모델 파라미터 θ 업데이트 | 높음 |
| Fine-tuning | 모델 파라미터 θ 업데이트 | 중간 |
| Deployment-time learning (Memento) | 외부 스킬 메모리 M 진화 | 제로 리트레이닝 |
Memento-Skills는 세 번째 패러다임. 모델은 frozen, 스킬만 진화한다.
Read-Write Reflective Learning
Read → Execute → Reflect → Write
↑ ↓
└──────────────────────────┘
Read
- 로컬 라이브러리와 원격 카탈로그에서 후보 스킬 검색
- 모든 스킬을 컨텍스트에 넣지 않고 라우팅
Execute
- 툴 호출과 로컬 샌드박스로 스킬 실행
- 파일, 스크립트, 웹페이지, 외부 시스템 조작
Reflect
- 실행 실패나 품질 저하 시 상태 기록
- 유틸리티 업데이트, 구체적 스킬에 문제 귀인
Write
- 약한 스킬 최적화
- 깨진 스킬 재작성
- 기존 능력이 부족하면 새 스킬 생성
실험 결과
벤치마크
- HLE (Humanity’s Last Exam) — 극도로 어려운 질문
- GAIA (General AI Assistants) — 실제 월드 태스크
성능 향상
| 벤치마크 | 개선 |
|---|---|
| HLE | +116.2% |
| GAIA | +26.2% |
핵심: 단순히 도구를 더 추가하는 게 아니라, 태스크 경험을 통해 더 나은 스킬을 학습한다.
OpenClaw와의 차이
둘 다 스킬 기반 시스템이지만, 초점이 다르다:
| 차원 | Memento-Skills | OpenClaw |
|---|---|---|
| 초점 | 에이전트가 학습하는 방법 | 어시스턴트가 배포되는 방법 |
| 학습/진화 | 실패 → 반성 → 스킬 수정 루프 | 외부 플러그인/도구 중심 |
| 스킬 라우팅 | 대규모 라이브러리에서 검색 핵심 문제 | 광범위한 통합에 최적화 |
| 스킬 생성 | 없으면 직접 생성, 낮은 유틸리티 스킬 재생성 | 주로 인간이 제공 |
| 평가 | GAIA, HLE 벤치마크 | 실제 어시스턴트 사용성 |
한 문장으로:
OpenClaw는 assistant를 실행하게 하는 것 Memento-Skills는 agent가 학습하게 하는 것
배포 표면
| 표면 | 지원 | 설명 |
|---|---|---|
| CLI | memento agent | 대화형 또는 단일 메시지 모드 |
| Desktop GUI | memento-gui | 세션 리스트, 채팅 UI, 슬래시 커맨드 |
| Feishu bridge | memento feishu | WebSocket 기반 IM 브리지 |
| Skill verification | memento verify | 다운로드, 정적 리뷰, 실행 검증 |
| Local sandbox | uv | 격리된 스킬 실행 |
설치
GUI (비개발자용)
다운로드 후 압축 해제하고 실행. Python이나 터미널 불필요.
| 플랫폼 | 다운로드 |
|---|---|
| macOS (Apple Silicon) | memento-s-mac-arm64.zip |
| Windows (x64) | memento-s-win-x64.zip |
CLI (개발자용)
git clone https://github.com/Memento-Teams/Memento-Skills.git
cd Memento-Skills
python -m venv .venv
source .venv/bin/activate
pip install -e .
memento doctor # 환경 확인
memento agent # 대화형 세션 시작
내장 스킬
| 스킬 | 설명 |
|---|---|
| filesystem | 파일 읽기, 쓰기, 검색 |
| web-search | Tavily 기반 웹 검색 |
| image-analysis | 이미지 이해, OCR |
| PDF 읽기, 양식 작성, 병합 | |
| docx | Word 문서 생성/편집 |
| xlsx | 스프레드시트 처리 |
| pptx | PowerPoint 생성/편집 |
| skill-creator | 새 스킬 생성, 최적화, 평가 |
| uv-pip-install | Python 의존성 설치 |
이건 시작점. 목표는 9개의 손으로 쓴 스킬에 머무는 게 아니라, 계속 성장하고, 검색되고, 수리되는 스킬 라이브러리를 유지하는 것.
지원 LLM
| Provider | 예시 모델 |
|---|---|
| Anthropic | claude-3.5-sonnet |
| OpenAI | gpt-4o |
| OpenRouter | 다양한 모델 |
| Ollama | llama3 |
| 국내 모델 | Kimi, MiniMax, GLM |
| 자체 호스팅 | 커스텀 엔드포인트 |
기술 스택
| 레이어 | 기술 |
|---|---|
| Interface | Flet, Typer, Rich |
| LLM access | litellm |
| Retrieval | BM25, embeddings, sqlite-vec |
| Execution | local subprocess + uv sandbox |
| Storage | SQLite, SQLAlchemy |
| Config | JSON + Pydantic |
마치며: 스킬이 진화하는 에이전트
Memento-Skills는 정적 어시스턴트가 아니라 자가 진화 시스템이다.
핵심 통찰:
- LLM은 frozen — 파라미터 업데이트 불필요
- 스킬은 진화 — 실패에서 학습하고 재작성
- 라이브러리는 성장 — 단순 누적이 아니라 검색/수리/개선
이게 “에이전트가 에이전트를 설계하는” 방법이다.
🔗 관련 정보
- Homepage: https://memento.run
- Project Site: https://skills.memento.run
- GitHub: https://github.com/Memento-Teams/Memento-Skills
- Paper: https://arxiv.org/abs/2603.18743
- Discord: https://discord.com/invite/ztFS5YmB
- License: MIT