Skill Recorder：微软开源录屏转技能，做一次 Agent 就能重复

先收藏，回头一定用得上。

教 AI Agent 做一件事，最自然的方式不是写文档，而是直接做给它看。你平时怎么教新同事？不会先写个 SOP 文档吧，一般是坐他旁边演示一遍，然后让他自己来。

微软开源的 Skill Recorder 就是这个思路：录下你在屏幕上的操作过程，用 GitHub Copilot CLI 重构成"意图 + 有序步骤"，然后生成 Agent 可复用的 Skill 或 Automation。2780 Star，MIT 协议，Electron 桌面应用。

本文提纲

1. Skill Recorder 是什么
2. 核心理念：演示一次，复用无限次
3. 四步工作流
4. 隐私设计：本地录制，按需上传
5. 生成什么：Skill 和 Automation
6. 技术架构
7. 上手体验

Skill Recorder 是什么

Skill Recorder 是微软开源的桌面应用，录制屏幕上的工作过程，用 AI 重构成可复用的 Agent Skill 或定时 Automation。

项目关键数据：

项目	值
仓库	microsoft/skill-recorder
Stars	2,780
Forks	291
License	MIT
语言	TypeScript (Electron)
平台	macOS (主要), Windows 11 (x64/ARM64)
依赖	GitHub 账号 + Copilot 访问权限
创建时间	2026-07-29

一句话定位：录制你做一次任务的过程，自动生成 Agent 能重复执行的技能。

核心理念：演示一次，复用无限次

传统的 Agent 自动化有个痛点：你得把操作步骤写出来，写成文档或脚本。但很多操作你自己做的时候是凭直觉的--点哪里、切换什么窗口、填什么字段，你自己清楚但很难精确描述。

Skill Recorder 的方案是：别写了，直接做。

你打开录制，正常完成一次任务。它捕获你的屏幕活动：点击、窗口切换、访问的页面、复制的剪贴板内容，甚至你可选的语音解说。然后 GitHub Copilot 分析这些数据，重构出你做了什么（意图）和怎么做的（有序步骤）。

关键设计是泛化。你录制提交一个表单的过程，生成的 Skill 不是只能提交那个特定表单--它会泛化成"提交表单"的能力。录制一次，Agent 能处理同类任务。

四步工作流

第一步：录制

按录制按钮（或全局快捷键 ⌘⇧R / Ctrl+Shift+R），正常做你的任务。Skill Recorder 在后台本地捕获屏幕和活动数据。

录制时有个始终置顶的小控制条，显示捕获和麦克风状态。可以随时静音、取消静音、切换麦克风。录得不好可以直接丢弃（带确认提示，防误删）。

第二步：控制

录制过程中，小控制条让你实时掌控状态。录完了点结束，不满意就丢弃重来。

第三步：分析

点 Analyze，GitHub Copilot 重构出一个整体意图和有序步骤列表。你可以审查和编辑，直到描述准确。

首次分析时如果还没登录 Copilot，会提示你登录。

第四步：创建

从审核通过的分析结果，一键生成可复用的 Skill（SKILL.md 过程文件，Agent 按需运行）或 Automation（同样过程，但挂在定时器或触发器上）。

隐私设计：本地录制，按需上传

这是很多人关心的点：录屏数据发到哪里？

答案是分阶段的：

录制阶段全部在本地。屏幕录制、存储、帧提取、可选的语音转录，都发生在你的电脑上。录制过程中没有任何数据离开你的设备。语音转录用 Whisper 在设备上完成，支持 99 种语言（首次使用需下载约 252MB 模型）。

只有你主动点 Analyze 时，数据才发送到 GitHub 云端。发送的内容包括：

• 事件时间线（窗口/文档标题、URL、剪贴板预览）
• 提取的屏幕截图
• 语音解说文本（如果有的话）

应用里有个面板明确列出收集了什么：

数据类型	内容
窗口追踪	活跃应用/窗口切换
浏览器 URL	当前页面地址（macOS）
屏幕视频	Chromium 录制，仅在屏幕变化时保留低频快照
剪贴板	复制文本的简短预览，用于串联步骤
语音解说	可选，设备端转录

README 里反复强调一条安全原则：不要在录制中接触敏感信息。密码、token、API key、凭证等不应该被录制、输入、粘贴、显示、复制或口述。每次录制前应用都会提醒你。

生成什么：Skill 和 Automation

分析通过后，可以生成两种产物：

Skill - 一个 SKILL.md 过程文件。Agent 按需运行，适合"需要时才执行"的任务。比如"创建 GitHub PR"、"在 Jira 创建 bug 工单"。

Automation - 同样的过程，但挂在定时器或触发器上。适合"定期自动执行"的任务。比如"每天早上检查 CI 状态"、"每周生成周报"。

两种产物都有一个关键设计：优先使用 Agent 的原生工具，而不是回放 UI 点击。比如你录制的过程中用了 gh CLI，生成的 Skill 会直接调用 gh 命令，而不是模拟你点击终端。你录制时用了 web_fetch，生成的 Skill 也会用 web_fetch。

这让生成的 Skill 更可靠--不依赖 UI 元素的位置和状态，而是调用稳定的 API 和 CLI。

支持的目标平台：

• Microsoft Scout - 微软的 Agent 平台
• Microsoft Copilot Cowork - 协作式 Copilot
• Copilot Studio - 低代码 Agent 构建平台

技术架构

Skill Recorder 是一个 Electron 应用，TypeScript 编写。从文件结构能看出核心模块：

目录	职责
common/	共享逻辑：分析、音频、自动化、技能、敏感信息检测
common/sensitive.ts	敏感信息检测（12KB，安全核心）
common/narration.ts	语音解说处理（Whisper 设备端转录）
common/describe.ts	意图和步骤重构逻辑
common/skill.ts	Skill 生成
common/automation.ts	Automation 生成（11KB，最复杂的模块之一）
electron/	Electron 主进程、窗口管理、系统集成
electron/architectures/catalogues/	目标平台目录（Scout/Cowork/Agent Skill）
electron/audio/	音频捕获和转录
evals/	评估框架

几个值得注意的设计：

敏感信息检测（common/sensitive.ts，5KB 测试文件）- 在分析前检测录制内容中是否包含敏感数据，这是安全防线的一部分。

架构目录（electron/architectures/catalogues/）- 每个目标平台有独立的 catalogue 文件，定义如何将通用步骤映射到平台特定的格式。这让添加新平台变得容易。

评估框架（evals/）- Copilot 的 describer 和 builder 有基于 fixture 的评估套件：

npm run eval            # 评估 describer（对合成录制的描述准确度）
npm run eval:builder    # 评估 builder（Skill/Automation 泛化能力）

这意味着微软不只是发布了工具，还发布了衡量工具质量的测试框架。

上手体验

安装

Skill Recorder 以源码发布方式分发--一条命令下载固定版本的 Node.js 运行时，在本地构建确切的 release commit，添加一个 Skill Recorder (Source) 应用。

从 最新 release 复制对应平台的命令。

macOS / Ubuntu：

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Windows (PowerShell)：

$commit="<40-character-release-commit>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

安装后 macOS 会在 ~/Applications 里出现 Skill Recorder (Source) 应用，可以从 Spotlight、Launchpad 或 Dock 启动。

前置条件

• GitHub 账号且有 Copilot 访问权限（Copilot CLI 随应用一起安装）
• macOS 需要授予屏幕录制权限

开始录制

1. 首次启动授予屏幕录制权限
2. 按录制（或 ⌘⇧R）开始做你的任务
3. 完成后点 Analyze
4. 审查编辑意图和步骤
5. 生成 Skill 或 Automation

从源码开发

需要 Node.js 24：

npm ci
npm run compliance:licenses
npm run dev

npm run dev 启动 Vite 和 Electron 应用，带热重载。⌘⇧R（macOS）/ Ctrl+Shift+R（Windows）随时切换录制状态。

这个项目才两周（7 月 29 日创建），但已经有 2780 Star，说明这个"录屏转技能"的需求确实存在。如果你经常做重复性的屏幕操作，与其写文档教 Agent，不如直接录一次让它学会。

参考文档与链接

• GitHub: microsoft/skill-recorder - 2780 Star，MIT 协议，微软开源录屏转技能工具
• 安装指南 - 详细安装选项、更新和卸载
• Windows 验证文档 - Windows 11 支持说明
• 发布流程 - 维护者发布手册
• 评估框架 - describer/builder 评估套件
• 安全政策 - 安全漏洞报告流程
• Microsoft Copilot - GitHub Copilot 官方页面
• Agent Skills 标准 - 开放 Agent Skills 标准

试过了？评论区说说你的体验。还没试？收藏起来周末折腾。

---

作者: itech001 来源: 公众号：AI人工智能时代 网站: https://www.theaiera.cn/ 每日分享最前沿的AI新闻资讯和技术研究。

本文首发于 AI人工智能时代，转载请注明出处。