微软 Skill Recorder：录制一次，AI 无限复用

Fen9Pi2026/8/3大约 10 分钟

前言：重复劳动的困局

每个开发者都遇到过这种情况：

同样的操作，一遍又一遍地重复：提 PR、部署代码、生成报告、填表单……
写过脚本，但维护成本高：环境变了、接口改了，脚本就得跟着改
教过同事怎么做，但下次还是得教一遍：文档写了，视频录了，但新人还是得问

核心问题：你的工作经验，没有被真正沉淀下来。

如果有一种方式，让你做一次任务，AI 就能学会并无限复用呢？

今天介绍微软开源的 Skill Recorder——一个让你录制一次工作会话，AI 就能学会并重用的桌面应用。

一、项目概览

Skill Recorder 是微软开源的一个桌面应用。

一句话说清楚：

录制你的屏幕工作会话，AI 重构为意图 + 有序步骤，然后生成可重用的 Skill 或 Automation。

项目地址：https://github.com/microsoft/skill-recorder 开源协议：MIT License 开发团队：Microsoft 技术栈：Electron + Vite + TypeScript + Node.js 24

核心工作流

🔴 Record（录制） → 🎛️ Control（控制） → 🧠 Analyze（分析） → ✨ Create（创建）

输出：

Skill：SKILL.md 流程，AI Agent 按需执行
Automation：定时或触发的自动化任务

目标平台：

Microsoft Scout
Microsoft Copilot Cowork
Copilot Studio

二、为什么需要 Skill Recorder？

传统方案的痛点

1. 脚本维护成本高

# 写脚本容易，维护难
def deploy():
    # 环境 A 这样"
    if env == "A":
        deploy_a()
    # 环境 B 那样
    elif env == "B":
        deploy_b()
    # 接口又改了，得改脚本

2. 文档视频难传承

文档写了，新人还是得问
视频录了，细节还是得讲
知识没有真正沉淀

3. 经验无法复用

同样的任务，重复做 N 遍
同样的错误，重复犯 N 次
经验散落在个人脑子里，没有被系统化

Skill Recorder 的解决方案

核心思想：

一次录制，AI 学会并无限复用。

独特价值：

🎯 意图重构：不只是录屏，而是理解你「想做什么」
📝 步骤提取：自动提取有序步骤，生成结构化流程
🔄 泛化能力：从一个例子推广到所有相似任务
🛠️ 工具优先：优先使用 Agent 原生工具（gh CLI、web_fetch）而非 UI 点击回放

三、核心功能详解

1. 🔴 Record（录制）

核心能力：在后台捕获你的屏幕和活动。

录制内容：

捕获类型	说明
窗口跟踪	活跃应用 / 窗口切换
浏览器 URL	当前页面 URL（macOS）
屏幕视频	Chromium 录制，仅在屏幕变化或心跳时保存快照
剪贴板	复制文本的简短预览（用于串联步骤）
旁白（可选）	口述评论，使用 Whisper 在设备上转录（支持 99 种语言）

快捷键：

macOS：⌘⇧R
Windows：Ctrl+Shift+R

录制控制：

小型常驻控制栏，显示录制和麦克风状态
支持静音、取消静音、切换麦克风
如果录制不理想，可以丢弃（需确认）

2. 🧠 Analyze（分析）

核心能力：使用 GitHub Copilot CLI 重构你的工作会话。

分析输出：

意图：部署代码到测试环境

步骤：
1. 切换到项目目录
2. 拉取最新代码
3. 运行测试
4. 构建镜像
5. 推送到镜像仓库
6. 触发部署

工作原理：

将录制数据（事件时间线、屏幕截图、旁白文本）发送到 GitHub 云端
GitHub Copilot 分析并重构为一个总体意图 + 有序步骤列表
你可以审查和编辑，直到读起来正确

⚠️ 安全提醒：

选择 Analyze 时，录制数据会被发送到 GitHub 云端
不要录制密码、令牌、API 密钥等敏感信息
Skill Recorder 会在每次录制前提醒你

3. ✨ Create（创建）

核心能力：从批准的分析结果生成可重用的 Skill 或 Automation。

两种输出类型：

Skill：

# SKILL.md

## 意图
部署代码到测试环境

## 步骤
1. 切换到项目目录
2. 拉取最新代码
3. 运行测试
4. 构建镜像
5. 推送到镜像仓库
6. 触发部署

AI Agent 按需执行
可以手动触发
可以被其他 Agent 调用

Automation：

name: Daily Deploy
trigger:
  schedule: "0 18 * * *"  # 每天 18:00
steps:
  - 拉取最新代码
  - 运行测试
  - 构建镜像
  - 推送到镜像仓库
  - 触发部署

定时执行
事件触发
无需人工干预

4. 🛠️ 工具优先策略

核心思想：优先使用 Agent 原生工具，而非 UI 点击回放。

原因：

UI 回放脆弱：窗口位置、按钮颜色、页面布局都会变化
工具调用稳定：gh CLI、web_fetch、API 调用更可靠

示例：

录制内容	UI 回放	工具优先
提交 PR	点击「New Pull Request」按钮	`gh pr create`
部署代码	点击「Deploy」按钮	`kubectl apply`
查询数据	在搜索框输入关键词	`web_fetch(url)`

泛化能力：从录制一个表单提交，推广到提交所有类似表单。

四、技术架构

Skill Recorder 采用 Electron 架构，本地捕获 + 云端分析：

流程图1

本地处理（隐私优先）

录制、存储、帧提取、可选旁白转录都在你的计算机上进行；录制期间没有任何内容发送到外部。

只有当你选择 Analyze 时，Skill Recorder 才会发送以下内容到 GitHub 云端：

事件时间线（窗口/文档标题、URL、剪贴板预览）
提取的屏幕图像
旁白文本

云端分析（AI 重构）

GitHub Copilot CLI 处理：

理解你的意图：你想做什么？
提取有序步骤：你具体做了哪些步骤？
泛化到工具：如何用 Agent 工具实现？

五、快速开始

1. 安装

macOS / Ubuntu：

commit="<40-character-release-commit>"
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

Windows (PowerShell)：

$commit="<40-character-release-commit>"
$env:SKILL_RECORDER_COMMIT=$commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

安装位置：

macOS：~/Applications/Skill Recorder (Source).app
Windows：桌面和开始菜单快捷方式

2. 首次启动

授权屏幕录制：

macOS 首次启动时，会询问屏幕录制权限
授权后即可开始录制

登录 Copilot：

第一次点击 Analyze 时，如果未登录，Skill Recorder 会提示登录
需要有 GitHub Copilot 访问权限的 GitHub 账户

3. 录制工作流

步骤：

启动录制：点击 ⌘⇧R（macOS）或 Ctrl+Shift+R（Windows）
执行任务：正常操作你的任务
停止录制：点击停止按钮
Analyze：点击 Analyze，等待 AI 分析
审查编辑：审查并编辑生成的意图和步骤
Create：生成 Skill 或 Automation

六、实际应用场景

场景 1：代码部署

录制：

# 切换到项目目录
cd ~/projects/myapp

# 拉取最新代码
git pull

# 运行测试
npm test

# 构建镜像
docker build -t myapp:latest .

# 推送到镜像仓库
docker push myapp:latest

# 触发部署
kubectl apply -f k8s/deployment.yaml

输出 Skill：

# SKILL.md

## 意图
部署代码到测试环境

## 步骤
1. 切换到项目目录
2. 拉取最新代码（git pull）
3. 运行测试（npm test）
4. 构建镜像（docker build）
5. 推送到镜像仓库（docker push）
6. 触发部署（kubectl apply）

价值：

新人可以直接执行这个 Skill
自动化部署可以通过 Automation 定时执行
经验被系统化沉淀

场景 2：提 PR 流程

录制：

切换到项目目录
创建新分支
提交代码
推送到远程
在 GitHub 创建 PR

输出 Automation：

name: Auto PR
trigger:
  event: push
steps:
  - 创建新分支
  - 提交代码
  - 推送到远程
  - 创建 PR

价值：

标准化 PR 流程
减少人为错误
加快协作速度

场景 3：数据报告生成

录制：

打开数据分析工具
选择数据源
配置查询参数
生成报告
导出为 PDF

输出 Skill：

# SKILL.md

## 意图
生成周报数据

## 步骤
1. 打开数据分析工具
2. 选择数据源（周报数据）
3. 配置查询参数（本周）
4. 生成报告
5. 导出为 PDF

价值：

重复任务自动化
减少人工操作
提高工作效率

七、安全与隐私

⚠️ 重要提醒

不要录制敏感信息：

❌ 密码
❌ 访问令牌
❌ API 密钥
❌ 凭证
❌ 其他机密信息

数据流向

本地处理：

✅ 录制、存储、帧提取、旁白转录都在本地进行
✅ 录制期间没有任何内容发送到外部

云端处理：

⚠️ 只有选择 Analyze 时，才发送数据到 GitHub 云端
⚠️ 发送内容包括：事件时间线、屏幕截图、旁白文本

安全建议

审查录制内容：在点击 Analyze 前，检查是否有敏感信息
编辑输出：生成 Skill 或 Automation 后，删除敏感步骤
使用环境变量：在 Skill 中使用环境变量替代硬编码的密钥

八、优势与局限

优势

1. 一次录制，无限复用

录制一次，AI 就能学会
生成的 Skill 可以被无限次执行
经验被真正沉淀下来

2. AI 重构，而非简单录屏

不只是记录操作，而是理解意图
自动提取有序步骤
泛化到工具调用

3. 工具优先，稳定可靠

优先使用 Agent 原生工具
不依赖 UI 回放
更加稳定可靠

4. 开源免费

MIT License
微软官方维护
社区贡献

局限

1. 需要 GitHub Copilot 访问权限

需要有 GitHub Copilot 访问权限的账户
Analyze 时需要发送数据到 GitHub 云端

2. 仅支持 macOS 和 Windows

macOS 是主要目标平台
Windows 11（x64 和 ARM64）支持
Linux 支持有限

3. 需要审查和编辑

AI 生成的意图和步骤需要人工审查
复杂任务可能需要多次调整

4. 依赖网络连接

Analyze 时需要连接到 GitHub 云端
离线环境下无法使用

九、最佳实践

1. 录制前准备

明确任务边界：

一次录制一个完整任务
避免录制过多无关操作
保持任务简洁清晰

添加旁白：

开启麦克风，口述关键步骤
解释为什么这样做
帮助 AI 更好地理解意图

2. 录制中操作

保持操作连贯：

避免频繁切换窗口
减少无关操作
保持任务流程清晰

注意敏感信息：

不要录制密码、令牌、API 密钥
使用环境变量或配置文件
避免在录制中暴露敏感数据

3. 录制后处理

审查生成内容：

检查意图是否准确
检查步骤是否完整
删除不必要的步骤

优化工具调用：

优先使用 Agent 原生工具
避免依赖 UI 回放
提高稳定性

添加参数化：

使用变量代替硬编码值
支持不同场景复用
提高 Skill 通用性

十、未来展望

短期未来

功能增强：

更好的意图重构
更准确的步骤提取
更强的泛化能力

性能优化：

更快的分析速度
更低的资源占用
更好的用户体验

中期未来

能力扩展：

支持更多平台（Linux）
支持更多语言（中文、日文等）
支持更多输出格式

生态建设：

更多 Agent 平台集成
更多社区贡献
更多使用案例

长期未来

智能化：

自动任务发现
自动 Skill 推荐
自动流程优化

标准化：

Skill 标准格式
Agent 互操作性
云端协同工作

十一、总结

Skill Recorder 的核心价值：

🎯 意图重构：不只是录屏，而是理解你「想做什么」
📝 步骤提取：自动提取有序步骤，生成结构化流程
🔄 泛化能力：从一个例子推广到所有相似任务
🛠️ 工具优先：优先使用 Agent 原生工具，而非 UI 点击回放
✅ 一次录制，无限复用：经验被真正沉淀下来

核心思想：

录制一次工作会话，AI 学会并无限复用。你的时间应该花在创造价值上，不是重复劳动。

参考资源

GitHub 项目：https://github.com/microsoft/skill-recorder
开发团队：Microsoft
技术栈：Electron + Vite + TypeScript + Node.js 24
开源协议：MIT License

声明：本文仅作技术分析，不构成任何使用建议。请注意保护敏感信息，避免录制密码、令牌、API 密钥等机密内容。