Claude Video：让 Claude "看"懂任何视频

Fen9Pi2026/7/28大约 11 分钟

前言：当 Claude 遇上视频

想象这样一个场景：

你想让 AI 帮你分析一个 YouTube 视频：

提取关键信息
总结内容要点
分析视频结构
找出特定时刻的内容 " 问题来了：Claude 可以阅读网页、运行脚本、浏览代码库，但它不能"看"视频。

你只能：

手动观看视频
复制视频链接，希望 Claude 能从标题猜测内容
使用不完整的转录文本，丢失 90% 的视觉信息

如果 Claude 能真正"看"视频呢？

Claude Video 正是这样的工具：让 Claude 能够"看"任何视频，提取帧、转录音频，将所有视觉和听觉信息交给 Claude 分析。

今天，我们就来分析这个革命性的开源项目。

一、项目概览

1.1 是什么？

Claude Video 是一个 Claude/Codex 插件，让 AI 能够"看"任何视频。

核心命令：/watch

核心特点：

✅ 支持多种来源：URL（YouTube、Loom、TikTok、X、Instagram 等）和本地文件（.mp4、.mov、.mkv、.webm）
✅ 智能提取：自动使用字幕（免费），如果没有字幕则使用 Whisper API
✅ 场景感知：提取帧（场景感知或快速关键帧）
✅ 时间戳转录：带时间戳的转录
✅ 并行读取：Claude 并行读取每一帧作为图像
✅ 零配置：yt-dlp 和 ffmpeg 在首次运行时自动安装

项目地址：https://github.com/bradautomates/claude-video 开源协议：MIT License

1.2 核心价值

传统 AI 视频分析的痛点：

只能从标题猜测内容
转录文本丢失 90% 的视觉信息
无法看到视频中的画面
无法定位到特定时刻

Claude Video 的解决方案：

下载并提取视频帧
转录音频（字幕或 Whisper）
将所有信息交给 Claude
Claude 真正"看"到了视频

二、核心功能

2.1 /watch 命令

基本用法：

/watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark?

支持的来源：

URL：YouTube、Loom、TikTok、X、Instagram，以及几百个更多平台（任何 yt-dlp 支持的平台）
本地文件：.mp4、.mov、.mkv、.webm

输出内容：

帧路径（带 t=MM:SS 标记）
转录文本（带时间戳）
Claude 并行读取每一帧

2.2 实际应用场景

1. 分析别人的内容

/watch https://youtu.be/<viral-video> what hook did they open with?

Claude 会：

查看第一帧
阅读开头转录
分析结构

适用场景：

病毒式传播视频
广告创意
竞争对手发布
播客开场
任何"如何"和"什么"同样重要的内容

2. 从视频中诊断 bug

/watch bug-repro.mov what's going wrong?

Claude 会：

观看录屏
找到问题出现的帧
描述屏幕上的内容
往往能找到原因，无需你打开文件

适用场景：

错误报告
用户反馈视频
测试录屏

3. 总结视频

/watch https://youtu.be/<long-thing> summarize this

Claude 会：

提取结构
找出关键时刻
总结实际说的内容和显示的内容

适用场景：

长视频总结
会议录像
教程视频

4. 去除炒作的更新视频

/watch https://youtu.be/<launch-video> what's actually new — skip the hype

Claude 会：

剥离"游戏改变者"的功能发布
提炼出少数重要的事情
让你获得实质内容，而不是 10 分钟的介绍和过度销售

适用场景：

产品发布视频
功能更新视频
营销视频

5. 将播放列表转化为笔记

/watch https://youtu.be/<video> summarize this to a note

跨系列运行并归档每个视频的摘要，这样频道或课程变成可搜索的笔记集，而不是你必须坐下来度过的数小时。

适用场景：

课程学习
播放列表总结
知识管理

三、技术架构

3.1 工作流程

流程图1

3.2 核心组件

1. yt-dlp

下载视频和字幕
检查字幕是否存在
支持几百个平台

2. ffmpeg

提取帧
提取音频
调整分辨率

3. Whisper

Groq 的 whisper-large-v3（首选——更便宜更快）
OpenAI 的 whisper-1
提取单声道 16 kHz 64 kbps mp3 音频片段（~480 kB/min）

4. Claude

并行读取每一帧
JPEG 直接作为图像渲染在其上下文中
基于实际看到的和听到的回答

四、细节模式

4.1 四种模式

1. transcript（仅字幕）

引擎：none（字幕）
帧：0
提取时间：~4.5 s（一次 yt-dlp 调用，不下载）
时间覆盖：full（文本）
估计图像 token：0（≈26.6k 文本 token）

最便宜的模式：

仅字幕
不下载视频
不提取帧

2. efficient（关键帧）

引擎：keyframe（-skip_frame nokey）
帧：50
提取时间：~0.5 s
时间覆盖：0:00 → 49:04（full）
估计图像 token：~9.8k

速度最快：

只重建关键帧
比场景模式快约 40 倍
可以在低动态镜头上返回更多帧

3. balanced（场景变化）

引擎：scene-change
帧：100
提取时间：~20.9 s
时间覆盖：0:00 → 48:38（full）
估计图像 token：~19.7k

平衡模式：

场景变化检测
解码每一帧以找到剪辑点
平衡速度和保真度

4. token-burner（无上限场景变化）

引擎：scene-change
帧：116
提取时间：~21.0 s
时间覆盖：0:00 → 48:38（full）
估计图像 token：~22.8k

最高保真度：

场景变化检测
无上限
保留所有帧

4.2 帧预算——为什么重要

Token 成本主要由帧驱动 每一帧都是一张图像；图像 token 很快累积。脚本的自动 fps 逻辑存在，这样你就不会在稀疏扫描 30 分钟的视频上消耗上下文预算，而聚焦的 30 秒窗口会更好回答。

时长	默认帧预算	你得到什么
≤30 s	~30 帧	密集——基本上每个关键时刻
30 s - 1 min	~40 帧	仍然密集
1 - 3 min	~60 帧	舒适
3 - 10 min	~80 帧	稀疏但可用
>10 min	100 帧（上限模式）	"稀疏扫描"警告——重新运行聚焦，或 --detail token-burner 进行完整无上限覆盖

聚焦模式：当用户命名一个时刻（"around 2:30"、"the last 30 seconds"、"from 0:45 to 1:00"），传递 --start / --end。聚焦模式获得更密集的每秒预算，上限为 2 fps。这比稀疏地通过整个内容有用得多。

五、帧去重

5.1 问题

帧选择——关键帧（efficient）、场景变化检测（balanced/token-burner）或它回退的均匀采样器——仍然可能产生几乎相同的帧：一个屏幕录屏保持一张幻灯片 90 秒会产生一打，每一张都作为单独的图像计费。

5.2 解决方案

去重流程：

一个 ffmpeg 调用将每个提取的 JPEG 缩放为 16×16 灰度缩略图。之后的一切都是纯 stdlib Python——没有图像库。
对于每一帧，计算相对于最后保留的帧的平均绝对差异（每像素亮度变化的平均值，0-255 尺度）。
如果该差异处于或低于阈值（2.0），则该帧是近似重复并被删除。否则它被保留并成为新的参考。
帧预算上限在去重后应用，因此预算花在不同的帧上。

5.3 为什么有效

比较相对于最后保留的帧（而不是前一帧）：

捕获永远不会触发帧对帧阈值的慢速淡入。

阈值故意很低：

测量绝对亮度而不是结构
一行代码 diff、终端滚动一行或两种不同颜色的平坦幻灯片都幸存。

报告： Frames 行报告了什么被折叠，例如 6 selected from 14 candidates (… 8 near-duplicates dropped …)。在总是移动的镜头上没有任何东西被删除，你支付你本来要支付的。

六、安装与使用

6.1 安装方式

方式 1：Claude Code（推荐）

/plugin marketplace add bradautomates/claude-video
/plugin install watch@claude-video

稍后更新：

/plugin update watch@claude-video

方式 2：Codex、Cursor、Copilot、Gemini CLI 和 50+ 其他主机

Agent Skills CLI 安装技能到它检测的任何代理：

npx skills add bradautomates/claude-video -g

-g 为你的用户全局安装（~/.codex/skills、~/.cursor/skills 等）；删除它以安装到当前项目。

有用标志：

-a, --agent——定位特定主机，例如 -a codex -a cursor
-l, --list——列出此仓库中的技能而不安装
--copy——复制文件而不是符号链接（对于没有符号链接支持的文件系统）

稍后更新：

npx skills update watch -g

方式 3：claude.ai（网页）

从最新发布下载 watch.skill。
转到 Settings → Capabilities → Skills。
点击 + 并删除文件。

首先在 Capabilities 下启用"代码执行和文件创建"——技能 shell 出到 ffmpeg 和 yt-dlp，所以没有它就不会运行。

方式 4：手动（开发者） 克隆仓库并将自包含技能文件夹符号链接到你主机的技能目录——符号链接使安装与你的工作树同步，当你编辑时：

git clone https://github.com/bradautomates/claude-video.git
ln -s $(pwd)/skills/watch ~/.codex/skills/watch

6.2 使用步骤

1. 安装依赖

yt-dlp 和 ffmpeg 在首次运行时自动安装（macOS 上通过 brew，Linux/Windows 打印确切命令）

2. 使用 /watch 命令

/watch https://youtu.be/<video-id> <question>

3. 选择细节模式

transcript（默认）：仅字幕
efficient：快速关键帧
balanced：场景变化检测（默认）
token-burner：无上限场景变化

4. 可选参数

--detail <mode>：选择细节模式
--start <time>：开始时间
--end <time>：结束时间
--resolution <size>：分辨率（默认 512px）
--no-dedup：禁用去重

七、优势与局限

7.1 优势

1. 真正"看"视频

不仅从标题猜测
不仅使用不完整的转录
真正看到视频中的画面

2. 智能提取

自动使用字幕（免费）
如果没有字幕则使用 Whisper API
场景感知或快速关键帧

3. 灵活模式

transcript：最便宜
efficient：最快
balanced：平衡
token-burner：最高保真度

4. 多平台支持

Claude Code
Codex
Cursor
Copilot
Gemini CLI
claude.ai
50+ 其他主机

5. 开源免费

MIT 协议
完全开源
可定制

7.2 局限

1. Token 成本

帧消耗大量 token
长视频可能很贵
需要合理使用帧预算

2. 处理时间

下载需要时间
提取帧需要时间
转录需要时间

3. Whisper API 成本

如果没有字幕，需要使用 Whisper API
Groq 或 OpenAI Whisper
额外成本

4. 视觉保真度

依赖分辨率设置
依赖视频质量
依赖帧密度

八、最佳实践

8.1 选择合适的模式

短视频（<1 min）

使用 balanced 或 token-burner
帧预算充足
可以看到所有细节

中等视频（1-10 min）

使用 balanced
帧预算适中
平衡速度和保真度

长视频（>10 min）

使用 transcript 或 efficient
或者使用 --start / --end 聚焦
避免稀疏扫描

8.2 使用聚焦模式

不要对整个视频使用稀疏扫描

❌ 差：/watch https://youtu.be/<long-video> summarize this
✅ 好：/watch https://youtu.be/<long-video> --start 2:30 --end 3:30 what happens here?

好处：

更密集的每秒预算
更有用的分析
更低的成本

8.3 利用字幕

如果视频有字幕

使用 transcript 模式
最便宜
最快

如果视频没有字幕

使用 balanced 模式
会自动使用 Whisper
平衡成本和保真度

8.4 清理工作目录

如果没有后续问题

Claude 会自动删除工作目录
节省磁盘空间

如果有后续问题

工作目录会保留
可以继续分析

九、未来展望

9.1 短期未来

功能增强：

支持更多视频平台
优化帧提取算法
改进去重逻辑

性能优化：

加快下载速度
加快提取速度
降低 token 成本

9.2 中期未来

能力扩展：

支持音频分析
支持视频剪辑
支持批量处理

生态建设：

更多模板
更多预设
更多教程

9.3 长期未来

智能化：

自动选择最佳模式
自动优化帧预算
自动清理重复帧

标准化：

建立视频分析标准
建立最佳实践
建立社区

十、总结

10.1 核心回顾

Claude Video：

✅ 让 Claude "看"任何视频
✅ 提取帧、转录音频
✅ 四种细节模式
✅ 多平台支持
✅ 开源免费

核心价值：

让 AI 真正"看"视频
不仅从标题猜测
不仅使用不完整的转录
真正看到视频中的画面

10.2 关键要点

"从猜测到看到"

传统方式只能从标题猜测内容，Claude Video 让 AI 真正"看"到视频。

"从文本到多模态"

传统方式只能使用文本转录，Claude Video 结合帧和转录，提供多模态分析。

"从全量到聚焦"

不要对整个视频使用稀疏扫描，使用聚焦模式获得更密集的分析。

10.3 最终思考

Claude Video 的本质：

"Claude Video 不是要替代人类观看视频，而是要让 AI 能够理解视频内容，帮助人类更快地提取信息、分析内容、做出决策。"

核心价值：

真正"看"视频
智能提取
灵活模式
多平台支持
开源免费

这就是 Claude Video 的野心：让 Claude "看"懂任何视频，让 AI 视频分析成为现实。

参考资源

GitHub 项目：https://github.com/bradautomates/claude-video
Agent Skills：https://agentskills.io
yt-dlp：https://github.com/yt-dlp/yt-dlp
ffmpeg：https://ffmpeg.org/
Whisper：https://openai.com/research/whisper

如果你觉得这篇文章有帮助，欢迎点赞、转发，让更多人了解这个让 Claude "看"懂任何视频的强大工具！