Skill Seekers：AI 时代的知识预处理引擎
2026/6/18大约 9 分钟
Skill Seekers 是什么？
一句话：AI 系统的数据预处理层。
它把文档网站、GitHub 仓库、PDF、视频、Notebook、Wiki 等 18 种数据源，自动转换成结构化的知识资产——可以直接喂给 Claude、Gemini、OpenAI、LangChain、LlamaIndex、Cursor 等 21 个目标平台。
过去几天才能完成的数据预处理工作，现在 15-45 分钟搞定。
GitHub 3700+ 测试，24+ 框架预设，生产级可用。
核心定位：数据预处理层
问题：每个 AI 系统都需要「喂料」
你有没有遇到过这样的场景？
场景 1： 你想让 Claude 了解你公司的内部框架文档。你手动复制了 200 个页面的内容，整理成 Markdown，然后发现 Claude 的上下文窗口装不下。
场景 2： 你想搭建一个 RAG 系统，用 LangChain + Pinecone。你需要写爬虫抓文档、写分块逻辑、写 metadata 标注、写向量化代码。一周过去了，还在搞数据预处理。
场景 3： 你想让 Cursor 自动补全你们公司的业务代码。你把几十个文档文件塞进 .cursorrules，结果 AI 还是经常给出不相关的建议。
这些场景的共同问题是什么？
数据预处理。 每个人都在重复做同样的工作：抓取、清洗、分块、标注、格式化。
解决方案：一次预处理，导出到所有平台
Skill Seekers 的核心理念：
数据预处理只做一次，导出到所有目标平台。
┌─────────────────────────────────────────────────────────┐
│ Skill Seekers 架构 │
├─────────────────────────────────────────────────────────┤
│ │
│ 数据源（18 种） │
│ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ │
│ │文档 │ │GitHub│ │ PDF │ │视频 │ │Wiki │ ... │
│ │网站 │ │仓库 │ │ │ │ │ │ │ │
│ └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘ │
│ └───────┴───────┴───────┴───────┘ │
│ ↓ │
│ ┌─────────────────┐ │
│ │ Skill Seekers │ │
│ │ 预处理引擎 │ │
│ │ │ │
│ │ · 抓取/解析 │ │
│ │ · AST 分析 │ │
│ │ · 智能分块 │ │
│ │ · 分类标注 │ │
│ │ · AI 增强 │ │
│ └────────┬────────┘ │
│ ↓ │
│ ┌─────────────────┐ │
│ │ 结构化知识资产 │ │
│ │ (SKILL.md + │ │
│ │ reference files)│ │
│ └────────┬────────┘ │
│ ↓ │
│ 目标平台（21 种） │
│ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐ │
│ │Claude│ │Gemini│ │GPT │ │Lang │ │Cursor│ ... │
│ │Skill│ │ │ │ │ │Chain│ │ │ │
│ └─────┘ └─────┘ └─────┘ └─────┘ └─────┘ │
│ │
└─────────────────────────────────────────────────────────┘三步工作流
第一步：Create — 从任何数据源创建
# 安装
pip install skill-seekers
# 从文档网站创建
skill-seekers create https://docs.react.dev/
# 从 GitHub 仓库创建
skill-seekers create facebook/react
# 从本地项目创建
skill-seekers create ./my-project
# 从 PDF 创建
skill-seekers create manual.pdf
# 从 YouTube 视频创建
skill-seekers create --video-url https://www.youtube.com/watch?v=...支持的 18 种数据源：
| 类型 | 示例 |
|---|---|
| 文档网站 | React Docs、Django Docs |
| GitHub 仓库 | facebook/react |
| 本地项目 | ./my-project |
| PDF 文件 | manual.pdf |
| Word 文档 | report.docx |
| EPUB 电子书 | book.epub |
| Jupyter Notebook | notebook.ipynb |
| OpenAPI Spec | openapi.yaml |
| PowerPoint | presentation.pptx |
| AsciiDoc | guide.adoc |
| HTML 文件 | page.html |
| RSS/Atom Feed | feed.rss |
| Man Page | curl.1 |
| 视频 | YouTube、本地视频 |
| Confluence Wiki | --space-key TEAM |
| Notion 页面 | --database-id ... |
| Slack/Discord 导出 | --chat-export-path |
| 目录批量 | ./docs/site/ |
第二步：Enhance — AI 增强知识资产
Skill Seekers 不只是简单抓取，它还会用 AI 对内容进行深度分析和增强：
1. AST 解析
- 对 Python、JavaScript、TypeScript、Java、C++、Go 进行深度 AST 解析
- 提取函数、类、方法及其参数和类型信息
2. API 提取
- 自动提取 API 接口定义
- 识别参数类型和返回值
3. 智能分类
- 按主题自动组织内容
- 识别代码语言（Python、JavaScript、C++、GDScript 等）
4. AI 增强
- 生成 500+ 行的 SKILL.md 文件
- 包含代码示例、最佳实践和快速参考
- 支持多种 AI 代理增强（Claude、Codex、Kimi 等）
# 使用不同的 AI 代理增强
skill-seekers create https://docs.django.com/ --agent claude # 默认
skill-seekers create https://docs.django.com/ --agent codex # OpenAI Codex
skill-seekers create https://docs.django.com/ --agent kimi # Moonshot AI第三步：Package — 导出到任何平台
# 导出到 Claude
skill-seekers package output/react --target claude
# → output/react-claude.zip
# 导出到 LangChain
skill-seekers package output/react --target langchain
# → LangChain Documents
# 导出到 Cursor
skill-seekers package output/react --target cursor
# → .cursorrules
# 导出到 LlamaIndex
skill-seekers package output/react --target llama-index
# → LlamaIndex TextNodes
# 批量导出
for platform in claude gemini openai langchain; do
skill-seekers package output/django --target $platform
done支持的 21 个目标平台：
| 输出格式 | 目标平台 | 支持的 AI 系统 |
|---|---|---|
| Claude Skill (ZIP + YAML) | --target claude | Claude Code、Claude API |
| Gemini Skill (tar.gz) | --target gemini | Google Gemini |
| OpenAI / Custom GPT (ZIP) | --target openai | GPT-4o、Custom Assistants |
| LangChain Documents | --target langchain | QA Chains、Agents |
| LlamaIndex TextNodes | --target llama-index | Query Engines |
| Haystack Documents | --target haystack | Enterprise RAG |
| Pinecone-ready | --target markdown | Vector Upsert |
| ChromaDB / FAISS / Qdrant | --target chroma/faiss/qdrant | 本地向量数据库 |
| Cursor .cursorrules | --target markdown | Cursor IDE |
| Windsurf / Cline / Continue | --target claude | VS Code 等 IDE |
核心能力详解
1. 文档抓取：三层发现机制
对于 JavaScript SPA 网站，Skill Seekers 使用三层发现机制：
第一层：sitemap.xml
↓ （如果找不到）
第二层：llms.txt（LLM 友好的文档文件，速度快 10 倍）
↓ （如果找不到）
第三层：Headless Browser 渲染这意味着：几乎可以抓取任何文档网站。
2. 视频知识提取
这是 Skill Seekers 最独特的能力之一：
从 YouTube 和本地视频中提取：
- 字幕/转录文本
- 屏幕上的代码（OCR 识别）
- 结构化知识内容
技术亮点：
- GPU 自动检测：自动安装正确的 PyTorch 版本（CUDA/ROCm/MPS/CPU）
- 视觉帧分析：从代码编辑器、终端、幻灯片中提取代码
- AI 两遍增强：第一遍清理 OCR 伪影，第二遍生成 SKILL.md
- 时间裁剪：用
--start-time和--end-time提取特定片段 - 播放列表支持：批量处理 YouTube 播放列表中的所有视频
# 从 YouTube 视频提取知识
skill-seekers create --video-url https://www.youtube.com/watch?v=...
# 提取特定时间段
skill-seekers create --video-url https://... --start-time 120 --end-time 3003. 冲突检测：文档 vs 代码
Skill Seekers 的多源融合能力让它能自动检测文档和代码之间的差异：
工作原理：
- 同时抓取文档网站和 GitHub 仓库
- 对比文档中描述的 API 和代码中实际实现的 API
- 自动发现差异
检测内容：
- 文档中描述但代码中不存在的 API（文档过时）
- 代码中存在但文档中没提到的功能（文档缺失）
- 参数类型不一致（文档说 string，代码用 number）
# 同时抓取文档和代码，自动检测冲突
skill-seekers create https://docs.example.com/ --multi-source github:example/repo报告格式：
- 并排对比（side-by-side comparison）
- ⚠️ 警告标记
- 智能合并（基于规则或 AI 驱动）
4. AI 驱动的项目扫描
# 扫描项目，自动检测框架
skill-seekers scan ./my-react-app --out ./configs/scanned/
# → react.json, vite.json, tailwind.json, jest.json, my-react-app-codebase.json扫描能力：
- 读取项目的 manifests（package.json、requirements.txt 等）
- 分析 README、Dockerfile、CI 配置
- 采样源代码的 import 语句
- 为每个检测到的框架生成一个配置文件
- 固定检测到的版本号
如果检测到的框架没有预设配置，AI 会自动生成一个新的。
实际应用场景
场景一：Claude Code 技能开发
目标： 让 Claude Code 了解你公司的内部 UI 组件库。
# 1. 从组件库文档创建
skill-seekers create https://internal-design-system.company.com/
# 2. 同时合并 GitHub 源码（自动检测文档与代码的差异）
skill-seekers create https://internal-design-system.company.com/ \
--multi-source github:company/design-system
# 3. 导出到 Claude 格式
skill-seekers package output/design-system --target claude
# 4. 上传到 Claude
skill-seekers upload output/design-system-claude.zip结果： Claude Code 现在完全了解你的组件库 API、用法和最佳实践。
场景二：RAG 管道搭建
目标： 用 LangChain + Pinecone 搭建一个文档问答系统。
# 1. 从多个数据源创建
skill-seekers create https://docs.fastapi.com/
skill-seekers create tiangolo/fastapi
skill-seekers create ./internal-api-docs/
# 2. 合并为统一知识资产
skill-seekers merge output/fastapi output/fastapi-github output/internal-docs \
--name unified-api-knowledge
# 3. 导出到 LangChain 和 Pinecone
skill-seekers package output/unified-api-knowledge --target langchain
skill-seekers package output/unified-api-knowledge --target markdown结果： 省去了一周的数据预处理工作，直接得到 LangChain Documents 和 Pinecone-ready 的分块数据。
场景三：Cursor 持久化上下文
目标： 让 Cursor 始终了解你使用的技术栈。
# 1. 扫描项目，自动检测框架
skill-seekers scan ./my-project --out ./configs/
# 2. 为每个框架生成技能
skill-seekers create ./configs/react.json
skill-seekers create ./configs/tailwind.json
# 3. 导出到 Cursor 格式
skill-seekers package output/react --target cursor
skill-seekers package output/tailwind --target cursor
# 4. 复制到项目根目录
cp output/react/SKILL.md .cursorrules结果： Cursor 现在自动了解你使用的所有框架，不需要每次提示。
技术架构亮点
多 LLM 平台支持（12 个平台）
Skill Seekers 的 AI 增强步骤不绑定 Anthropic，支持多种 AI 提供商：
| 平台 | 格式 | 自动上传 | API Key |
|---|---|---|---|
| Claude AI | ZIP + YAML | ✅ | ANTHROPIC_API_KEY |
| Google Gemini | tar.gz | ✅ | GOOGLE_API_KEY |
| OpenAI ChatGPT | ZIP + Vector Store | ✅ | OPENAI_API_KEY |
| MiniMax AI | ZIP + Knowledge Files | ✅ | MINIMAX_API_KEY |
| Generic Markdown | ZIP | ❌ | 无需 |
更有省钱技巧： 可以用 --agent codex 或 --agent claude 直接调用你已有的订阅（ChatGPT Plus / Claude Pro），无需消耗 API 额度。
MCP 集成（40 个工具）
Skill Seekers 提供了完整的 MCP（Model Context Protocol）服务器，包含 40 个工具：
# 自然语言操作"
"帮我抓取 GitHub 仓库 facebook/react"
"把这个技能导出为 LangChain 格式"
"检测文档和代码之间的冲突"24+ 框架预设
开箱即用的框架配置：
Web 框架： React、Vue、Django、FastAPI、Next.js 游戏引擎： Godot、Unity 其他： Tailwind、Jest、Vite、Pytest
生态体系
Skill Seekers 不只是一个 CLI 工具，它是一个完整的生态系统：
| 仓库 | 说明 |
|---|---|
| Skill_Seekers | 核心 CLI 和 MCP 服务器 |
| skillseekersweb | 官方网站和文档 |
| skill-seekers-configs | 社区配置仓库 |
| skill-seekers-action | GitHub Action（CI/CD 集成） |
| skill-seekers-plugin | Claude Code 插件 |
| homebrew-skill-seekers | macOS Homebrew Tap |
与同类工具的对比
| 维度 | 手动预处理 | 自写爬虫 | Skill Seekers |
|---|---|---|---|
| 时间成本 | 数天 | 数天（开发）+ 维护 | 15-45 分钟 |
| 数据源支持 | 手动 | 自定义 | 18 种内置 |
| 目标平台 | 手动适配 | 自定义 | 21 种内置 |
| 代码分析 | 无 | 取决于实现 | AST 深度解析 |
| 冲突检测 | 人工 | 无 | 自动 |
| AI 增强 | 无 | 无 | 内置（多 LLM） |
| 维护成本 | 高 | 高 | 低（社区维护） |
| 视频支持 | 无 | 无 | 内置 |
| 测试覆盖 | - | 取决于实现 | 3700+ 测试 |
关键洞察
Skill Seekers 解决的核心问题是：AI 系统的数据预处理瓶颈。
过去： 每个 AI 项目都要重复做数据抓取、清洗、分块、格式化的工作。
现在： 一次预处理，导出到所有平台。
核心价值主张：
- 一次预处理，到处导出 — 18 种数据源，21 个目标平台
- 99% 更快 — 从数天到 15-45 分钟
- 生产级质量 — 3700+ 测试，24+ 框架预设
- AI 增强 — 自动生成 500+ 行的 SKILL.md
- 冲突检测 — 自动发现文档和代码之间的差异
- 多 LLM 支持 — 12 个平台，可以用已有订阅
- 视频提取 — 从 YouTube 视频中提取结构化知识
如果你在做以下任何一件事，Skill Seekers 都能帮你省掉大量时间：
- 为 Claude / Gemini / GPT 创建 AI 技能
- 搭建 RAG 管道（LangChain / LlamaIndex / Haystack）
- 配置 Cursor / Windsurf / Cline 的上下文
- 把公司内部文档变成 AI 可用的知识
- 从视频中提取教程知识
一条命令，知识就位。
Skill Seekers
AI 时代的知识预处理引擎