/langsmith-wiki

name: langsmith-wiki
description: "LangSmith 官方文档离线 Wiki。用于查询 LangSmith Evaluation、数据集与实验、评估器（测评器）、LLM-as-judge、在线与离线评估、标注队列、Playground、Studio、追踪与可观测性、Prompt、部署、自托管和 REST API；不用于替代 LangChain 或 LangGraph SDK 的独立文档。"

LangSmith Wiki

使用随 Skill 打包的 Wiki 文档回答问题。离线文档是第一依据；只有本地材料不足、用户要求核对最新版或问题超出快照范围时，才补查规范来源。

资源

• [文档索引](references/INDEX.md)：浏览完整主题结构或搜索词不确定时读取。
• [来源与范围](references/SOURCE.md)：回答版本、许可证、完整性或时效性问题时读取。
• [抓取核对记录](references/capture-report.json)：核对导航、递归索引、站点地图、重定向与 Evaluation 覆盖时读取。
• [上游 MIT 许可](references/LICENSE.langchain.txt)：再分发时保留声明。
• `scripts/capture_langsmith.py`：重新盘点并抓取官方文档及配图，仅依赖 Python 3.10+ 标准库与公开网络。
• [更新协议](references/UPDATE.md)：用户要求刷新、同步或自动更新本 Wiki Skill 时读取。
• `references/docs/`：保持 Wiki 导航层级的 Markdown 正文；只读取与问题直接相关的文件。
• `references/wiki-manifest.json`：页面来源、路径和逐文档 SHA-256 清单。
• `scripts/search_docs.py`：零第三方依赖的本地全文检索。

回答工作流

1. 从当前 `SKILL.md` 所在目录确定 Skill 根目录，不假设用户工作目录。 2. 把问题提炼为 2–5 个关键词，保留产品名、类名、命令、包名和错误码。正文为英文，中文提问先转成对应术语：数据集 → `dataset examples splits version`，实验对比 → `compare experiments`，测评器 / 评估器 → `evaluator`，大模型裁判 → `LLM-as-judge`，在线评估 → `online evaluations`，人工标注 → `annotation queues`，轨迹评估 → `trajectory`，追踪 → `tracing`。默认中文回答，保留真实 API 名称。 3. 运行：

   python3 <skill-root>/scripts/search_docs.py "<keywords>"

数据集、离线实验与评估器问题可加 `--prefix Test`；在线评估在 `Monitor` 下，跨主题问题不要限定目录。搜索过宽时加 `--prefix <directory>`；没有结果时换同义词或旧/新术语重试一次。 4. 读取排名最高且互相补充的 1–3 篇文档。需要理解主题全貌时再读索引，不一次加载全部语料。 5. 根据已读资料给出直接结论、必要步骤和前置条件。版本、包名、导入路径、配置键和命令不能凭记忆补全。 6. 文档不足或用户要求最新版时，只补查 `references/SOURCE.md` 指定的规范来源，并明确标为在线补充。

快照边界

覆盖 1259 篇唯一官方正文、331 个配图资源。Evaluation 的 81 个导航入口全部覆盖，包括 Datasets & Experiments、Evaluators、Annotation Queues、Test from Playground 与 Test from Studio。目录保留当前官网的 Build / Test / Deploy / Monitor 与产品设置层级；重定向入口合并到唯一正文。REST API 文档已收录；独立 SDK API 参考站不在范围内。离线快照不保证与任意已安装 SDK 版本一致。

更新入口

用户要求更新本 Wiki Skill 时，完整阅读 [更新协议](references/UPDATE.md)。必须重新抓取完整范围到临时目录并先 dry-run；内容与元数据都没变化时保持正文、索引和清单原样。未经授权不得归档上游删页、创建后台任务、提交、推送或公开发布。

依赖与操作边界

本地检索和增量同步仅需 Python 3.10+ 标准库；用 `python3 --version` 验证。缺少兼容版本时停止脚本执行并说明缺口，不自动安装软件。抓取还需要访问官方文档站及 GitHub；批量失败或鉴权受限时停止，不用部分快照替换语料。文档中的创建 / 删除数据集、运行实验、部署、付费模型调用和账号配置只是参考说明；真正操作外部账号前核实具体授权，不因读取本 Skill 而执行。

常见陷阱

• 离线快照不天然代表最新版本；版本敏感问题先看来源边界。
• 搜索无结果不等于功能不存在。更换产品术语、类名、命令或目录前缀后再判断。
• 同一主题可能分散在概览、教程、参考和排障文档；必要时交叉读取。
• 示例中的凭据只能当占位符，不读取、输出或写入用户真实密钥。
• 清单中的来源 URL 只用于溯源，不能据此绕过登录或访问控制。

输出契约

回答至少包含：直接结论或可执行做法，以及 `参考文档` 列表（实际读取的 `references/docs/...` 相对路径）。快照可能过期、资料冲突或使用在线补充时再添加版本说明。证据不足时明确列出已搜索关键词和语料缺口，不编造答案。