/db-ai-github-paper-weekly-news

name: db-ai-github-paper-weekly-news
description: 抓取并汇总"数据库、AI、GitHub、AI 论文"近 1 周新闻，输出图文并茂（含 mermaid 图）的 markdown 周报到当前项目的 markdown/ 目录。覆盖 10 个数据源：postgresweekly.com/issues（自动解析最新 issue 编号）、planet.postgresql.org、planet.postgis.net、postgresql.org/about/newsarchive/、git.postgresql.org shortlog、duckdb.org/news/、aibase.com/zh、ai-bot.cn/daily-ai-news、github.com/trending?since=weekly、huggingface.co/papers/trending。适用于：用户提出"生成周报"、"本周数据库+AI+GitHub+论文快讯"、"跑一次 db-ai-weekly"、"weekly news"等需求。

DB+AI+GitHub+Paper 周报

概述

从 10 个数据源抓取最近 7 天内容，按"PostgreSQL 生态 / 其他数据库 / AI 新闻 / GitHub 趋势 / AI 论文"5 大类汇总，生成含 mermaid 图表的 markdown 周报，写入当前项目 `markdown/` 目录（默认文件名 `db-ai-weekly-YYYY-MM-DD.md`，日期为执行当天）。

数据源清单

| # | 类别 | URL | 抓取策略 | |---|---|---|---| | 1 | PG 周报 | `https://postgresweekly.com/issues` | **动态**：先抓 `/issues` 解析最新 issue 编号（如 `652`），再抓 `/issues/<N>` | | 2 | PG 社区 | `https://planet.postgresql.org/` | RSS / 列表页 | | 3 | PostGIS | `https://planet.postgis.net/` | RSS / 列表页 | | 4 | PG 官方 | `https://www.postgresql.org/about/newsarchive/` | 列表页 | | 5 | PG 内核 | `https://git.postgresql.org/gitweb/?p=postgresql.git;a=shortlog` | shortlog HTML（**可能需要人工验证**，详见 `references/human-verification.md`） | | 6 | DuckDB | `https://duckdb.org/news/` | 列表页 | | 7 | AI 国内 | `https://www.aibase.com/zh` | 列表页 + 文章页 | | 8 | AI 国内 | `https://ai-bot.cn/daily-ai-news/` | 列表页 | | 9 | GitHub | `https://github.com/trending?since=weekly&spoken_language_code=` | 列表页 | | 10 | 论文 | `https://huggingface.co/papers/trending` | 列表页 |

工作流（执行步骤）

按以下顺序执行；任一步失败不阻塞整体，错误归入"数据源覆盖"章节的失败表。

Step 1. 解析动态 URL

• 对 `postgresweekly.com/issues`：用 `mcp__MiniMax__web_search` 或 `WebFetch` 抓 `/issues`，从侧栏/列表中识别最新 issue 编号 N（纯数字），构造 `https://postgresweekly.com/issues/<N>` 作为实际抓取入口。
• 其他源直接用表中 URL。

Step 2. 并行抓取（每个源独立调用 WebFetch / WebSearch）

使用 `mcp__MiniMax__web_search`（根据 `CLAUDE.md` 规则）或 `WebFetch`。每个源返回结构化字段：

{
  source_id: 1..10,
  url: 实际抓取 URL,
  status: "ok" | "empty" | "error" | "human_required",
  status_detail: "529" / "NO_RECENT_ITEMS" / ...,
  items: [
    {
      date: "2026-06-16",
      title: "...",
      url: "...",
      summary: "一句话摘要",
      tags: ["PG", "内核", "逻辑复制"]   // 用于分类
    }
  ]
}

判定"近 1 周"用 `date >= today - 7 days`，按数据源给出的发布时间为准；无法解析日期的退回到抓取当日。

Step 3. 失败 / 人工验证处理

• HTTP 5xx、429、超时 → `status="error"`，在周报"数据源覆盖"章节标 ❌，建议下次重跑。
• 抓取到 HTML 但无符合时间窗的条目 → `status="empty"`，标 ⚠️（可能是上游结构调整或确实缺内容）。
• git.postgresql.org 可能被 anti-bot 拦截 → `status="human_required"`，调用 `references/human-verification.md` 中的兜底：先 `mcp__MiniMax__web_search` 搜近 7 天 `postgresql.git commit Michael Paquier` / `Heikki Linnakangas` 等核心 committer 名，从搜索摘要凑出关键 commit 列表。
• aibase.com / ai-bot.cn 内容可能包含微信公众号跳转链接，优先保留公众号原文链接而非落地页。

Step 4. 分类汇总

按以下 5 章输出：

1. **🐘 PostgreSQL 生态** —— #1–#5 源，按子类聚合：内核提交（含 commit hash + 作者 + 一句话）、社区博客、PostGIS、官方公告。 2. **🦆 其他数据库（DuckDB 等）** —— #6 源。 3. **🤖 AI 新闻** —— #7、#8 源，国内为主，去重合并同主题条目（如"Seedance 2.0 mini"在 aibase 和 ai-bot 都有时合并为一条，标注双源）。 4. **⭐ GitHub 趋势项目（weekly）** —— #9 源，含仓库名、描述、star 增量、语言。 5. **📄 AI 论文（HuggingFace Trending）** —— #10 源，含论文标题、机构、摘要、链接、热度指标。

每章首段放一个 mermaid 图（见 Step 5）。

Step 5. Mermaid 图表

按 `references/output-template.md` 中的模板，固定生成以下图（即使某些源失败，对应图表也保留框架并标注缺失）：

• **开篇 pie 图**：本周条目分类占比（5 大类 + 失败/空响应）。
• **timeline 图**：近 7 天每日发布密度，重要事件挂时间线上。
• **PG 内核 mindmap**：本周 PG 内核变更主题（逻辑复制 / pg_restore / RI 快路径 / XML / 类型 / 其他）。
• **AI 主题 mindmap**：开源模型 / Coding Agent / 视频生成 / 行业整合 / 智能体工具链。
• 视数据情况可加 **GitHub trending 分类饼图**、**论文主题旭日图**（mermaid 不支持时用 markdown 列表替代）。

Step 6. 数据源覆盖表

固定章节（七、数据源覆盖），表格列：`# | 类别 | 源 | 状态 | 抓到条目数 | 备注`。

状态枚举：

• ✅ `ok`：≥1 条命中时间窗。
• ⚠️ `empty`：HTTP 200 但无近 7 天条目。
• ❌ `error`：HTTP 非 2xx / 网络异常。
• 🙋 `human_required`：anti-bot 或需浏览器验证，按 `references/human-verification.md` 兜底。

Step 7. 写入 markdown

• 路径：`<cwd>/markdown/db-ai-weekly-YYYY-MM-DD.md`（若 `markdown/` 不存在则创建）。
• 命名：当天日期。如果当天文件已存在，文件名追加 `-HHMM` 后缀避免覆盖。
• 文件末尾追加一行：`*本周报由 db-ai-github-paper-weekly-news skill 于 YYYY-MM-DD HH:MM 自动生成。条目均附原始来源链接，请以原文为准。*`

关键规则

1. **不编造条目** —— 抓不到就标 ⚠️，绝不凭训练记忆补内容（参考用户 `feedback_verify_before_writing`）。 2. **跨源同主题合并** —— AI 新闻常有多源覆盖，合并时优先保留最早发布时间，标题取最完整版本。 3. **保留原链接** —— 每条条目附原始 URL；公众号文章保留 mp.weixin.qq.com 链接。 4. **中文为主** —— aibase / ai-bot 已是中文，保留原标题；英文源（postgresweekly / duckdb / github / huggingface）翻译或保留英文均可，但标签用中文（如"内核""逻辑复制""视频生成"）。 5. **遵循 `~/.claude/CLAUDE.md` 的 WebSearch 规则** —— 用 `mcp__MiniMax__web_search` 而非内置 `web_search`。 6. **章节顺序固定** —— 七章结构按模板，便于跨周对比。

资源

• `scripts/crawl.py` — 10 源抓取编排（动态 URL 解析 + 并行抓取 + 错误归类）。
• `scripts/parse_postgresweekly.py` — postgresweekly.com 专用，解析最新 issue 编号。
• `scripts/parse_postgres_git.py` — git.postgresql.org shortlog 解析（含 human_required 兜底）。
• `scripts/render_report.py` — 把抓取结果渲染为最终 markdown。
• `references/output-template.md` — markdown 模板（章节结构 + mermaid 片段）。
• `references/human-verification.md` — anti-bot 源兜底方案。

触发词

• "生成 db-ai-weekly 周报"
• "跑一次本周数据库+AI+GitHub+论文汇总"
• "weekly news 抓一下"
• "本周 pg + ai 速览"