/alibabacloud-dataphin-skills

name: alibabacloud-dataphin-skills
description: |
  Dataphin skills 套件入口。通过场景关键词路由到具体子 Skill，覆盖数据规划、数据集成、数据开发、运维监控、数据安全、数据资产、数据服务 API 开发、知识图谱等完整业务流程。
  触发场景：数据源（创建数据源 / MaxCompute 数据源 / 数据源连通性校验）、计算源（创建计算源 / 更新计算源 / 计算源连通性）、项目与成员（创建项目 / 项目成员 / 租户成员 / 全局角色）、权限与安全（行级权限 / 列级权限 / 字段权限 / 数据源授权 / 数据分级分类 / 数据脱敏）、数据开发（即席查询 / 执行 SQL / 临时跑代码 / 提交批任务 / 更新批任务 / 按名称查任务 / 业务日期 / 租户根节点）、数据集成（数据同步 / 数据搬运 / 集成管道任务 / 更新管道）、运维监控（任务实例监控 / 查看日志 / 重跑实例 / 暂停实例 / 补数据）、数据服务（创建 API / 发布 API / 应用管理 / API 授权 / 权限绑定 / API 调用 / SDK 调用 / API 监控 / 调用日志 / 运维分析）、数据资产（数据标准 / 质量规则 / 主题域 / 业务实体 / 业务指标 / 查找表 / 标准映射 / 资产属性 / 资产查询）、知识图谱（本体模型 / 实体关系 / Schema / Cypher 图查询 / 邻居遍历 / 语义搜索）、非结构化数据（非结构化工作流 / 数据集 / 表结构）。

Dataphin Skill Suite

1. Installation（第一步，优先于一切：先过 CLI 版本闸门再读后续内容）

> **[MUST] 进入本套件的第一件事：先执行 §8 Step 0 第 0 步的「CLI 版本闸门」脚本，输出必须以 `PASS` 开头；未 PASS 不得执行下方任何安装/配置/业务命令。**

# 安装 aliyun CLI（>= 3.4.8）：https://github.com/aliyun/aliyun-cli
# 版本要求由 §8 Step 0 第 0 步「CLI 版本闸门」在每次会话开始时强制校验
# 各操作系统一键安装脚本见 ./references/cli-installation-guide.md

# 安装 dataphin-public 插件
aliyun plugin install --names aliyun-cli-dataphin-public

# 验证
aliyun dataphin-public --help

详见 [CLI 安装指南](./references/cli-installation-guide.md)。

2. Scenario Description

本套件是 Dataphin 产品的自动化能力集合，采用「套件入口 + 子 Skill」架构：

• **入口层**（本文档）：负责场景路由分发、session-id 生成、凭证预检
• **模块层**：按业务域分组（dataplan/manage/dev/ops/dataservice/pipeline/assets/...）
• **子 Skill 层**：每个子 Skill 对应一个完整业务场景

子 Skill 均位于 `references/<模块>/<子skill>/` 目录下（如 `references/dataplan/create-data-source/SKILL.md`），由本入口按路由表加载。

Architecture

用户请求 → 套件入口（路由分发）→ 模块/子 Skill（业务执行）→ 验证结果

当前子 Skill 拓扑（模块/子 Skill 二级结构）：

• `dataplan/create-data-source` — 创建数据源（87 种类型，含 ConfigItemList 配置）
• `dataplan/check-data-source-connectivity` — 数据源连通性检查
• `dataplan/create-compute-source/create-maxcompute-compute-source` — 创建 MaxCompute 计算源
• `dataplan/update-compute-source` — 更新计算源
• `dataplan/check-compute-source-connectivity` — 计算源连通性检查
• `dataplan/create-maxcompute-data-source` — 创建 MaxCompute 数据源并验证连通性
• `dataplan/create-project` — Dataphin 项目创建需求拆解、公开查询、依赖校验与白名单管理边界检查
• `dataplan/manage-project-member` — 项目成员管理（添加/移除/更新角色/查询列表）
• `manage/manage-tenant-member` — 租户成员管理（添加/移除/更新角色/查询列表）
• `manage/manage-row-level-permission` — 行级权限管理（查询/创建/更新/删除/按表或用户反查/授权账号查询）
• `manage/manage-column-permission` — 列级/字段级权限管理（字段授权/回收/记录查询/权限点校验）
• `dev/execute-ad-hoc-task` — 即席查询任务执行
• `dev/submit-batch-task` — 提交离线批任务
• `dev/update-batch-task` — 更新离线批任务
• `dev/find-tenant-root-node` — 查找租户虚拟根节点
• `dev/get-batch-task-info-by-name` — 按名称获取批任务详情
• `dev/get-bizdate` — 获取业务日期（bizdate）
• `dev/manage-resource-file` — 资源文件管理（上传 JAR/配置文件并创建/更新/查询/删除 Dataphin 资源）
• `ops/create-node-supplement` — 创建补数据任务
• `ops/rerun-task-instance` — 重跑任务实例
• `ops/monitor-task-instance` — 任务实例监控与日志查询
• `ops/pause-task-instance` — 暂停/恢复任务实例
• `pipeline/create-pipeline-task` — 创建集成管道任务（数据同步）
• `pipeline/update-pipeline-task` — 修改集成管道任务配置（调度/通道/组件，先查后改全量回写）
• `assets/create-standard` — 创建数据标准
• `assets/update-standard` — 更新数据标准
• `assets/manage-data-standard` — 数据标准全生命周期管理（创建/更新/发布/下线/删除/查询）
• `assets/manage-topic-domain` — 主题域全生命周期管理（查询/创建/更新/删除，组织数据仓库分层）
• `assets/manage-biz-entity` — 业务实体全生命周期管理（业务对象/业务活动的查询/创建/更新/上线/下线/删除）
• `assets/manage-biz-metric` — 业务指标定义管理（创建/更新/草稿与已发布态查询/删除）
• `assets/develop-metric` — 指标开发（找来源表 → 校验字段 → 建计算任务 → 登记自定义指标 → 核验关联）
• `assets/manage-asset-attributes` — 资产自定义属性管理（查属性定义 + 按 GUID 批量覆盖写属性值）
• `assets/query-asset-details` — 资产目录详情查询（属性/字段/使用说明 + 数据预览 + 血缘 + 质量概况四板块）
• `assets/resolve-asset-guid` — 资产 GUID 解析（按类型拼接 + 回读校验 + 搜索反查，为需要 GUID 的子 skill 提供前置）
• `assets/manage-lookup-table` — 数据标准码表管理（创建/查询/更新/删除，码值整体覆盖维护）
• `assets/manage-standard-mapping` — 标准落标映射管理（字段-标准双向查询/批量建映射/置无效/删除）
• `datasecurity/grant-data-source-permission` — 数据源授权给生产账号
• `datasecurity/manage-data-classification` — 数据分级分类管理（分级/分类/字段识别结果/启停清理）
• `datasecurity/manage-data-masking` — 数据脱敏需求拆解、字段标签前置检查与公开 API 边界确认
• `dataservice/create-and-publish-api` — 数据服务 API 创建与发布
• `dataservice/manage-app-and-bindauth` — 应用管理与 API 权限绑定
• `dataservice/call-data-service-api` — API 调用（零依赖 Python 脚本，同步/异步/SSE）
• `dataservice/monitor-api-operations` — 数据服务 API 运维监控（调用汇总、趋势分析、调用日志、异常影响分析）
• `knowledge-graph/manage-kg-schema` — 知识图谱本体模型管理（Schema CRUD、导入导出、发布）
• `knowledge-graph/manage-kg-knowledge` — 知识图谱知识数据管理（实体关系 CRUD、批量导入）
• `knowledge-graph/query-kg` — 知识图谱图数据查询（Cypher 查询、邻居遍历、语义搜索，纯只读）
• `assets/configure-quality-rule` — 配置数据质量规则全生命周期（监控对象/规则/调度告警/试跑/启停/看板）
• `unstructured-data/create-unstructured-workflow` — 创建非结构化工作流（需求 → 数据集 → 工作流 → 验证）
• `unstructured-data/update-unstructured-workflow` — 更新指定非结构化工作流（回读 → 局部修改 → 提交 → 验证）
• `unstructured-data/create-dataset` — 数据集全生命周期管理
• `unstructured-data/update-dataset-schema` — 更新数据集表结构（加列/重载 schema）

> **知识图谱共享前置**：图谱空间创建时绑定图引擎（Neo4j / Lindorm），**引擎决定可用的查询语言与建模约束**（Lindorm 不支持 Cypher）。进入任何 KG 子 skill 前先读 [图引擎能力矩阵](./references/knowledge-graph/graph-engine-capabilities.md) 并向用户确认引擎。

3. Environment Variables

| 变量 | 说明 | 必须 | |------|------|------| | ALIBABA_CLOUD_ACCESS_KEY_ID | RAM AccessKey ID | 是 | | ALIBABA_CLOUD_ACCESS_KEY_SECRET | RAM AccessKey Secret | 是 |

或通过 `aliyun configure` 配置 profile。

4. Authentication

Pre-check: Credentials Required

执行前必须确认凭证可用：

aliyun configure list
aliyun dataphin-public --help

**验证标准**：

• **[MUST]** CLI 版本闸门已 PASS（脚本与判定规则见 [§8 Step 0 第 0 步](#step-0-版本获取与门控每次会话必须首先执行不可跳过)，该检查已前置到 Step 0 第 0 步，先于本节所有检查执行）
• `aliyun configure list` 显示有效 profile
• `aliyun dataphin-public --help` 无报错

**Pre-check: Aliyun CLI plugin update required** > [MUST] 先执行 §8 Step 0 第 0 步的「CLI 版本闸门」脚本，确认输出以 `PASS` 开头（aliyun CLI >= 3.4.8）；输出 `FAIL` 时禁止执行下面两条命令及任何后续操作，必须先升级 CLI 并重跑闸门。 > [MUST] run `aliyun configure set --auto-plugin-install true` to enable automatic plugin installation. > [MUST] run `aliyun plugin update` to ensure that any existing plugins are always up-to-date.

4.1 环境自动判定（公共云 / 独立部署）

本套件为**单一产物**，同时服务公共云与独立部署客户。用户直接调用时我们并不预知其类型，**入口必须先自动判定环境**——类型永远由信号推断