/create-dataset

name: create-dataset
description: |-
  创建 Dataphin 非结构化数据集（含全生命周期管理）：设计确认 → list-datasets 查重 → create-dataset 创建 → get-dataset 回读验证；
  另覆盖 update-dataset 更新、delete-dataset 删除（高危）。
  当用户场景涉及数据集（Dataset）的创建 / 查询 / 复用 / 更新 / 删除，或为非结构化工作流准备输入输出载体时进入。

  触发词：创建数据集、新建数据集、数据集管理、元数据表、表结构设计、向量表、Milvus 数据集、
  create-dataset、list-datasets、get-dataset、update-dataset、delete-dataset、Dataset。

  关键限制：Scenario/Type/StorageType/MetadataStorageType/ContentType 五字段创建后不可变；同项目数据集名唯一；
  Milvus 必须主键+向量字段齐备；delete-dataset 无回收站且不自查下游引用；写操作前必须 HITL 确认。

创建 Dataphin 非结构化数据集（设计 → 查重 → 创建 → 回读验证）

1. Scenario Description

数据集是 Dataphin 非结构化数据处理的输入输出载体（文件存储 + 元数据表）。本 skill 覆盖数据集全生命周期：

1. **设计确认**：五个不可变字段 + 表 schema 一次定型，经用户确认； 2. **查重复用**：`list-datasets` 按关键词搜索，命中且配置匹配则直接复用； 3. **创建**：`create-dataset` 提交 CreateCommand（含 VersionConfig / TableSchema）； 4. **回读验证**：`get-dataset` 回读 DatasetDTO + VersionList 确认落库正确（下游工作流环境值的唯一来源）； 5. **更新 / 删除**：`update-dataset`（FileId 必填）/ `delete-dataset`（高危，先自查下游引用）。

**Architecture**：`Dataphin Tenant + Project + Dataset(文件存储数据源 OSS/S3 + 元数据存储数据源 PG/Milvus/Lindorm) + DatasetVersion(V1/V2…携带存储配置与表 schema)`。

**典型下游**：创建完数据集后，通常衔接 `create-unstructured-workflow` skill 组装非结构化工作流（工作流 JSON 的环境值从本 skill 的 get-dataset 回读结果取）。

2. Installation

aliyun plugin install --names aliyun-cli-dataphin-public

（详见 [`references/cli-installation-guide.md`](references/cli-installation-guide.md)）

3. Environment Variables

**认证信息统一使用阿里云 CLI 配置（profile）：凭证预先通过 `aliyun configure --profile <name>` 配置，本 skill 不直接读取 AK/SK 环境变量或任何本地文件。**

| 配置项 | 必填 | 说明 | |---|---|---| | CLI profile | 是 | `aliyun configure list` 中的有效 profile（AK / STS / RamRoleArn 均可）；执行命令时用 `--profile <name>` 指定，缺省用默认 profile | | endpoint | 独立部署时必填 | 公共云用默认 endpoint；独立部署/POC 环境由父 skill Step 0 配置专用 profile（含 endpoint）并统一透传 | | `DATAPHIN_PROFILE` | 否 | 多租户场景下的 dataphin 本地 profile 名（`--dataphin-profile`） |

4. Authentication

> **Pre-check: Alibaba Cloud Credentials Required** > > **Security Rules:** > - **NEVER** read, echo, or print AK/SK values > - **NEVER** ask the user to input AK/SK directly in the conversation or command line > - **NEVER** use `aliyun configure set` with literal credential values > - **ONLY** use `aliyun configure list` to check credential status > > ```bash > aliyun configure list > ``` > Check the output for a valid profile (AK, STS, or OAuth identity). > > **If no valid profile exists, STOP here.** > 1. Obtain credentials from [Alibaba Cloud Console](https://ram.console.aliyun.com/manage/ak) > 2. Configure credentials **outside of this session** (via `aliyun configure` in terminal or environment variables in shell profile) > 3. Return and re-run after `aliyun configure list` shows a valid profile

**Pre-check: Aliyun CLI >= 3.4.8 required** > Run `aliyun version` to verify >= 3.4.8. If not installed or version too low, > see `references/cli-installation-guide.md` for installation instructions.

**Pre-check: Aliyun CLI plugin update required** > [MUST] run `aliyun configure set --auto-plugin-install true` to enable automatic plugin installation. > [MUST] run `aliyun plugin update` to ensure that any existing plugins are always up-to-date.

5. RAM Policy

最小权限策略详见 [`../../ram-policies.md`](../../ram-policies.md)。

> **[MUST] Permission Failure Handling:** When any command or API call fails due to permission errors at any point during execution, follow this process: > 1. Read `../../ram-policies.md` to get the full list of permissions required by this SKILL > 2. Use `ram-permission-diagnose` skill to guide the user through requesting the necessary permissions > 3. Pause and wait until the user confirms that the required permissions have been granted

6. Parameter Confirmation

> **IMPORTANT: Parameter Confirmation** — Before executing any command or API call, > ALL user-customizable parameters (e.g., RegionId, instance names, CIDR blocks, > passwords, domain names, resource specifications, etc.) MUST be confirmed with the > user. Do NOT assume or use default values without explicit user approval.

| 参数 | 必填 | 描述 | 默认值 | |---|---|---|---| | `--op-tenant-id` | 是 | 租户 ID（大整数，shell 变量传递） | — | | ProjectId | 是 | 项目 ID | — | | Name | 是 | 数据集名（同项目唯一） | — | | **五个不可变字段** | 是 | Scenario / Type / StorageType / MetadataStorageType / ContentType（枚举见 [`references/dataset-parameters.md`](references/dataset-parameters.md)） | Scenario=`OFFLINE` | | 文件存储配置 | Type=FILE/HYBRID 时必填 | DataSourceId / ProdPath / MountPath | — | | 元数据存储配置 | Type=TABLE/HYBRID 时必填 | DataSourceId / ProdSchema / TableName / TableSchema.Columns | Mode=`CREATE` | | 表名 | 元数据存储时必填 | 匹配 `^[a-z][a-z0-9_]{0,63}$` | — |

7. Observability (MUST follow for every aliyun command)

**session-id 由父 skill `alibabacloud-dataphin-skills` 在套件入口加载时生成（32-char 小写 hex），本子 skill 加载时直接继承同一 session-id，不再重新生成。**

**Rule: Every `aliyun` CLI command that calls a cloud API MUST include the `--user-agent` flag.** Local utility commands (e.g. `configure`, `plugin`, `version`) do not support this flag and should be excluded.

--user-agent AlibabaCloud-Agent-Skills/create-dataset/{session-id}

Example (assuming session-id is `a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6`):

aliyun dataphin-public get-dataset --op-tenant-id "$TENANT_ID" \
  --project-id "$PROJECT_ID" --id "12345" \
  --user-agent AlibabaCloud-Agent-Skills/create-dataset/a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6

Do not skip, alter the format, or omit `--user-agent` on any `aliyun` API command invocation.

8. Core Workflow

TENANT_ID="30001011"
PROJECT_ID="789"
PROFILE="<aliyun configure list 中的有效 profile 名>"
SESSION_ID="<inherited from alibabacloud-dataphin-skills>"
UA="AlibabaCloud-Agent-Skills/create-dataset/$SESSION_ID"

**本 skill 所有 `aliyun` API 命令统一携带 `--profile "$PROFILE"`（认证信息只来自 CLI 配置）；独立部署模式下按父 skill Step 0 约定另追加 `--skip-secure-verify`。**

Step 1 参数收集与设计确认（⏸ 写操作前必须过这一关）

**先做固定参数检查与映射**——创建数据集依赖一组环境参数，逐项按三档策略处理：用户输入**能明确映射的直接用（反查校验后）；能从环境推断的给候选待确认；都没有的明确向用户索要**，不猜、不编