- boot/ (Java/Maven, JNPF 7.0) — 移除旧的 boot/.git,源码直接纳入仓库
- web/ (Vue 3 + Vite + Ant Design Vue, pnpm)
- docs/, scard/, nax/
- refs/INDEX.md + refs/国标/(其余 refs/* 开源子仓库不纳入)
- 已忽略: connector_data/, jweb/, log/, web/{dist,node_modules,.pnpm}, boot/*/target/, .DS_Store, .idea, .vscode
17 KiB
尚数网可信数据空间 — 总体架构
需求基线:
docs/功能清单.md(FL)+docs/附件1:技术协议_可信数据空间_0512.docx(TP) 版本:v1.0 · 2026-08-02
1. 从 SSWFlow 到可信数据空间
原项目 sswflow 是一个隐私计算流程编排平台(项目/参与方/数据集/DAG 画布/运行引擎)。本次升级把它降格为一个内部引擎子系统,在其之上构建符合国家标准的可信数据空间体系:
升级前 升级后
┌──────────────┐ ┌─────────────────────────────────────┐
│ SSWFlow │ │ 尚数网可信数据空间 │
│ 隐私计算编排 │ ==> │ ┌───────┐ ┌───────┐ ┌──────────┐ │
│ │ │ │ TDS │ │ TDC │ │ SSWFLOW │ │
└──────────────┘ │ │ 服务 │ │ 连接器 │ │ 编排引擎 │ │
│ │ 平台 │ │ │ │(原系统) │ │
│ └───────┘ └───────┘ └──────────┘ │
└─────────────────────────────────────┘
定位变化:SSWFlow 不再直接面向最终用户,而是作为 TDS「数据使用控制环境」[FL-6.1] 的密态计算执行层,被合约驱动调用。原有的项目/参与方/数据集等概念保留,供内部编排使用。
2. 三子系统边界
2.1 TDS — 可信数据空间管理服务平台
视角:空间运营方 / 监管方。是整个数据空间的中枢与信任锚点。
| 能力域 | 功能清单 | 技术协议 | 职责 |
|---|---|---|---|
| 身份与权限管理 | FL-1.1~1.9 | TP-1~4 | 数字身份注册/认证/更新/注销、合作用户信息、管理员角色、权限审核 |
| 可信数据空间管理 | FL-2.1~2.4 | TP-7 | 逻辑空间创建/删除/配置/成员/运行监测,≥10 个业务空间 |
| 接入连接器管理 | FL-3.1~3.4 | TP-5 | 连接器注册/注销/认证/运行监测/能力适配 |
| 目录管理 | FL-4.1~4.7 | TP-6 | 数据产品登记、公共目录、使用申请、服务目录、供需方目录、试用目录 |
| 数字合约管理 | FL-5.1~5.6 | TP-8, TP-9 | 策略模板(≥10 种)、合约创建/协商/签署/备案/解除、防篡改抗抵赖 |
| 数据使用控制 | FL-6.1~6.11 | TP-10 | 使用控制环境、策略执行监测、使用存证、细粒度管控、≥20 种控制策略、到期销毁 |
| 数据交付支撑 | FL-7.1~7.5 | — | 交付合约、过程保护、互信认证、交付通知、可追溯 |
| 基础安全能力 | FL-14.1~14.6 | TP-32~37 | 安全分级、传输/存储/计算安全、漏洞审查、环境隔离与硬件校验 |
| 日志存证与审计 | FL-15.1~15.6 | TP-19, TP-20 | 全链路日志、上链存证、汇聚分析、审计追溯、监管接口、异常告警 |
| 数据运营与交易 | FL-17.1~17.3 | TP-11 | 计量计费、数据市场与需求中心、订阅 |
| 应用生态 | FL-18.1~18.4 | — | 应用商店与部署、全生命周期、版本管理、评价 |
| 其他服务 | FL-19.1~19.5 | TP-1~4 | 数据托管、存证审计服务、主体评价、认证中心(证书/License/限额/续费)、国际互通网关 |
2.2 TDC — 数据接入连接器
视角:数据提供方 / 数据使用方。部署在数据持有方本地,是数据不出域的执行终端。
| 能力域 | 功能清单 | 技术协议 | 职责 |
|---|---|---|---|
| 连接器身份管理 | FL-8.1~8.3 | TP-17 | 用户身份、连接器自身身份(标识/密钥/能力)、身份认证授权 |
| 数据资源管理 | FL-9.1~9.3 | TP-17, TP-26 | 多源接入(DB/文件/API/对象存储/SFTP)、资源增删改、本地资源目录 |
| 数据产品管理 | FL-10.1~10.3 | TP-17, TP-27 | 产品封装(边界+策略)、上架至平台、本地产品目录 |
| 数字合约管理 | FL-11.1~11.2 | TP-18 | 本地合约创建与多轮协商、合约履行触发 |
| 数据交付 | FL-12.1~12.3 | TP-17 | 交付预处理(加密/脱敏/隐私计算)、多形态交付、传输、交付存证 |
| 数据使用控制 | FL-13.1~13.2 | TP-18 | 本地安全使用环境、策略执行与行为监测、使用存证上报 |
| 数据开发与治理 | FL-16.1~16.7 | TP-22~31 | 数据同步、规范性检测、预处理、分析标注、质量评估、建模调试、可视化加工 |
多租户:一个 TDC 实例可承载多个「虚拟连接器」,通过 JNPF 内置 f_tenant_id 隔离,无需额外设计。
2.3 SSWFLOW — 隐私计算流程编排引擎
既有系统,保留全部能力(项目、参与方、数据集授权投票、DAG 编排、运行引擎、调度、产物管理)。新定位是 TDS 使用控制环境的执行后端 [FL-6.1] [TP-12~16]。
3. 系统交互
┌────────────────────────────────┐
│ 区域 / 行业功能节点(上级) │
│ 身份核验 · 产品登记 · 信息上报 │
└───────────────┬────────────────┘
│ ① 注册/上报/核验
│
┌─────────────────────────────────────────┴───────────────────────────────┐
│ TDS 可信数据空间管理服务平台 │
│ 身份 · 空间 · 连接器 · 目录 · 合约 · 使用控制 · 审计 · 运营 · 应用生态 │
└──┬────────────────────┬──────────────────────────────┬─────────────────┘
│ ② 注册/认证/心跳 │ ③ 合约下发/控制指令 │ ⑥ 编排调度
│ 产品上架/申请 │ 使用存证上报 │
│ │ │
┌──┴──────────────┐ ┌──┴──────────────┐ ┌──────┴──────────────┐
│ TDC 连接器(供方) │ │ TDC 连接器(需方) │ │ SSWFLOW 编排引擎 │
│ 资源·产品·交付 │──┤ 资源·消费·使用 │ │ DAG · 运行 · 产物 │
└──┬──────────────┘④ └─────────────────┘ └──────┬──────────────┘
│ 数据交付(点对点,数据不经平台) │ ⑦ 沙箱调度
│ │
│ ┌─────────────────────────────────────┴────────────┐
└─────────────▶│ 密态计算底座 │
│ kata confidential containers · SecretFlow/WeDPR │
│ /PrimiHub · TEE · JupyterLab │
└──────────────────────────────────────────────────┘
│ ⑤ 关键操作上链
┌───────────────┴────────────────┐
│ 飞梭链(开源区块链) │
│ 合约存证 · 日志存证 · 监管审计 │
└────────────────────────────────┘
关键原则:数据不经平台。TDS 只流转元数据、合约与控制指令;实际数据在 TDC 之间点对点交付,或在密态计算底座中完成"可用不可见"的联合计算。
3.1 核心业务流
数据流通全链路(供方上架 → 需方申请 → 合约签署 → 交付 → 受控使用):
| 步 | 参与者 | 动作 | 需求编号 |
|---|---|---|---|
| 1 | TDC(供方) | 接入本地数据源,登记数据资源 | FL-9.1~9.3 |
| 2 | TDC(供方) | 封装数据产品(边界 + 使用控制策略) | FL-10.1 |
| 3 | TDC(供方) → TDS | 产品上架,平台代理向功能节点登记获取唯一标识 | FL-10.2, FL-4.1 |
| 4 | TDS | 编入公共数据目录,支持检索与跨空间查询 | FL-4.2 |
| 5 | TDC(需方) → TDS | 发起数据使用申请 | FL-4.3, FL-10.3 |
| 6 | TDS | 基于策略模板生成合约草案,双方多轮协商 | FL-5.1, FL-5.2, FL-11.1 |
| 7 | 双方 | 数字签名签署 → 合约备案上链(防篡改抗抵赖) | FL-5.3, FL-5.6 |
| 8 | TDS → TDC | 下发控制指令(OPA 策略包) | FL-5.2, FL-6.4 |
| 9 | TDC(供方) | 按合约预处理(加密/脱敏/隐私计算),交付至需方 | FL-12.1, FL-12.2 |
| 10 | TDC(需方) | 在受控环境使用,实时策略校验 + 行为监测 | FL-13.1, FL-6.2 |
| 11 | TDC → TDS | 使用存证上报,关键日志上链 | FL-13.2, FL-6.3, FL-15.2 |
| 12 | TDS | 用量/时长达阈值 → 自动销毁 + 通知 | FL-6.10, FL-6.11 |
| 13 | TDS | 计量计费、审计追溯、监管接口 | FL-17.1, FL-15.4, FL-15.5 |
4. 技术架构
4.1 技术栈
| 层 | 选型 | 说明 |
|---|---|---|
| 后端框架 | Spring Boot 3.5 + JNPF 7.0 + Java 21 | 复用 JNPF 的用户/角色/权限/授权/多租户 [FL 特别说明 8] |
| ORM | MyBatis-Plus + dynamic-datasource | 每个子系统一个独立库,@DS 路由 |
| 数据库 | PostgreSQL 16 | 库:j7(JNPF 主库) / tds / tdc / sswflow |
| 缓存 | Redis (Redisson) | |
| 前端 | Vite + Vue 3 + TS + ant-design-vue + VueFlow | views/ssw/{tds,tdc,sswflow} 目录隔离 |
| 区块链 | 飞梭链(开源) | 合约存证、日志上链、监管审计 [FL 特别说明 2] |
| 策略引擎 | OPA(Open Policy Agent) | 数字合约策略的机器可读、自动化执行 [FL 特别说明 4] |
| 数据沙箱 | kata confidential containers | K8s 标准接口调用 [FL 特别说明 3] |
| 隐私计算 | SecretFlow 隐语 / WeDPR 星隐 / PrimiHub 原语 | 沙箱调度集成 [FL 特别说明 5] |
| 在线开发 | JupyterLab | 研发态编写,生产态调度到沙箱执行 [FL 特别说明 6] |
4.2 后端模块结构
boot/
├── pom.xml # 父 POM,聚合所有模块
├── ssw-admin/ # 启动模块(一体化部署入口)
├── ssw-common/ # 跨子系统公共能力
│ ├── ssw-common-entity/
│ ├── ssw-common-biz/ # SswMapperConfig(@MapperScan "ssw.**.mapper")
│ └── ssw-common-controller/
│
├── ssw-tds/ # 【新增】可信数据空间管理服务平台
│ ├── ssw-tds-entity/ # ssw.tds.entity.*
│ ├── ssw-tds-biz/ # ssw.tds.{mapper,service,engine,chain,policy}.*
│ └── ssw-tds-controller/ # ssw.tds.controller.* → /api/ssw/tds/**
│
├── ssw-tdc/ # 【新增】数据接入连接器
│ ├── ssw-tdc-entity/ # ssw.tdc.entity.*
│ ├── ssw-tdc-biz/ # ssw.tdc.{mapper,service,connect,delivery}.*
│ └── ssw-tdc-controller/ # ssw.tdc.controller.* → /api/ssw/tdc/**
│
├── ssw-sswflow/ # 隐私计算编排引擎(既有)
│ └── ... # → /api/ssw/sswflow/**
│
└── db/ # 建表 SQL,按库分目录
├── tds/
├── tdc/
└── sswflow/
4.3 部署形态
当前(一体化):三子系统共享 ssw-admin 进程,通过 @DS 隔离数据。开发调试成本最低。
目标(分离部署) [FL 特别说明 1]:
┌──────────────────────┐ ┌──────────────────────┐
│ ssw-tds-boot │ │ ssw-tdc-boot │
│ :30000 │◀──────▶│ :30100 │
│ 库 tds │ HTTPS │ 库 tdc(多租户) │
│ 运营方机房 │ mTLS │ 数据提供方本地 │
└──────────────────────┘ └──────────────────────┘
包结构与接口从第一天起就按分离部署设计:
- 无跨子系统直接调用:TDS 与 TDC 之间只走 HTTP + 契约接口(
ssw.tds.client.TdcClient/ssw.tdc.client.TdsClient),绝不通过@Autowired直接注入对方 Service - 无跨库 join:需要对方数据时用字段快照(如
f_connector_name)或接口拉取 - 配置隔离:各自的
application-{tds,tdc}.yml片段独立成段,拆分时整段搬走 - 拆分时只需新建
ssw-tds-boot/ssw-tdc-boot两个启动模块,各引对应 controller 依赖即可
5. 数据隔离设计
| 库 | 用途 | 表数 | 租户隔离 |
|---|---|---|---|
j7 |
JNPF 平台主库:用户、角色、权限、组织、菜单、附件 | JNPF 内置 | JNPF 内置 |
tds |
可信数据空间管理服务平台业务数据 | ~30 | f_tenant_id(空间级) |
tdc |
接入连接器业务数据 | ~16 | f_tenant_id(虚拟连接器级,强隔离) |
sswflow |
隐私计算编排数据 | 13 | f_tenant_id |
建表规范(沿用 sswflow,全库统一):
- 表名
snake_case无前缀;字段f_前缀 - 主键
f_id varchar(50),雪花 ID - 9 个系统列:
f_tenant_id/f_sort_code/f_creator_time/f_creator_user_id/f_last_modify_time/f_last_modify_user_id/f_delete_mark/f_delete_time/f_delete_user_id - 对应 Java 基类
jnpf.base.entity.SuperExtendEntity<String> - 逻辑删除:
f_delete_mark = 1已删除,NULL未删除;唯一索引一律建为WHERE f_delete_mark IS NULL的偏索引 - JSON 统一用
text存储,Java 侧为String
6. 接口前缀约定
| 子系统 | 前缀 | 示例 |
|---|---|---|
| TDS | /api/ssw/tds/** |
/api/ssw/tds/Space、/api/ssw/tds/Connector、/api/ssw/tds/Contract |
| TDC | /api/ssw/tdc/** |
/api/ssw/tdc/Resource、/api/ssw/tdc/Product、/api/ssw/tdc/Delivery |
| SSWFLOW | /api/ssw/sswflow/** |
既有,不变 |
Controller Bean 名、Service Bean 名、实体 @Alias 一律带子系统前缀(tdsSpaceController / tdcResourceService / TdsSpaceEntity),避免与 JNPF 内部 Bean 撞名。
7. 前端结构
web/src/
├── api/
│ ├── request.ts # 共享 axios 实例与鉴权
│ ├── tds.ts # TDS 接口
│ ├── tdc.ts # TDC 接口
│ └── sswflow.ts # SSWFLOW 接口(既有)
├── store/
│ ├── tds.ts ├── tdc.ts └── sswflow.ts
├── types/
│ ├── tds.ts ├── tdc.ts └── sswflow.ts
├── views/ssw/ # ← 三子系统目录隔离
│ ├── tds/ # 可信数据空间管理服务平台页面
│ ├── tdc/ # 接入连接器页面
│ └── sswflow/ # 编排引擎页面(既有页面迁入)
└── router/
├── index.ts # 路由装配 + 守卫
└── modules/{tds,tdc,sswflow}.ts # 分子系统路由表
路由前缀:/tds/**、/tdc/**、/sswflow/**。顶部导航先切子系统,再切子系统内的功能菜单。
8. 实施路线
| 阶段 | 内容 | 状态 |
|---|---|---|
| P0 架构升级 | 模块骨架、独立库、目录隔离、核心域跑通 | 进行中 |
| P1 空间与连接器 | 身份、空间、连接器注册认证监测、目录管理 | 待启动 |
| P2 合约与控制 | 策略模板、合约全流程、OPA 集成、使用控制策略 ≥20 种 | 待启动 |
| P3 交付与存证 | 交付支撑、飞梭链上链、审计追溯、监管接口 | 待启动 |
| P4 连接器治理 | 多源接入、数据同步、质量评估、预处理、JupyterLab | 待启动 |
| P5 密态计算 | kata 沙箱、SecretFlow/WeDPR/PrimiHub 集成、TEE | 待启动 |
| P6 运营生态 | 计量计费、需求中心、应用商店、主体评价 | 待启动 |
详细进度见 REQUIREMENT_MATRIX.md。