Files
ssw-mvp/docs/arch/ARCHITECTURE.md
T
admin 3247e9fd15 init: ssw-mvp initial commit
- boot/ (Java/Maven, JNPF 7.0) — 移除旧的 boot/.git,源码直接纳入仓库
- web/ (Vue 3 + Vite + Ant Design Vue, pnpm)
- docs/, scard/, nax/
- refs/INDEX.md + refs/国标/(其余 refs/* 开源子仓库不纳入)
- 已忽略: connector_data/, jweb/, log/, web/{dist,node_modules,.pnpm}, boot/*/target/, .DS_Store, .idea, .vscode
2026-08-05 18:29:12 +08:00

17 KiB
Raw Blame History

尚数网可信数据空间 — 总体架构

需求基线:docs/功能清单.md(FL)+ docs/附件1:技术协议_可信数据空间_0512.docx(TP) 版本:v1.0 · 2026-08-02


1. 从 SSWFlow 到可信数据空间

原项目 sswflow 是一个隐私计算流程编排平台(项目/参与方/数据集/DAG 画布/运行引擎)。本次升级把它降格为一个内部引擎子系统,在其之上构建符合国家标准的可信数据空间体系:

升级前                              升级后
┌──────────────┐                   ┌─────────────────────────────────────┐
│   SSWFlow    │                   │   尚数网可信数据空间                  │
│  隐私计算编排  │        ==>        │  ┌───────┐ ┌───────┐ ┌──────────┐  │
│              │                   │  │  TDS  │ │  TDC  │ │ SSWFLOW  │  │
└──────────────┘                   │  │ 服务  │ │ 连接器 │ │ 编排引擎  │  │
                                   │  │ 平台  │ │       │ │(原系统) │  │
                                   │  └───────┘ └───────┘ └──────────┘  │
                                   └─────────────────────────────────────┘

定位变化:SSWFlow 不再直接面向最终用户,而是作为 TDS「数据使用控制环境」[FL-6.1] 的密态计算执行层,被合约驱动调用。原有的项目/参与方/数据集等概念保留,供内部编排使用。


2. 三子系统边界

2.1 TDS — 可信数据空间管理服务平台

视角:空间运营方 / 监管方。是整个数据空间的中枢与信任锚点。

能力域 功能清单 技术协议 职责
身份与权限管理 FL-1.1~1.9 TP-1~4 数字身份注册/认证/更新/注销、合作用户信息、管理员角色、权限审核
可信数据空间管理 FL-2.1~2.4 TP-7 逻辑空间创建/删除/配置/成员/运行监测,≥10 个业务空间
接入连接器管理 FL-3.1~3.4 TP-5 连接器注册/注销/认证/运行监测/能力适配
目录管理 FL-4.1~4.7 TP-6 数据产品登记、公共目录、使用申请、服务目录、供需方目录、试用目录
数字合约管理 FL-5.1~5.6 TP-8, TP-9 策略模板(≥10 种)、合约创建/协商/签署/备案/解除、防篡改抗抵赖
数据使用控制 FL-6.1~6.11 TP-10 使用控制环境、策略执行监测、使用存证、细粒度管控、≥20 种控制策略、到期销毁
数据交付支撑 FL-7.1~7.5 — 交付合约、过程保护、互信认证、交付通知、可追溯
基础安全能力 FL-14.1~14.6 TP-32~37 安全分级、传输/存储/计算安全、漏洞审查、环境隔离与硬件校验
日志存证与审计 FL-15.1~15.6 TP-19, TP-20 全链路日志、上链存证、汇聚分析、审计追溯、监管接口、异常告警
数据运营与交易 FL-17.1~17.3 TP-11 计量计费、数据市场与需求中心、订阅
应用生态 FL-18.1~18.4 — 应用商店与部署、全生命周期、版本管理、评价
其他服务 FL-19.1~19.5 TP-1~4 数据托管、存证审计服务、主体评价、认证中心(证书/License/限额/续费)、国际互通网关

2.2 TDC — 数据接入连接器

视角:数据提供方 / 数据使用方。部署在数据持有方本地,是数据不出域的执行终端。

能力域 功能清单 技术协议 职责
连接器身份管理 FL-8.1~8.3 TP-17 用户身份、连接器自身身份(标识/密钥/能力)、身份认证授权
数据资源管理 FL-9.1~9.3 TP-17, TP-26 多源接入(DB/文件/API/对象存储/SFTP)、资源增删改、本地资源目录
数据产品管理 FL-10.1~10.3 TP-17, TP-27 产品封装(边界+策略)、上架至平台、本地产品目录
数字合约管理 FL-11.1~11.2 TP-18 本地合约创建与多轮协商、合约履行触发
数据交付 FL-12.1~12.3 TP-17 交付预处理(加密/脱敏/隐私计算)、多形态交付、传输、交付存证
数据使用控制 FL-13.1~13.2 TP-18 本地安全使用环境、策略执行与行为监测、使用存证上报
数据开发与治理 FL-16.1~16.7 TP-22~31 数据同步、规范性检测、预处理、分析标注、质量评估、建模调试、可视化加工

多租户:一个 TDC 实例可承载多个「虚拟连接器」,通过 JNPF 内置 f_tenant_id 隔离,无需额外设计。

2.3 SSWFLOW — 隐私计算流程编排引擎

既有系统,保留全部能力(项目、参与方、数据集授权投票、DAG 编排、运行引擎、调度、产物管理)。新定位是 TDS 使用控制环境的执行后端 [FL-6.1] [TP-12~16]。


3. 系统交互

                          ┌────────────────────────────────┐
                          │   区域 / 行业功能节点(上级)      │
                          │   身份核验 · 产品登记 · 信息上报   │
                          └───────────────┬────────────────┘
                                          │ ① 注册/上报/核验
                                          │
┌─────────────────────────────────────────┴───────────────────────────────┐
│                    TDS 可信数据空间管理服务平台                            │
│  身份 · 空间 · 连接器 · 目录 · 合约 · 使用控制 · 审计 · 运营 · 应用生态      │
└──┬────────────────────┬──────────────────────────────┬─────────────────┘
   │ ② 注册/认证/心跳     │ ③ 合约下发/控制指令            │ ⑥ 编排调度
   │    产品上架/申请      │    使用存证上报                │
   │                    │                              │
┌──┴──────────────┐  ┌──┴──────────────┐        ┌──────┴──────────────┐
│ TDC 连接器(供方) │  │ TDC 连接器(需方) │        │ SSWFLOW 编排引擎     │
│ 资源·产品·交付   │──┤ 资源·消费·使用   │        │ DAG · 运行 · 产物     │
└──┬──────────────┘④ └─────────────────┘        └──────┬──────────────┘
   │  数据交付(点对点,数据不经平台)                      │ ⑦ 沙箱调度
   │                                                    │
   │              ┌─────────────────────────────────────┴────────────┐
   └─────────────▶│ 密态计算底座                                       │
                  │ kata confidential containers · SecretFlow/WeDPR   │
                  │ /PrimiHub · TEE · JupyterLab                      │
                  └──────────────────────────────────────────────────┘
                                          │ ⑤ 关键操作上链
                          ┌───────────────┴────────────────┐
                          │      飞梭链(开源区块链)         │
                          │   合约存证 · 日志存证 · 监管审计   │
                          └────────────────────────────────┘

关键原则:数据不经平台。TDS 只流转元数据、合约与控制指令;实际数据在 TDC 之间点对点交付,或在密态计算底座中完成"可用不可见"的联合计算。

3.1 核心业务流

数据流通全链路(供方上架 → 需方申请 → 合约签署 → 交付 → 受控使用):

步 参与者 动作 需求编号
1 TDC(供方) 接入本地数据源,登记数据资源 FL-9.1~9.3
2 TDC(供方) 封装数据产品(边界 + 使用控制策略) FL-10.1
3 TDC(供方) → TDS 产品上架,平台代理向功能节点登记获取唯一标识 FL-10.2, FL-4.1
4 TDS 编入公共数据目录,支持检索与跨空间查询 FL-4.2
5 TDC(需方) → TDS 发起数据使用申请 FL-4.3, FL-10.3
6 TDS 基于策略模板生成合约草案,双方多轮协商 FL-5.1, FL-5.2, FL-11.1
7 双方 数字签名签署 → 合约备案上链(防篡改抗抵赖) FL-5.3, FL-5.6
8 TDS → TDC 下发控制指令(OPA 策略包) FL-5.2, FL-6.4
9 TDC(供方) 按合约预处理(加密/脱敏/隐私计算),交付至需方 FL-12.1, FL-12.2
10 TDC(需方) 在受控环境使用,实时策略校验 + 行为监测 FL-13.1, FL-6.2
11 TDC → TDS 使用存证上报,关键日志上链 FL-13.2, FL-6.3, FL-15.2
12 TDS 用量/时长达阈值 → 自动销毁 + 通知 FL-6.10, FL-6.11
13 TDS 计量计费、审计追溯、监管接口 FL-17.1, FL-15.4, FL-15.5

4. 技术架构

4.1 技术栈

层 选型 说明
后端框架 Spring Boot 3.5 + JNPF 7.0 + Java 21 复用 JNPF 的用户/角色/权限/授权/多租户 [FL 特别说明 8]
ORM MyBatis-Plus + dynamic-datasource 每个子系统一个独立库,@DS 路由
数据库 PostgreSQL 16 库:j7(JNPF 主库) / tds / tdc / sswflow
缓存 Redis (Redisson)
前端 Vite + Vue 3 + TS + ant-design-vue + VueFlow views/ssw/{tds,tdc,sswflow} 目录隔离
区块链 飞梭链(开源) 合约存证、日志上链、监管审计 [FL 特别说明 2]
策略引擎 OPA(Open Policy Agent) 数字合约策略的机器可读、自动化执行 [FL 特别说明 4]
数据沙箱 kata confidential containers K8s 标准接口调用 [FL 特别说明 3]
隐私计算 SecretFlow 隐语 / WeDPR 星隐 / PrimiHub 原语 沙箱调度集成 [FL 特别说明 5]
在线开发 JupyterLab 研发态编写,生产态调度到沙箱执行 [FL 特别说明 6]

4.2 后端模块结构

boot/
├── pom.xml                      # 父 POM,聚合所有模块
├── ssw-admin/                   # 启动模块(一体化部署入口)
├── ssw-common/                  # 跨子系统公共能力
│   ├── ssw-common-entity/
│   ├── ssw-common-biz/          # SswMapperConfig(@MapperScan "ssw.**.mapper")
│   └── ssw-common-controller/
│
├── ssw-tds/                     # 【新增】可信数据空间管理服务平台
│   ├── ssw-tds-entity/          # ssw.tds.entity.*
│   ├── ssw-tds-biz/             # ssw.tds.{mapper,service,engine,chain,policy}.*
│   └── ssw-tds-controller/      # ssw.tds.controller.*  → /api/ssw/tds/**
│
├── ssw-tdc/                     # 【新增】数据接入连接器
│   ├── ssw-tdc-entity/          # ssw.tdc.entity.*
│   ├── ssw-tdc-biz/             # ssw.tdc.{mapper,service,connect,delivery}.*
│   └── ssw-tdc-controller/      # ssw.tdc.controller.*  → /api/ssw/tdc/**
│
├── ssw-sswflow/                 # 隐私计算编排引擎(既有)
│   └── ...                      # → /api/ssw/sswflow/**
│
└── db/                          # 建表 SQL,按库分目录
    ├── tds/
    ├── tdc/
    └── sswflow/

4.3 部署形态

当前(一体化):三子系统共享 ssw-admin 进程,通过 @DS 隔离数据。开发调试成本最低。

目标(分离部署) [FL 特别说明 1]:

┌──────────────────────┐        ┌──────────────────────┐
│  ssw-tds-boot        │        │  ssw-tdc-boot        │
│  :30000              │◀──────▶│  :30100              │
│  库 tds              │  HTTPS │  库 tdc(多租户)      │
│  运营方机房            │  mTLS  │  数据提供方本地         │
└──────────────────────┘        └──────────────────────┘

包结构与接口从第一天起就按分离部署设计:

  • 无跨子系统直接调用:TDS 与 TDC 之间只走 HTTP + 契约接口(ssw.tds.client.TdcClient / ssw.tdc.client.TdsClient),绝不通过 @Autowired 直接注入对方 Service
  • 无跨库 join:需要对方数据时用字段快照(如 f_connector_name)或接口拉取
  • 配置隔离:各自的 application-{tds,tdc}.yml 片段独立成段,拆分时整段搬走
  • 拆分时只需新建 ssw-tds-boot / ssw-tdc-boot 两个启动模块,各引对应 controller 依赖即可

5. 数据隔离设计

库 用途 表数 租户隔离
j7 JNPF 平台主库:用户、角色、权限、组织、菜单、附件 JNPF 内置 JNPF 内置
tds 可信数据空间管理服务平台业务数据 ~30 f_tenant_id(空间级)
tdc 接入连接器业务数据 ~16 f_tenant_id(虚拟连接器级,强隔离)
sswflow 隐私计算编排数据 13 f_tenant_id

建表规范(沿用 sswflow,全库统一):

  • 表名 snake_case 无前缀;字段 f_ 前缀
  • 主键 f_id varchar(50),雪花 ID
  • 9 个系统列:f_tenant_id / f_sort_code / f_creator_time / f_creator_user_id / f_last_modify_time / f_last_modify_user_id / f_delete_mark / f_delete_time / f_delete_user_id
  • 对应 Java 基类 jnpf.base.entity.SuperExtendEntity<String>
  • 逻辑删除:f_delete_mark = 1 已删除,NULL 未删除;唯一索引一律建为 WHERE f_delete_mark IS NULL 的偏索引
  • JSON 统一用 text 存储,Java 侧为 String

6. 接口前缀约定

子系统 前缀 示例
TDS /api/ssw/tds/** /api/ssw/tds/Space、/api/ssw/tds/Connector、/api/ssw/tds/Contract
TDC /api/ssw/tdc/** /api/ssw/tdc/Resource、/api/ssw/tdc/Product、/api/ssw/tdc/Delivery
SSWFLOW /api/ssw/sswflow/** 既有,不变

Controller Bean 名、Service Bean 名、实体 @Alias 一律带子系统前缀(tdsSpaceController / tdcResourceService / TdsSpaceEntity),避免与 JNPF 内部 Bean 撞名。


7. 前端结构

web/src/
├── api/
│   ├── request.ts               # 共享 axios 实例与鉴权
│   ├── tds.ts                   # TDS 接口
│   ├── tdc.ts                   # TDC 接口
│   └── sswflow.ts               # SSWFLOW 接口(既有)
├── store/
│   ├── tds.ts  ├── tdc.ts  └── sswflow.ts
├── types/
│   ├── tds.ts  ├── tdc.ts  └── sswflow.ts
├── views/ssw/                   # ← 三子系统目录隔离
│   ├── tds/                     # 可信数据空间管理服务平台页面
│   ├── tdc/                     # 接入连接器页面
│   └── sswflow/                 # 编排引擎页面(既有页面迁入)
└── router/
    ├── index.ts                 # 路由装配 + 守卫
    └── modules/{tds,tdc,sswflow}.ts   # 分子系统路由表

路由前缀:/tds/**、/tdc/**、/sswflow/**。顶部导航先切子系统,再切子系统内的功能菜单。


8. 实施路线

阶段 内容 状态
P0 架构升级 模块骨架、独立库、目录隔离、核心域跑通 进行中
P1 空间与连接器 身份、空间、连接器注册认证监测、目录管理 待启动
P2 合约与控制 策略模板、合约全流程、OPA 集成、使用控制策略 ≥20 种 待启动
P3 交付与存证 交付支撑、飞梭链上链、审计追溯、监管接口 待启动
P4 连接器治理 多源接入、数据同步、质量评估、预处理、JupyterLab 待启动
P5 密态计算 kata 沙箱、SecretFlow/WeDPR/PrimiHub 集成、TEE 待启动
P6 运营生态 计量计费、需求中心、应用商店、主体评价 待启动

详细进度见 REQUIREMENT_MATRIX.md。