Files
ssw-ontology/docs/IMPORT.md
T
admin 993f74c2b2 feat: Docker 单镜像分发 + 默认端口统一 8081 + seed 极简化
新增 Dockerfile + docker/entrypoint.sh:
- 基础 crpi-.../ssw188/postgres:16-alpine + ontology 二进制,单镜像
- 默认端口 8081 / 库 ssw-ontology / 用户 ssw / 密码 ssw
- /data/pg 自动挂 PG 数据,/data/archive 挂文档根目录
- trap 收尸保证 PG + ontology 同生命周期

seed 极简化为 1 个对象类型「合作企业」+ 3 条示例
(尚数网/腾讯/阿里巴巴),便于演示也便于清理。

默认 HTTP_PORT 统一为 8081(覆盖 server/config.go、run.sh、
vite.config.js、importer/import-from-xeo.js、docs/README.md、
docs/USAGE.md、docs/IMPORT.md、.env.example 等所有文档/代码)。

docs/README.md / .env.example 默认 DATABASE_URL 改为
ssw/[email protected]:5432/ssw-ontology(与 Docker 镜像自带 PG 一致);
run.sh 删 dacli 硬编码 fallback,改从 .env 读(不存在则报错退出)。

README 重整:分「方式 A Docker 镜像 / 方式 B 本机 ./run.sh」,
新增 AI 智能导入(-e AI_*)与管理接口鉴权(-e MANAGER_API_KEY)说明。
2026-08-13 15:59:27 +08:00

95 lines
4.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 网站内容导入(尚数网 → 本体平台)
把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从
“公司简介”变成“平台实时镜像”。
## 抓取方法
复用 **xeo 项目**(`/Users/xs/Desktop/xeo`)的抓取器,而不是新写爬虫:
- `xeo/lib/api-client.js`:调用尚数网后端 API `/m/*`(mobileApi 反编译得到),
分页拉取并 `normalize` 成干净对象,已做好字段映射。
- `xeo/lib/dict.js`:把 `enCode` / 状态码 / 行政区域 / 场景类型 翻译为中文
(如 `charge_mode: 1 → 按量计费`、`jurisdiction: hb → 环保`)。
也就是说,**零新增爬虫代码**——直接 `require` xeo 的库即可。
## 导入脚本
`importer/import-from-xeo.js`(Node,依赖 Node 18+ 全局 `fetch`,无需额外安装)。
数据流:
```
尚数网 API (/m/*)
→ xeo api-client 抓取 + normalize + 中文翻译
→ importer 映射为本体对象(加前缀 pk,避免与种子冲突)
→ 本体平台管理 API POST /api/v1/objects (upsert)
→ 尽力匹配 data_space 关键字 → POST /api/v1/links (建空间链接)
```
## 运行
```bash
# 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo
# 已在仓库根目录执行,无需再 cd 子目录
# 全量导入 5 类(product/sample/demand/partner/news)
node importer/import-from-xeo.js --base http://localhost:8081
# 只导某一类
node importer/import-from-xeo.js --type product
# 小批量预览(每类前 20 条,验证映射)
node importer/import-from-xeo.js --limit 20
# 只打印不写入
node importer/import-from-xeo.js --dry-run
# 带管理鉴权(生产环境设了 MANAGER_API_KEY 时)
node importer/import-from-xeo.js --key <MANAGER_API_KEY>
# 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8081
```
导入规模(实测,随网站变化):
product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418,
合计 ~1678 条实例。
## 字段映射
| 网站类型 | 本体类型 | pk 前缀 | 主要字段映射 | 空间链接 |
|---------|---------|--------|------------|---------|
| product | `DataProduct` | `mkt_` | name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=`平台挂牌`, scene←scene_type 翻译, jurisdiction←翻译 | `SpaceContainsProduct` |
| sample | `DataResource` | `res_` | name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=`平台挂牌` | `SpaceContainsResource` |
| demand | `DataDemand` | `dem_` | name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) | `SpaceHasDemand` |
| partner | `MemberOrg` | `part_` | name←org_name, role=`合作伙伴` | — |
| news | `NewsArticle` | `news_` | name←title, content, date←datePublished, source, category | — |
> `DataDemand`、`NewsArticle` 两个对象类型,以及 `source` / `role` 属性、
> `SpaceContainsResource` / `SpaceHasDemand` 链接类型,均已预置在 `server/db.go` 种子中。
## data_space 链接策略与限制(重要)
网站的 product/sample/demand 都带 `data_space_id`(UUID 数组),本体的 8 个
“行业可信数据空间”是另一套业务建模。实测:
- xeo 仅硬编码了 `96240625-…` → “尚数网主空间” 一个 UUID;
- 网站**没有空间列表 API**(`/m/getDataSpaceList` 返回 404),UUID 无法翻译成行业空间名;
- 两套空间体系命名不互通。
因此链接采用**关键字包含匹配**:仅当实体的空间翻译名或描述里出现行业关键字
(物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …)
且能对应到本体某个空间名时,才建立 `→ 可信数据空间` 链接;**匹配不上则保留原始
`data_space` 文本作为属性,绝不硬连错**。
实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54),
每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。
## 增量与定时同步
- 每类按网站 `id` 生成稳定 pk(`mkt_{id}` 等),`POST /objects` 是 upsert(按
`(object_type, pk)` 冲突更新),重跑覆盖、不重复。
- 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动
同步进本体,连接器与 MCP 实时可读。
- 注意:`news` 的 `category` 是原始数字码(网站无对应字典),导入时原样保留。