Files
ssw-ontology/docs/IMPORT.md
T
admin 993f74c2b2 feat: Docker 单镜像分发 + 默认端口统一 8081 + seed 极简化
新增 Dockerfile + docker/entrypoint.sh:
- 基础 crpi-.../ssw188/postgres:16-alpine + ontology 二进制,单镜像
- 默认端口 8081 / 库 ssw-ontology / 用户 ssw / 密码 ssw
- /data/pg 自动挂 PG 数据,/data/archive 挂文档根目录
- trap 收尸保证 PG + ontology 同生命周期

seed 极简化为 1 个对象类型「合作企业」+ 3 条示例
(尚数网/腾讯/阿里巴巴),便于演示也便于清理。

默认 HTTP_PORT 统一为 8081(覆盖 server/config.go、run.sh、
vite.config.js、importer/import-from-xeo.js、docs/README.md、
docs/USAGE.md、docs/IMPORT.md、.env.example 等所有文档/代码)。

docs/README.md / .env.example 默认 DATABASE_URL 改为
ssw/[email protected]:5432/ssw-ontology(与 Docker 镜像自带 PG 一致);
run.sh 删 dacli 硬编码 fallback,改从 .env 读(不存在则报错退出)。

README 重整:分「方式 A Docker 镜像 / 方式 B 本机 ./run.sh」,
新增 AI 智能导入(-e AI_*)与管理接口鉴权(-e MANAGER_API_KEY)说明。
2026-08-13 15:59:27 +08:00

4.6 KiB
Raw Blame History

网站内容导入(尚数网 → 本体平台)

把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从 “公司简介”变成“平台实时镜像”。

抓取方法

复用 xeo 项目(/Users/xs/Desktop/xeo)的抓取器,而不是新写爬虫:

  • xeo/lib/api-client.js:调用尚数网后端 API /m/*(mobileApi 反编译得到), 分页拉取并 normalize 成干净对象,已做好字段映射。
  • xeo/lib/dict.js:把 enCode / 状态码 / 行政区域 / 场景类型 翻译为中文 (如 charge_mode: 1 → 按量计费、jurisdiction: hb → 环保)。

也就是说,零新增爬虫代码——直接 require xeo 的库即可。

导入脚本

importer/import-from-xeo.js(Node,依赖 Node 18+ 全局 fetch,无需额外安装)。

数据流:

尚数网 API (/m/*)
  → xeo api-client 抓取 + normalize + 中文翻译
  → importer 映射为本体对象(加前缀 pk,避免与种子冲突)
  → 本体平台管理 API  POST /api/v1/objects  (upsert)
  → 尽力匹配 data_space 关键字 → POST /api/v1/links  (建空间链接)

运行

# 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo
# 已在仓库根目录执行,无需再 cd 子目录

# 全量导入 5 类(product/sample/demand/partner/news)
node importer/import-from-xeo.js --base http://localhost:8081

# 只导某一类
node importer/import-from-xeo.js --type product

# 小批量预览(每类前 20 条,验证映射)
node importer/import-from-xeo.js --limit 20

# 只打印不写入
node importer/import-from-xeo.js --dry-run

# 带管理鉴权(生产环境设了 MANAGER_API_KEY 时)
node importer/import-from-xeo.js --key <MANAGER_API_KEY>
# 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8081

导入规模(实测,随网站变化): product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418, 合计 ~1678 条实例。

字段映射

网站类型 本体类型 pk 前缀 主要字段映射 空间链接
product DataProduct mkt_ name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=平台挂牌, scene←scene_type 翻译, jurisdiction←翻译 SpaceContainsProduct
sample DataResource res_ name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=平台挂牌 SpaceContainsResource
demand DataDemand dem_ name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) SpaceHasDemand
partner MemberOrg part_ name←org_name, role=合作伙伴 —
news NewsArticle news_ name←title, content, date←datePublished, source, category —

DataDemand、NewsArticle 两个对象类型,以及 source / role 属性、 SpaceContainsResource / SpaceHasDemand 链接类型,均已预置在 server/db.go 种子中。

data_space 链接策略与限制(重要)

网站的 product/sample/demand 都带 data_space_id(UUID 数组),本体的 8 个 “行业可信数据空间”是另一套业务建模。实测:

  • xeo 仅硬编码了 96240625-… → “尚数网主空间” 一个 UUID;
  • 网站没有空间列表 API(/m/getDataSpaceList 返回 404),UUID 无法翻译成行业空间名;
  • 两套空间体系命名不互通。

因此链接采用关键字包含匹配:仅当实体的空间翻译名或描述里出现行业关键字 (物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …) 且能对应到本体某个空间名时,才建立 → 可信数据空间 链接;匹配不上则保留原始 data_space 文本作为属性,绝不硬连错。

实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54), 每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。

增量与定时同步

  • 每类按网站 id 生成稳定 pk(mkt_{id} 等),POST /objects 是 upsert(按 (object_type, pk) 冲突更新),重跑覆盖、不重复。
  • 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动 同步进本体,连接器与 MCP 实时可读。
  • 注意:news 的 category 是原始数字码(网站无对应字典),导入时原样保留。