新增 Dockerfile + docker/entrypoint.sh: - 基础 crpi-.../ssw188/postgres:16-alpine + ontology 二进制,单镜像 - 默认端口 8081 / 库 ssw-ontology / 用户 ssw / 密码 ssw - /data/pg 自动挂 PG 数据,/data/archive 挂文档根目录 - trap 收尸保证 PG + ontology 同生命周期 seed 极简化为 1 个对象类型「合作企业」+ 3 条示例 (尚数网/腾讯/阿里巴巴),便于演示也便于清理。 默认 HTTP_PORT 统一为 8081(覆盖 server/config.go、run.sh、 vite.config.js、importer/import-from-xeo.js、docs/README.md、 docs/USAGE.md、docs/IMPORT.md、.env.example 等所有文档/代码)。 docs/README.md / .env.example 默认 DATABASE_URL 改为 ssw/[email protected]:5432/ssw-ontology(与 Docker 镜像自带 PG 一致); run.sh 删 dacli 硬编码 fallback,改从 .env 读(不存在则报错退出)。 README 重整:分「方式 A Docker 镜像 / 方式 B 本机 ./run.sh」, 新增 AI 智能导入(-e AI_*)与管理接口鉴权(-e MANAGER_API_KEY)说明。
4.6 KiB
网站内容导入(尚数网 → 本体平台)
把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从 “公司简介”变成“平台实时镜像”。
抓取方法
复用 xeo 项目(/Users/xs/Desktop/xeo)的抓取器,而不是新写爬虫:
xeo/lib/api-client.js:调用尚数网后端 API/m/*(mobileApi 反编译得到), 分页拉取并normalize成干净对象,已做好字段映射。xeo/lib/dict.js:把enCode/ 状态码 / 行政区域 / 场景类型 翻译为中文 (如charge_mode: 1 → 按量计费、jurisdiction: hb → 环保)。
也就是说,零新增爬虫代码——直接 require xeo 的库即可。
导入脚本
importer/import-from-xeo.js(Node,依赖 Node 18+ 全局 fetch,无需额外安装)。
数据流:
尚数网 API (/m/*)
→ xeo api-client 抓取 + normalize + 中文翻译
→ importer 映射为本体对象(加前缀 pk,避免与种子冲突)
→ 本体平台管理 API POST /api/v1/objects (upsert)
→ 尽力匹配 data_space 关键字 → POST /api/v1/links (建空间链接)
运行
# 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo
# 已在仓库根目录执行,无需再 cd 子目录
# 全量导入 5 类(product/sample/demand/partner/news)
node importer/import-from-xeo.js --base http://localhost:8081
# 只导某一类
node importer/import-from-xeo.js --type product
# 小批量预览(每类前 20 条,验证映射)
node importer/import-from-xeo.js --limit 20
# 只打印不写入
node importer/import-from-xeo.js --dry-run
# 带管理鉴权(生产环境设了 MANAGER_API_KEY 时)
node importer/import-from-xeo.js --key <MANAGER_API_KEY>
# 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8081
导入规模(实测,随网站变化): product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418, 合计 ~1678 条实例。
字段映射
| 网站类型 | 本体类型 | pk 前缀 | 主要字段映射 | 空间链接 |
|---|---|---|---|---|
| product | DataProduct |
mkt_ |
name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=平台挂牌, scene←scene_type 翻译, jurisdiction←翻译 |
SpaceContainsProduct |
| sample | DataResource |
res_ |
name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=平台挂牌 |
SpaceContainsResource |
| demand | DataDemand |
dem_ |
name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) | SpaceHasDemand |
| partner | MemberOrg |
part_ |
name←org_name, role=合作伙伴 |
— |
| news | NewsArticle |
news_ |
name←title, content, date←datePublished, source, category | — |
DataDemand、NewsArticle两个对象类型,以及source/role属性、SpaceContainsResource/SpaceHasDemand链接类型,均已预置在server/db.go种子中。
data_space 链接策略与限制(重要)
网站的 product/sample/demand 都带 data_space_id(UUID 数组),本体的 8 个
“行业可信数据空间”是另一套业务建模。实测:
- xeo 仅硬编码了
96240625-…→ “尚数网主空间” 一个 UUID; - 网站没有空间列表 API(
/m/getDataSpaceList返回 404),UUID 无法翻译成行业空间名; - 两套空间体系命名不互通。
因此链接采用关键字包含匹配:仅当实体的空间翻译名或描述里出现行业关键字
(物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …)
且能对应到本体某个空间名时,才建立 → 可信数据空间 链接;匹配不上则保留原始
data_space 文本作为属性,绝不硬连错。
实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54), 每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。
增量与定时同步
- 每类按网站
id生成稳定 pk(mkt_{id}等),POST /objects是 upsert(按(object_type, pk)冲突更新),重跑覆盖、不重复。 - 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动 同步进本体,连接器与 MCP 实时可读。
- 注意:
news的category是原始数字码(网站无对应字典),导入时原样保留。