- 将 shangshu-ontology/ 子目录内容移至仓库根一级 - 修复 run.sh 的 REPO_ROOT 计算(扁平化后不再需要 cd ..),ARCHIVE_DIR 正确指向仓库根/archive - 文档(README/PLAN/USAGE/IMPORT/product-intro)移至 docs/,同步更新结构树与导入命令中的旧路径 - 新增根 README.md 索引指向 docs/ - 新增 .gitignore:忽略 bin/、web/node_modules/、web/dist/、server/webroot/、.env、.workbuddy/ 等噪音 - main.go 的 ARCHIVE_DIR fallback 基于可执行文件相邻上级,扁平化后仍正确,无需改动
4.6 KiB
网站内容导入(尚数网 → 本体平台)
把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从 “公司简介”变成“平台实时镜像”。
抓取方法
复用 xeo 项目(/Users/xs/Desktop/xeo)的抓取器,而不是新写爬虫:
xeo/lib/api-client.js:调用尚数网后端 API/m/*(mobileApi 反编译得到), 分页拉取并normalize成干净对象,已做好字段映射。xeo/lib/dict.js:把enCode/ 状态码 / 行政区域 / 场景类型 翻译为中文 (如charge_mode: 1 → 按量计费、jurisdiction: hb → 环保)。
也就是说,零新增爬虫代码——直接 require xeo 的库即可。
导入脚本
importer/import-from-xeo.js(Node,依赖 Node 18+ 全局 fetch,无需额外安装)。
数据流:
尚数网 API (/m/*)
→ xeo api-client 抓取 + normalize + 中文翻译
→ importer 映射为本体对象(加前缀 pk,避免与种子冲突)
→ 本体平台管理 API POST /api/v1/objects (upsert)
→ 尽力匹配 data_space 关键字 → POST /api/v1/links (建空间链接)
运行
# 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo
# 已在仓库根目录执行,无需再 cd 子目录
# 全量导入 5 类(product/sample/demand/partner/news)
node importer/import-from-xeo.js --base http://localhost:8080
# 只导某一类
node importer/import-from-xeo.js --type product
# 小批量预览(每类前 20 条,验证映射)
node importer/import-from-xeo.js --limit 20
# 只打印不写入
node importer/import-from-xeo.js --dry-run
# 带管理鉴权(生产环境设了 MANAGER_API_KEY 时)
node importer/import-from-xeo.js --key <MANAGER_API_KEY>
# 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8080
导入规模(实测,随网站变化): product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418, 合计 ~1678 条实例。
字段映射
| 网站类型 | 本体类型 | pk 前缀 | 主要字段映射 | 空间链接 |
|---|---|---|---|---|
| product | DataProduct |
mkt_ |
name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=平台挂牌, scene←scene_type 翻译, jurisdiction←翻译 |
SpaceContainsProduct |
| sample | DataResource |
res_ |
name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=平台挂牌 |
SpaceContainsResource |
| demand | DataDemand |
dem_ |
name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) | SpaceHasDemand |
| partner | MemberOrg |
part_ |
name←org_name, role=合作伙伴 |
— |
| news | NewsArticle |
news_ |
name←title, content, date←datePublished, source, category | — |
DataDemand、NewsArticle两个对象类型,以及source/role属性、SpaceContainsResource/SpaceHasDemand链接类型,均已预置在server/db.go种子中。
data_space 链接策略与限制(重要)
网站的 product/sample/demand 都带 data_space_id(UUID 数组),本体的 8 个
“行业可信数据空间”是另一套业务建模。实测:
- xeo 仅硬编码了
96240625-…→ “尚数网主空间” 一个 UUID; - 网站没有空间列表 API(
/m/getDataSpaceList返回 404),UUID 无法翻译成行业空间名; - 两套空间体系命名不互通。
因此链接采用关键字包含匹配:仅当实体的空间翻译名或描述里出现行业关键字
(物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …)
且能对应到本体某个空间名时,才建立 → 可信数据空间 链接;匹配不上则保留原始
data_space 文本作为属性,绝不硬连错。
实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54), 每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。
增量与定时同步
- 每类按网站
id生成稳定 pk(mkt_{id}等),POST /objects是 upsert(按(object_type, pk)冲突更新),重跑覆盖、不重复。 - 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动 同步进本体,连接器与 MCP 实时可读。
- 注意:
news的category是原始数字码(网站无对应字典),导入时原样保留。