# 网站内容导入(尚数网 → 本体平台) 把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从 “公司简介”变成“平台实时镜像”。 ## 抓取方法 复用 **xeo 项目**(`/Users/xs/Desktop/xeo`)的抓取器,而不是新写爬虫: - `xeo/lib/api-client.js`:调用尚数网后端 API `/m/*`(mobileApi 反编译得到), 分页拉取并 `normalize` 成干净对象,已做好字段映射。 - `xeo/lib/dict.js`:把 `enCode` / 状态码 / 行政区域 / 场景类型 翻译为中文 (如 `charge_mode: 1 → 按量计费`、`jurisdiction: hb → 环保`)。 也就是说,**零新增爬虫代码**——直接 `require` xeo 的库即可。 ## 导入脚本 `importer/import-from-xeo.js`(Node,依赖 Node 18+ 全局 `fetch`,无需额外安装)。 数据流: ``` 尚数网 API (/m/*) → xeo api-client 抓取 + normalize + 中文翻译 → importer 映射为本体对象(加前缀 pk,避免与种子冲突) → 本体平台管理 API POST /api/v1/objects (upsert) → 尽力匹配 data_space 关键字 → POST /api/v1/links (建空间链接) ``` ## 运行 ```bash # 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo # 已在仓库根目录执行,无需再 cd 子目录 # 全量导入 5 类(product/sample/demand/partner/news) node importer/import-from-xeo.js --base http://localhost:8081 # 只导某一类 node importer/import-from-xeo.js --type product # 小批量预览(每类前 20 条,验证映射) node importer/import-from-xeo.js --limit 20 # 只打印不写入 node importer/import-from-xeo.js --dry-run # 带管理鉴权(生产环境设了 MANAGER_API_KEY 时) node importer/import-from-xeo.js --key # 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8081 ``` 导入规模(实测,随网站变化): product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418, 合计 ~1678 条实例。 ## 字段映射 | 网站类型 | 本体类型 | pk 前缀 | 主要字段映射 | 空间链接 | |---------|---------|--------|------------|---------| | product | `DataProduct` | `mkt_` | name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=`平台挂牌`, scene←scene_type 翻译, jurisdiction←翻译 | `SpaceContainsProduct` | | sample | `DataResource` | `res_` | name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=`平台挂牌` | `SpaceContainsResource` | | demand | `DataDemand` | `dem_` | name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) | `SpaceHasDemand` | | partner | `MemberOrg` | `part_` | name←org_name, role=`合作伙伴` | — | | news | `NewsArticle` | `news_` | name←title, content, date←datePublished, source, category | — | > `DataDemand`、`NewsArticle` 两个对象类型,以及 `source` / `role` 属性、 > `SpaceContainsResource` / `SpaceHasDemand` 链接类型,均已预置在 `server/db.go` 种子中。 ## data_space 链接策略与限制(重要) 网站的 product/sample/demand 都带 `data_space_id`(UUID 数组),本体的 8 个 “行业可信数据空间”是另一套业务建模。实测: - xeo 仅硬编码了 `96240625-…` → “尚数网主空间” 一个 UUID; - 网站**没有空间列表 API**(`/m/getDataSpaceList` 返回 404),UUID 无法翻译成行业空间名; - 两套空间体系命名不互通。 因此链接采用**关键字包含匹配**:仅当实体的空间翻译名或描述里出现行业关键字 (物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …) 且能对应到本体某个空间名时,才建立 `→ 可信数据空间` 链接;**匹配不上则保留原始 `data_space` 文本作为属性,绝不硬连错**。 实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54), 每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。 ## 增量与定时同步 - 每类按网站 `id` 生成稳定 pk(`mkt_{id}` 等),`POST /objects` 是 upsert(按 `(object_type, pk)` 冲突更新),重跑覆盖、不重复。 - 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动 同步进本体,连接器与 MCP 实时可读。 - 注意:`news` 的 `category` 是原始数字码(网站无对应字典),导入时原样保留。