新增 Dockerfile + docker/entrypoint.sh: - 基础 crpi-.../ssw188/postgres:16-alpine + ontology 二进制,单镜像 - 默认端口 8081 / 库 ssw-ontology / 用户 ssw / 密码 ssw - /data/pg 自动挂 PG 数据,/data/archive 挂文档根目录 - trap 收尸保证 PG + ontology 同生命周期 seed 极简化为 1 个对象类型「合作企业」+ 3 条示例 (尚数网/腾讯/阿里巴巴),便于演示也便于清理。 默认 HTTP_PORT 统一为 8081(覆盖 server/config.go、run.sh、 vite.config.js、importer/import-from-xeo.js、docs/README.md、 docs/USAGE.md、docs/IMPORT.md、.env.example 等所有文档/代码)。 docs/README.md / .env.example 默认 DATABASE_URL 改为 ssw/[email protected]:5432/ssw-ontology(与 Docker 镜像自带 PG 一致); run.sh 删 dacli 硬编码 fallback,改从 .env 读(不存在则报错退出)。 README 重整:分「方式 A Docker 镜像 / 方式 B 本机 ./run.sh」, 新增 AI 智能导入(-e AI_*)与管理接口鉴权(-e MANAGER_API_KEY)说明。
95 lines
4.6 KiB
Markdown
95 lines
4.6 KiB
Markdown
# 网站内容导入(尚数网 → 本体平台)
|
||
|
||
把尚数网线上网站(shangshuwang.cn)的真实运营内容导入到本体平台,让本体从
|
||
“公司简介”变成“平台实时镜像”。
|
||
|
||
## 抓取方法
|
||
|
||
复用 **xeo 项目**(`/Users/xs/Desktop/xeo`)的抓取器,而不是新写爬虫:
|
||
|
||
- `xeo/lib/api-client.js`:调用尚数网后端 API `/m/*`(mobileApi 反编译得到),
|
||
分页拉取并 `normalize` 成干净对象,已做好字段映射。
|
||
- `xeo/lib/dict.js`:把 `enCode` / 状态码 / 行政区域 / 场景类型 翻译为中文
|
||
(如 `charge_mode: 1 → 按量计费`、`jurisdiction: hb → 环保`)。
|
||
|
||
也就是说,**零新增爬虫代码**——直接 `require` xeo 的库即可。
|
||
|
||
## 导入脚本
|
||
|
||
`importer/import-from-xeo.js`(Node,依赖 Node 18+ 全局 `fetch`,无需额外安装)。
|
||
|
||
数据流:
|
||
|
||
```
|
||
尚数网 API (/m/*)
|
||
→ xeo api-client 抓取 + normalize + 中文翻译
|
||
→ importer 映射为本体对象(加前缀 pk,避免与种子冲突)
|
||
→ 本体平台管理 API POST /api/v1/objects (upsert)
|
||
→ 尽力匹配 data_space 关键字 → POST /api/v1/links (建空间链接)
|
||
```
|
||
|
||
## 运行
|
||
|
||
```bash
|
||
# 前置:本体平台已运行(默认 http://localhost:8081),xeo 在 /Users/xs/Desktop/xeo
|
||
# 已在仓库根目录执行,无需再 cd 子目录
|
||
|
||
# 全量导入 5 类(product/sample/demand/partner/news)
|
||
node importer/import-from-xeo.js --base http://localhost:8081
|
||
|
||
# 只导某一类
|
||
node importer/import-from-xeo.js --type product
|
||
|
||
# 小批量预览(每类前 20 条,验证映射)
|
||
node importer/import-from-xeo.js --limit 20
|
||
|
||
# 只打印不写入
|
||
node importer/import-from-xeo.js --dry-run
|
||
|
||
# 带管理鉴权(生产环境设了 MANAGER_API_KEY 时)
|
||
node importer/import-from-xeo.js --key <MANAGER_API_KEY>
|
||
# 或环境变量 MANAGER_API_KEY=xxx ONTO_API_BASE=http://host:8081
|
||
```
|
||
|
||
导入规模(实测,随网站变化):
|
||
product ≈ 259 · sample ≈ 625 · demand ≈ 350 · partner ≈ 26 · news ≈ 418,
|
||
合计 ~1678 条实例。
|
||
|
||
## 字段映射
|
||
|
||
| 网站类型 | 本体类型 | pk 前缀 | 主要字段映射 | 空间链接 |
|
||
|---------|---------|--------|------------|---------|
|
||
| product | `DataProduct` | `mkt_` | name, owner←supplier, desc, price_model←charge_mode 翻译, status←status 翻译, source=`平台挂牌`, scene←scene_type 翻译, jurisdiction←翻译 | `SpaceContainsProduct` |
|
||
| sample | `DataResource` | `res_` | name, category←sample_type 翻译, scenario←scene_type 翻译, owner←supplier, scale←datasetSize, source=`平台挂牌` | `SpaceContainsResource` |
|
||
| demand | `DataDemand` | `dem_` | name, desc, scene←翻译, deadline, org←demand_orgname, status←demand_status 翻译, jurisdiction, data_space(原始文本) | `SpaceHasDemand` |
|
||
| partner | `MemberOrg` | `part_` | name←org_name, role=`合作伙伴` | — |
|
||
| news | `NewsArticle` | `news_` | name←title, content, date←datePublished, source, category | — |
|
||
|
||
> `DataDemand`、`NewsArticle` 两个对象类型,以及 `source` / `role` 属性、
|
||
> `SpaceContainsResource` / `SpaceHasDemand` 链接类型,均已预置在 `server/db.go` 种子中。
|
||
|
||
## data_space 链接策略与限制(重要)
|
||
|
||
网站的 product/sample/demand 都带 `data_space_id`(UUID 数组),本体的 8 个
|
||
“行业可信数据空间”是另一套业务建模。实测:
|
||
|
||
- xeo 仅硬编码了 `96240625-…` → “尚数网主空间” 一个 UUID;
|
||
- 网站**没有空间列表 API**(`/m/getDataSpaceList` 返回 404),UUID 无法翻译成行业空间名;
|
||
- 两套空间体系命名不互通。
|
||
|
||
因此链接采用**关键字包含匹配**:仅当实体的空间翻译名或描述里出现行业关键字
|
||
(物流 / 茶 / 司法 / 公证 / 吉利 / 汽车 / 资产评估 / 生态环保 / 具身智能 / 医疗健康 …)
|
||
且能对应到本体某个空间名时,才建立 `→ 可信数据空间` 链接;**匹配不上则保留原始
|
||
`data_space` 文本作为属性,绝不硬连错**。
|
||
|
||
实测结果:全量导入建立 184 条空间链接(product 24 / sample 106 / demand 54),
|
||
每个行业空间都补全了真实的产品/样本/需求关联(如物流空间从 1 条 → 35 条)。
|
||
|
||
## 增量与定时同步
|
||
|
||
- 每类按网站 `id` 生成稳定 pk(`mkt_{id}` 等),`POST /objects` 是 upsert(按
|
||
`(object_type, pk)` 冲突更新),重跑覆盖、不重复。
|
||
- 可做成定时任务(如每日一次)调用本脚本,网站新增的挂牌产品/需求/新闻会自动
|
||
同步进本体,连接器与 MCP 实时可读。
|
||
- 注意:`news` 的 `category` 是原始数字码(网站无对应字典),导入时原样保留。
|