Commit Graph
12 Commits
Author SHA1 Message Date
adminandClaude Opus 4.8 ba699ded3b feat(ontology): 管理/审计/连接器读取路径统一回显 iri
含旁路创建位点回填治愈(seed/merge/AI 摄取):migrate 的三条 UPDATE 抽成
backfillMissingIRI,seedIfEmpty 灌入后、mergeExecute 提交后、ai.ApplySuggestion
落库后(runIngest 单点,覆盖 AI 摄取/km 抽取/连接批量抽取)各调一次治愈空值。

Co-Authored-By: Claude Opus 4.8 <[email protected]>
2026-09-20 15:48:51 +08:00
adminandClaude Opus 4.8 3c3c385955 feat(schema): object/property/link 三类元数据物化全局 IRI(创建即固化+存量回填)
Co-Authored-By: Claude Opus 4.8 <[email protected]>
2026-09-20 15:25:18 +08:00
admin 8ed658382f feat(analytics): 使用分析面板 + schema 层审计 + access_log target/保留策略
- access_log 中间件按路由模板映射 target(修复 :name/:id 参数名导致
  /object-types/:name 等路由 target 长期为空);401/4xx 兜底记 deny;
  action 简化为 read/write/delete/manage;新增 90 天保留策略
  (ACCESS_LOG_RETENTION_DAYS 覆盖,0 关闭)
- schema 审计:对象类型/属性/链接类型/链接属性/动作类型/分级配置的
  增删改写入 ontology_audit_log(target_pk 落库,update/delete 带 before 快照);
  存量库补 target_pk 列(幂等 ALTER)
- 新增 /api/v1/analytics/{overview,types,users,sharing}(仅 manager):
  总体读写比/活跃主体/来源分布/按天趋势、分项热度、用户活跃、共享授权使用量
- 前端新增「使用分析」tab(AnalyticsView)
2026-09-11 18:23:47 +08:00
admin e7b39805fb feat(backup): 按 schema 镜像 + 请求级 search_path 切库 (issue #4 #5 后续)
「让客户端敢操作」的关键能力:写前/写后打一份快照 → 任意 GET 带 X-Snapshot-Id
 头即可命中 backups_<id> schema 的同名表(业务 SQL 不带 schema 前缀照样切)。

 设计要点:
   - 备份 = 独立 schema backups_<id>(真表,不是单存 JSONB)—— 查询性能与活库一致
   - snapshotRouter 中间件:BeginTx + SET LOCAL search_path → 把 a.pool 临时换
     为事务视图 txPool → handler 结束 commit + 还原 a.pool。业务代码一行不改。
   - a.pool 字段类型从 *pgxpool.Pool 升级为 dbRunner interface(中间件可换 txPool)。
   - 11 个 helper 函数签名同步改为 dbExec(与现有 dbExec 共存,无破坏性)。
   - 写方法(POST/PUT/PATCH/DELETE)带快照头 → 403 拒绝(mistake-safety)。

 接口:
   - POST /api/v1/backups 创建
   - GET /api/v1/backups 列表
   - GET /api/v1/backups/:id 元信息(含 schema_name)
   - GET /api/v1/backups/:id/switch 切库提示
   - DELETE /api/v1/backups/:id 级联删 schema
   - 支持 X-Snapshot-Id (直接 run id) + X-Snapshot-Ts (秒级时间戳) 两种切换入口

 MCP 工具 (5 个):backup_create / backup_list / backup_inspect / backup_switch / backup_delete

 测试 (22 个全绿,~5.5s 集成):
   - SnapshotRouter:改前建快照 → 改后读快照只见改前
   - SnapshotSearchPathPersist:不污染下一个请求
   - SnapshotByTimestamp:ts 头也能切库
   - SnapshotDeleteCleansSchema:delete 真 DROP schema
   - BackupLifecycle / BackupDiffAfterMutation:完整 create→list→inspect→switch→delete

 文档:docs/BACKUP.md 写清用法、机制、客户端工作流;CHANGELOG.md [1.3.0]。
2026-09-07 11:35:47 +08:00
admin da73b1091f feat(governance): restore_object 恢复关系边 + 数据分级通用能力 (issue #4 #5)
- #4 restore_object 默认连同关系边恢复:删除级联存边快照(links_snapshot),回滚重建两端在的边、跳过悬空引用,分级从快照物化
- #5 数据分级(不硬编码字段名/级别名):
  - 类型级 classification_property/levels/default 配置 + objects.classification 物化列+索引
  - 读路径按 principal_clearances 下推过滤,越级默认屏蔽且不泄漏存在性(fail-closed)
  - 字段级 properties.sensitivity 越级脱敏为 ***
  - 枚举写入校验(修复变量遮蔽导致的永不拦截 bug):越界值 400 enum_violation
  - 批量重算 recompute(dry_run 默认/apply 落库) + KM 源文件级分级传导
  - MCP +3 工具(get_classification_config/recompute_classification/set_km_classification)
- 分级路由改挂 /ontology 避免与 /objects/:type/:pk 参数路由冲突
- 更新 CHANGELOG 与 INSTANCE_GOVERNANCE.md §15-§16
- 验证:localhost:8081 真实库跑通删→恢复边、分级过滤、枚举拦截、字段脱敏、重算落库
2026-09-07 09:45:02 +08:00
admin cf9e8a74a4 feat(instances): 实例治理 — 显示名物化/merge 语义/软删除/审计/批量/血统传播/source_ts
对标《本体改进需求》14 项按本库实情取舍落地 + Palantir 两机制:

- 显示名物化: title_property → name/title/real_name/display_name 回退链,
  启动回填存量 1235 个空 name(修复 45% 实例检索隐身)— server/display_name.go
- 写入语义: create/update 默认 merge(只改传入字段),replace=true 才全量替换,
  响应回显 added/changed/removed — server/object_upsert.go
- 软删除: objects.deleted/same_as 真实列,连接器默认排除墓碑,
  connObject 别名自动跳转 canonical,restore_object 恢复
- 删除闭环: delete_object 级联删边+幂等+快照进 object_changes;
  propagate=true 沿 source 血统清理该来源全部抽取产物+摄取记录
- 变更审计: object_changes 字段级 diff + get_object_history + restore
- 批量: POST /objects/batch /links/batch 单事务逐条 ok/fail
- 检索: search 多字段 + query filters ne/in/nin/contains/exists + fields 裁剪
- KM: km_list_files recursive + 文件级 excluded 标记 + 双向溯源
- source_ts 乱序丢弃: 旧于已有值直接 409 stale_write(批量 stale_skipped)
- MCP: 新增 batch_create_objects/batch_create_links/delete_object/
  restore_object/get_object_history/find_duplicates 等,共 24 工具
- 前端: api 封装 + InstanceView 删除/保存对话框治理提示
- 文档: docs/INSTANCE_GOVERNANCE.md 权威语义 + 6 份关键文档同步
2026-09-05 14:31:00 +08:00
admin 701612a253 fix(migrate): 交换 action_types 与 function_types 创建顺序
action_types.impl_function_id 是 BIGINT REFERENCES function_types(id),
必须先建 function_types 才能建 action_types。原顺序导致新建空库时
migrate() 在 CREATE TABLE action_types 处失败,进而整个事务回滚,
全部 18 张表都没建出来。

修复:先 CREATE TABLE function_types,再 CREATE TABLE action_types。
ALTER TABLE 那段不用动(顺序已经是 function_types → action_types)。

bug 触发条件:仅全新空库(Docker 镜像首次启动 / 新建 PG 实例)。
旧的 dump 灌库场景不触发(dump 里有所有表)。
2026-08-24 16:53:16 +08:00
admin 1e30d4c355 docs+code: 通用化平台叙事,去掉尚数网业务绑定
## 文档重构(5 个 md + 1 个 html)
- README.md: '尚数网本体管理平台' → '本体元数据平台 · Ontology Platform'
- docs/README.md: 通用化定位,补全 P0/P1/P2 (Palantir Ontology 对标) + Materialization/BackingSource/Suggestions 全清单
- docs/PLAN.md: 通用化设计目标,改为 'Palantir Ontology 对标' 路线图
- docs/USAGE.md: 用通用占位符(项目/空间/组织)替换尚数网具体业务举例
- docs/IMPORT.md: 把 shangshu 当成 '一个采用方示例' 展示通用模式
- docs/product-intro.html: title/brand/hero/场景/footer 全改通用,沙数只作典型场景之一

## 代码字符串同步去 shangshu
- server/main.go: '[boot] 尚数网本体管理平台监听' → '[boot] 本体平台监听'
- server/handlers_connector.go: manifest 'server' 字段 → 'ontology-platform'
- server/handlers_mcp.go: tool description + serverInfo → 通用
- server/handlers_functions.go: builtin interface description → 通用
- server/handlers_backing_source.go: 注释去 shangshuwang.cn 具体网址
- server/config.go + server/db.go: 注释/seed 数据改占位 (demo_self / demo_partner_a/b)
- server/ai/anthropic.go: fallback systemPrompt → '通用本体平台工程师'
- server/ai/heuristic.go: 未识别 summary → '本体概念'
- server/ai/prompt.go: 静态 systemPrompt 头部 + JSON 示例去 shangshu

## 前端文案同步
- web/src/App.vue: title 改 '本体元数据平台'
- web/src/views/LoginView.vue: 登录页 h1 改通用
- web/src/views/OntologyView.vue: backing source placeholder 改 example.com
- web/src/components/ReviewWorkbench.vue + useReviewWorkbench.js: '尚数网' → '本体平台'

## 验证
- go build ./server OK
- 剩余 '尚数网' / 'shangshu-ontology' 引用:
  - 文档 README/README/USAGE/PLAN/IMPORT 仅在 '采用方示例' 上下文出现
  - 代码注释 sswOntologySystemPrompt 等 identifier 保持不变(避免改动 API 表面)
  - skill 名 'ssw-ontology-reviewer' 保持不变(已发布技能)

Refs: docs/README.md (1.1 元数据组件表)、docs/PLAN.md (4 当前已完成能力)
2026-08-24 14:04:59 +08:00
admin 86730bd52d feat: 对标 Palantir Ontology + P0/P1/P2 全落地 + xeo 端到端导入
## Palantir Ontology 对标(10 项)

P0 核心契约:
- when_to_suggest JSONB + llm_tool_description TEXT 加到 function_types/action_types
- Action 完整契约: submission_criteria / side_effects / impl_function_id / return_type
- FBA (Function-backed Action) 执行链: /api/v1/objects/:type/:pk/actions/:action
- /api/v1/ontology/suggestions 提示调度端点

P1 元原语补全:
- Object Type UX: title_property / subtitle_property / color / primary_key
- Property 字段元数据: format / default_value / indexable / vector_index / backing_column
- Link Type: directional + 独立 link_properties 子表
- Interface Type: shared_properties + parent_interface_id 多态
- Property extended types: geoshape / geopoint / media / timeseries / timestamp

P2 数据管道层:
- materializations / materialization_rows 物化层 + 60s ticker scheduler
- backing_sources 同步源元数据 + 投影字段映射

AI 提示词升级:
- ai/prompt.go 抽出 250+ 行静态 systemPrompt
- 动态上下文注入: 每次 Suggest 前查 db 拉已注册类型清单
- Suggestion struct 扩展 22 字段

## ON CONFLICT 漏 source 修复(4 处)
- handlers_objects createObject/updateObject: COALESCE(NULLIF(EXCLUDED.source,''), objects.source)
- handlers_km upsertObject + ai.ApplySuggestion: SET source=EXCLUDED.source
- 表名必须限定 objects.source, 否则报 ambiguous

## xeo mobileApi 端到端导入
- /api/v1/ai/ingest raw_text 改用 json.dumps 转义, 修复 ingestion_id=56 failed
- 1179 实例 + 1672 links + 1806 物化行
- 占位: 5 TrustedDataSpace + 158 MemberOrg
- 5 类 Materialization 配好(mat_xeo_dataproduct 等)

## 文档
- docs/update/2026-08-24.md: 10 节迁移 + 增量 11 节
- .gitignore: 加 web/vite.config.js.timestamp-*.mjs

Refs: docs/update/2026-08-24.md
2026-08-24 13:54:49 +08:00
admin 993f74c2b2 feat: Docker 单镜像分发 + 默认端口统一 8081 + seed 极简化
新增 Dockerfile + docker/entrypoint.sh:
- 基础 crpi-.../ssw188/postgres:16-alpine + ontology 二进制,单镜像
- 默认端口 8081 / 库 ssw-ontology / 用户 ssw / 密码 ssw
- /data/pg 自动挂 PG 数据,/data/archive 挂文档根目录
- trap 收尸保证 PG + ontology 同生命周期

seed 极简化为 1 个对象类型「合作企业」+ 3 条示例
(尚数网/腾讯/阿里巴巴),便于演示也便于清理。

默认 HTTP_PORT 统一为 8081(覆盖 server/config.go、run.sh、
vite.config.js、importer/import-from-xeo.js、docs/README.md、
docs/USAGE.md、docs/IMPORT.md、.env.example 等所有文档/代码)。

docs/README.md / .env.example 默认 DATABASE_URL 改为
ssw/[email protected]:5432/ssw-ontology(与 Docker 镜像自带 PG 一致);
run.sh 删 dacli 硬编码 fallback,改从 .env 读(不存在则报错退出)。

README 重整:分「方式 A Docker 镜像 / 方式 B 本机 ./run.sh」,
新增 AI 智能导入(-e AI_*)与管理接口鉴权(-e MANAGER_API_KEY)说明。
2026-08-13 15:59:27 +08:00
admin f6ae259574 feat(ontology): 对象类型梳理 - 健康度扫描 + AI 同义判定 + 合并向导
让平台自己就能诊断同义/零实例/孤立/低区分度 4 类问题, 由 manager 审核后执行合并.

后端:
- 新建 server/handlers_ontology_cleanup.go, 4 个接口 (analyze / merge-preview /
  merge-execute / delete-zero-inst), 均走 managerAuth 仅 manager 可调.
- 新表 ontology_audit_log (actor / action / target_type / details / affected_rows),
  analyze / merge / delete-zero-inst 都写审计.
- ai.Provider 接口加 Complete(ctx, prompt) 轻量补全 (anthropic / openai / heuristic 实现),
  ExtractJSON 改为导出.
- db.go DDL 幂等 CREATE TABLE / INDEX.

前端:
- api.js 4 个新 wrapper.
- OntologyView 第 6 个 Tab「类型梳理」: 一键扫描 + 4 类问题清单 +
  同义组展开 (radio 选 target) + 合并预览 dialog + 一键删除按钮.

合并事务要点:
- 先 pk 加 _m<src_id> 后缀再 UPDATE object_type_id, 避免 UNIQUE(object_type_id,pk).
- 同时 UPDATE object_type_id + type_api_name, 保持两字段一致 (否则连接器查不到).
- link.source_type / target_type / link_types.source_type / link_types.target_type 同步改写.
- action_types 没有 target_type 字段 (在 params jsonb), 跳过.

健康度判定:
- 启发式候选: 名称规范化后相同 / Levenshtein ≤2 / HasPrefix 双向 (含
  TrustedCryptoCard vs TrustedCryptographyCard) / 描述 Jaccard ≥ 0.6.
- AI 用 anthropic MiniMax-M3 复核, 给 confidence + reason + 建议 target.
- AI 未明确表态的启发式候选不强行过滤, 标 conf=0.5 让 manager 自己决定.

辅助:
- 提供 docker-compose.ontology.yml 片段给 workspace compose 挂载使用
  (二进制 + archive + env + healthcheck + autoheal 自愈).

测试: 54→39 个对象类型, 13 个零实例一键删 + 2 组同义合并
(FunctionNode→FunctionalNode, TrustedCryptoCard→TrustedCryptographyCard),
审计日志 12 条, AI 实际接入 anthropic:MiniMax-M3.
2026-08-07 19:16:13 +08:00
ssw f1b687c2d2 目录扁平化:子目录内容提升至仓库根,文档归入 docs/
- 将 shangshu-ontology/ 子目录内容移至仓库根一级
- 修复 run.sh 的 REPO_ROOT 计算(扁平化后不再需要 cd ..),ARCHIVE_DIR 正确指向仓库根/archive
- 文档(README/PLAN/USAGE/IMPORT/product-intro)移至 docs/,同步更新结构树与导入命令中的旧路径
- 新增根 README.md 索引指向 docs/
- 新增 .gitignore:忽略 bin/、web/node_modules/、web/dist/、server/webroot/、.env、.workbuddy/ 等噪音
- main.go 的 ARCHIVE_DIR fallback 基于可执行文件相邻上级,扁平化后仍正确,无需改动
2026-08-07 14:21:34 +08:00