Commit Graph
7 Commits
Author SHA1 Message Date
admin e7b39805fb feat(backup): 按 schema 镜像 + 请求级 search_path 切库 (issue #4 #5 后续)
「让客户端敢操作」的关键能力:写前/写后打一份快照 → 任意 GET 带 X-Snapshot-Id
 头即可命中 backups_<id> schema 的同名表(业务 SQL 不带 schema 前缀照样切)。

 设计要点:
   - 备份 = 独立 schema backups_<id>(真表,不是单存 JSONB)—— 查询性能与活库一致
   - snapshotRouter 中间件:BeginTx + SET LOCAL search_path → 把 a.pool 临时换
     为事务视图 txPool → handler 结束 commit + 还原 a.pool。业务代码一行不改。
   - a.pool 字段类型从 *pgxpool.Pool 升级为 dbRunner interface(中间件可换 txPool)。
   - 11 个 helper 函数签名同步改为 dbExec(与现有 dbExec 共存,无破坏性)。
   - 写方法(POST/PUT/PATCH/DELETE)带快照头 → 403 拒绝(mistake-safety)。

 接口:
   - POST /api/v1/backups 创建
   - GET /api/v1/backups 列表
   - GET /api/v1/backups/:id 元信息(含 schema_name)
   - GET /api/v1/backups/:id/switch 切库提示
   - DELETE /api/v1/backups/:id 级联删 schema
   - 支持 X-Snapshot-Id (直接 run id) + X-Snapshot-Ts (秒级时间戳) 两种切换入口

 MCP 工具 (5 个):backup_create / backup_list / backup_inspect / backup_switch / backup_delete

 测试 (22 个全绿,~5.5s 集成):
   - SnapshotRouter:改前建快照 → 改后读快照只见改前
   - SnapshotSearchPathPersist:不污染下一个请求
   - SnapshotByTimestamp:ts 头也能切库
   - SnapshotDeleteCleansSchema:delete 真 DROP schema
   - BackupLifecycle / BackupDiffAfterMutation:完整 create→list→inspect→switch→delete

 文档:docs/BACKUP.md 写清用法、机制、客户端工作流;CHANGELOG.md [1.3.0]。
2026-09-07 11:35:47 +08:00
admin da73b1091f feat(governance): restore_object 恢复关系边 + 数据分级通用能力 (issue #4 #5)
- #4 restore_object 默认连同关系边恢复:删除级联存边快照(links_snapshot),回滚重建两端在的边、跳过悬空引用,分级从快照物化
- #5 数据分级(不硬编码字段名/级别名):
  - 类型级 classification_property/levels/default 配置 + objects.classification 物化列+索引
  - 读路径按 principal_clearances 下推过滤,越级默认屏蔽且不泄漏存在性(fail-closed)
  - 字段级 properties.sensitivity 越级脱敏为 ***
  - 枚举写入校验(修复变量遮蔽导致的永不拦截 bug):越界值 400 enum_violation
  - 批量重算 recompute(dry_run 默认/apply 落库) + KM 源文件级分级传导
  - MCP +3 工具(get_classification_config/recompute_classification/set_km_classification)
- 分级路由改挂 /ontology 避免与 /objects/:type/:pk 参数路由冲突
- 更新 CHANGELOG 与 INSTANCE_GOVERNANCE.md §15-§16
- 验证:localhost:8081 真实库跑通删→恢复边、分级过滤、枚举拦截、字段脱敏、重算落库
2026-09-07 09:45:02 +08:00
admin cf9e8a74a4 feat(instances): 实例治理 — 显示名物化/merge 语义/软删除/审计/批量/血统传播/source_ts
对标《本体改进需求》14 项按本库实情取舍落地 + Palantir 两机制:

- 显示名物化: title_property → name/title/real_name/display_name 回退链,
  启动回填存量 1235 个空 name(修复 45% 实例检索隐身)— server/display_name.go
- 写入语义: create/update 默认 merge(只改传入字段),replace=true 才全量替换,
  响应回显 added/changed/removed — server/object_upsert.go
- 软删除: objects.deleted/same_as 真实列,连接器默认排除墓碑,
  connObject 别名自动跳转 canonical,restore_object 恢复
- 删除闭环: delete_object 级联删边+幂等+快照进 object_changes;
  propagate=true 沿 source 血统清理该来源全部抽取产物+摄取记录
- 变更审计: object_changes 字段级 diff + get_object_history + restore
- 批量: POST /objects/batch /links/batch 单事务逐条 ok/fail
- 检索: search 多字段 + query filters ne/in/nin/contains/exists + fields 裁剪
- KM: km_list_files recursive + 文件级 excluded 标记 + 双向溯源
- source_ts 乱序丢弃: 旧于已有值直接 409 stale_write(批量 stale_skipped)
- MCP: 新增 batch_create_objects/batch_create_links/delete_object/
  restore_object/get_object_history/find_duplicates 等,共 24 工具
- 前端: api 封装 + InstanceView 删除/保存对话框治理提示
- 文档: docs/INSTANCE_GOVERNANCE.md 权威语义 + 6 份关键文档同步
2026-09-05 14:31:00 +08:00
admin 12aa26baa1 fix(overview): 关系数瞬时显示 + GraphView tab 按需挂载
## 问题
截图发现关系数=0。根因不是前端逻辑,是 getGraph 端点:
- getGraph 要 SELECT 全部对象 + 全部 links,序列化 3576 节点 + 2117 边
- manager 身份响应 2.5s,传到前端前显示默认 0
- 这段等待期间 Overview 已渲染完成,用户看到错误数字

## 修复

1. 新增专用端点 GET /api/v1/ontology/links/count:
   - 仅做 COUNT(*),30ms 返回
   - SQL 与 getGraph 可见性逻辑一致(manager 不限 / 其他主体按 marking 过滤)
   - 加 EXISTS 剔除悬空边(指向已被删除对象的边),与 getGraph JOIN 行为对齐

2. OverviewView 优先用 countLinks,失败才回退到 getGraph

3. App.vue: GraphView 改为 v-if=showGraph,监听 active 切换时才挂载,
   避免用户没点 tab 就白白发 getGraph 请求(省 2.5s + 4.5MB 带宽)

## 验证(实测)

- GET /api/v1/ontology/links/count 30ms 返回 count=2117
- Overview T800ms 时关系数=2117(之前要 T8500ms 才出)
- GraphView 默认不发 /graph,仅切到 tab 才挂载
2026-09-03 15:10:18 +08:00
admin 8617efd25d fix(data+graph): 管理面板与 MCP 数据对齐 + 图谱支持缩放/平移/全屏
## 数据对不上的四个根因

A. 服务端硬截断 500(count 返回截断后条数,不是真实总数)
B. 管理 /objects 用 id DESC、连接器 /connector/objects 用 id ASC
   -> 同条数不同内容,两侧互相搜不到对方的实例
C. Overview 用 limit=1 再累加 count -> 3576 显示成 47
D. listObjectTypes.instance_count 是真实 COUNT(*),列表却最多 500 行

## 修复(对齐管理面板与连接器/MCP)

- 共享 defaultSortClause(id DESC)+ maxPageSize=1000
- listObjects / connObjects 增加 offset + 响应里返回
    total  (该查询条件下、已过授权过滤的真实总数)
    has_more / limit / offset
- 授权过滤从「内存层 filterByMarking」改为「SQL 层 visibilityCond」
    先过滤再截断,count 与 total 与内容同口径
- connQuery / connSearch 同样下推,避免 count 偏小
- MCP get_objects_by_type 工具描述改为「id 倒序与管理页一致,配合
  total/has_more 用 offset 翻页取全量」,并新增 offset 参数

## Overview / InstanceView

- Overview: 直接用 listObjectTypes 的 instance_count 求和(一次请求)
- InstanceView: 标题显示「共 X 条」+ el-pagination 分页器(默认 100/页)

## 图谱视图 GraphView 重写

- 滚轮缩放(以鼠标位置为锚点),+/- 按钮、缩放百分比可点击复位
- 拖拽平移(区分 click/drag 防误触节点点击)
- Fullscreen API 进出 + 浮动工具栏(避免被 SVG 遮挡)
- 类型多选筛选 + 节点上限保护(按连接度优先截断)
- 关系上限 4000(超出的部分统计但不绘制)
- 螺旋(黄金角)布局替代单环,避免大簇互相压叠
- 单击节点查看详情弹窗(属性 / 关联关系数 / 跳转)

## 验证(已实测)

- 总条数 3576:instance_count(3576) == admin total(3576) == connector total(3576) ✓
- 同 offset 下管理接口与连接器首条 pk 完全一致 ✓
- MCP get_objects_by_type total=733 ✓
- 非 manager 主体 SQL 层过滤生效(无 clearance -> total=0)✓
- 滚轮缩放 64% -> 80%,拖拽平移生效,全屏生效 ✓
2026-09-03 14:52:47 +08:00
admin 86730bd52d feat: 对标 Palantir Ontology + P0/P1/P2 全落地 + xeo 端到端导入
## Palantir Ontology 对标(10 项)

P0 核心契约:
- when_to_suggest JSONB + llm_tool_description TEXT 加到 function_types/action_types
- Action 完整契约: submission_criteria / side_effects / impl_function_id / return_type
- FBA (Function-backed Action) 执行链: /api/v1/objects/:type/:pk/actions/:action
- /api/v1/ontology/suggestions 提示调度端点

P1 元原语补全:
- Object Type UX: title_property / subtitle_property / color / primary_key
- Property 字段元数据: format / default_value / indexable / vector_index / backing_column
- Link Type: directional + 独立 link_properties 子表
- Interface Type: shared_properties + parent_interface_id 多态
- Property extended types: geoshape / geopoint / media / timeseries / timestamp

P2 数据管道层:
- materializations / materialization_rows 物化层 + 60s ticker scheduler
- backing_sources 同步源元数据 + 投影字段映射

AI 提示词升级:
- ai/prompt.go 抽出 250+ 行静态 systemPrompt
- 动态上下文注入: 每次 Suggest 前查 db 拉已注册类型清单
- Suggestion struct 扩展 22 字段

## ON CONFLICT 漏 source 修复(4 处)
- handlers_objects createObject/updateObject: COALESCE(NULLIF(EXCLUDED.source,''), objects.source)
- handlers_km upsertObject + ai.ApplySuggestion: SET source=EXCLUDED.source
- 表名必须限定 objects.source, 否则报 ambiguous

## xeo mobileApi 端到端导入
- /api/v1/ai/ingest raw_text 改用 json.dumps 转义, 修复 ingestion_id=56 failed
- 1179 实例 + 1672 links + 1806 物化行
- 占位: 5 TrustedDataSpace + 158 MemberOrg
- 5 类 Materialization 配好(mat_xeo_dataproduct 等)

## 文档
- docs/update/2026-08-24.md: 10 节迁移 + 增量 11 节
- .gitignore: 加 web/vite.config.js.timestamp-*.mjs

Refs: docs/update/2026-08-24.md
2026-08-24 13:54:49 +08:00
ssw f1b687c2d2 目录扁平化:子目录内容提升至仓库根,文档归入 docs/
- 将 shangshu-ontology/ 子目录内容移至仓库根一级
- 修复 run.sh 的 REPO_ROOT 计算(扁平化后不再需要 cd ..),ARCHIVE_DIR 正确指向仓库根/archive
- 文档(README/PLAN/USAGE/IMPORT/product-intro)移至 docs/,同步更新结构树与导入命令中的旧路径
- 新增根 README.md 索引指向 docs/
- 新增 .gitignore:忽略 bin/、web/node_modules/、web/dist/、server/webroot/、.env、.workbuddy/ 等噪音
- main.go 的 ARCHIVE_DIR fallback 基于可执行文件相邻上级,扁平化后仍正确,无需改动
2026-08-07 14:21:34 +08:00