diff --git a/README.md b/README.md index 1e2eec8..003c2ab 100644 --- a/README.md +++ b/README.md @@ -79,6 +79,12 @@ sccache 0.18 经 `~/.cargo/config.toml` 的 `[build] rustc-wrapper` + `[env] SCC `Datasource` / `DeliveryLog` / `DeliveryTask` / `DestroyLog` / `Identity` / `Notification` / `Order` / `Policy` / `PolicyCheckLog` / `PolicyTemplate` / `Product` / `Resource` +> ⚠️ 写入能力**按实体分档**(真值见 `src/registry.rs` 的 `no_create` / `no_update` / `no_delete`): +> `Dataset` 是 `tdc_resource` 的**只读视图**(禁增/改/删); +> `ApiConsumeLog` 全只读;`AuditLog` 禁改禁删(可增); +> `DeliveryTask` / `DestroyLog` 禁增禁删(可改); +> `Contract` / `DeliveryLog` / `PolicyCheckLog` 禁删(可增可改)。 + > 鉴权:`X-Internal-Token`(内部令牌通道)或 `X-Auth-Token` / `Authorization: bearer `(会话通道)。 > 业务失败一律 **HTTP 200 + `{code,msg,data}`**;鉴权失败是另一种形状: > **HTTP 401/403 + `{"success":false,"code":401,"msg":"…"}`**(**无 `data` 键**)。 @@ -86,7 +92,12 @@ sccache 0.18 经 `~/.cargo/config.toml` 的 `[build] rustc-wrapper` + `[env] SCC ## 已实现范围 -**30 张表**(上游 `tdc_*` schema 的生成产物,含 9 系统列 / 逻辑删除 / partial 唯一索引): +**30 张表**(上游 `tdc_*` schema 的生成产物):其中 **24 张**带齐 **10 个系统列** +(`f_id` / `f_tenant_id` / `f_sort_code` + 创建·修改·删除审计列), +其余 **6 张**为精简变体(`tdc_data_interface_field` / `tdc_data_interface_param` / +`tdc_resource_field` / `tdc_resource_mask_rule` 只有 `f_id` + `f_sort_code`, +`tdc_demo_insurance_claims` 只有 `f_id`,`tdc_delivery_outbox` 无系统列); +逻辑删除位为 `f_delete_mark`;**21** 个唯一索引中 **14** 个是 partial 唯一索引: | 域 | 表 | |---|---| @@ -100,16 +111,22 @@ sccache 0.18 经 `~/.cargo/config.toml` 的 `[build] rustc-wrapper` + `[env] SCC | 日志 / 通知 | `tdc_audit_log`、`tdc_api_consume_log`、`tdc_sync_log`、`tdc_notify` | | 上游示例 | `tdc_demo_car_insurance`、`tdc_demo_insurance_claims`、`tdc_demo_pii` | -**控制台能力**(**当前只实现通用 CRUD 与聚合详情**): +**控制台能力**(**当前只实现通用读取 + 按实体分档的写入,以及聚合详情**): -- 18 个实体的通用 CRUD:`列表` / `新建` / `详情` / `修改` / `逻辑删除` / `/All`(不分页全量) +- 18 个实体的**通用读取**:`列表` / `详情` / `/All`(不分页全量) + + **按实体分档**的写入(`新建` / `修改` / `逻辑删除`)—— + `Dataset` 是 `tdc_resource` 的只读视图;`AuditLog` / `DeliveryLog` / `DeliveryTask` / + `DestroyLog` / `PolicyCheckLog` / `Contract` / `ApiConsumeLog` 带写保护,详见 `src/registry.rs` - 2 个聚合详情:`/api/ssw/tdc/Resource/{id}/Detail`、`/api/ssw/tdc/Dataset/{id}/Detail` - 4 个 `Auth` 端点:`Auth/Login`、`Auth/Me`、`Auth/Spaces`、`Auth/SsoConfig` - `GET /api/health` > 🔴 **上游那 100+ 个「动作端点」(发布 / 下架 / 提交审核 / 通过 / 驳回 / 签署 / 生效 / 终止 / -> 策略校验 / 测试连接 / 同步资源 / 启用停用 / 完成 / 取消 / 销毁 …)属后续分期,尚未实现** -> ⇒ 前端点到这些按钮会 **404**。本仓**不提供**这些动作端点的占位实现。 +> 策略校验 / 测试连接 / 同步资源 / 启用停用 / 完成 / 取消 / 销毁 …)属后续分期,尚未实现**。 +> 本仓**不提供**这些动作端点的占位实现 ⇒ 请求的实际表现分两种: +> - **两段式**(`/{Entity}/{id}/{Action}`,如 `/api/ssw/tdc/Product/{id}/Offline`)⇒ **404 + JSON**; +> - **单段式**(`/{Entity}/{Action}`,如 `/api/ssw/tdc/Product/publish`)⇒ 被详情路由 +> `/{Entity}/{id}` 吃掉,`publish` 被当成 id ⇒ **200** 业务信封『记录不存在或已删除』。 ## 明确不在 MVP 内(原 `ssw-tdc` 的隐私计算作业) diff --git a/src/main.rs b/src/main.rs index 96b3b06..4c89949 100644 --- a/src/main.rs +++ b/src/main.rs @@ -144,13 +144,16 @@ async fn main() { // ⇒ **绝不能**从 HTTP 下载(上游部署里 DDL 不在 web root)。 // 🔴 该文件**已移出 web root**(现在在 `schema/`)⇒ ServeDir 根本读不到它; // 这条字面路由只是**额外**兜住这个字面路径。 - // 🔴 **真正的守卫**是 `routes::fallback::ddl_guard`(**跑在 `ServeDir` 之前** - // 的前置中间件)⇒ 即便 DDL 文件被放回 `static/`,也**下不到** - // (大小写 / `%2E` / 尾斜杠 / 双斜杠等变体一律拦)。 + // 🔴 **文件名级的前置守卫**是 `routes::fallback::ddl_guard`(**跑在 `ServeDir` 之前** + // 的前置中间件):判据是「路径中**任意一段**(去尾部空白、忽略大小写) + // 等于 `migrate.sql`」⇒ 该文件名不会被 `ServeDir` 吐出。 + // ⚠️ 守卫**只认这一个文件名**;web root 里叫别的名字的文件**不拦** + // ⇒ 根因修复是「DDL 文件不在 web root」,守卫只是前置兜底。 .route("/migrate.sql", any(api_not_found)) // ③ 静态托管挂**根**(vite base 是 `/`,产物引用 `/assets/...`) // 兜底服务(`routes::fallback::spa_fallback`): - // - **前置守卫** `ddl_guard` ⇒ DDL 文件名一律 404 + JSON(先于 ServeDir) + // - **前置守卫** `ddl_guard` ⇒ 路径中任意一段等于 `migrate.sql` 时 404 + JSON + // (先于 ServeDir;守卫只认这一个文件名,别的文件名不拦) // - 命中 `static/` 里的真实文件 ⇒ 直接出(`/assets/*.js`、`/logo.png` …) // - `/api`、`/api/`、`/api/**` ⇒ 404 + JSON(**不是** SPA 的 HTML) // - 其余(`/tdc/home`、`/login` 等 SPA 深链)⇒ 200 + `index.html` diff --git a/src/routes/fallback.rs b/src/routes/fallback.rs index 7e08737..3aa4120 100644 --- a/src/routes/fallback.rs +++ b/src/routes/fallback.rs @@ -8,7 +8,7 @@ //! | 请求路径 | 响应 | //! |---|---| //! | `/api`、`/api/`、`/api/**` | **404 + JSON**(`api_not_found()`) | -//! | schema DDL 文件名(`migrate.sql` 及其大小写 / `%2E` / 尾斜杠 / 双斜杠变体) | **404 + JSON**(**前置守卫** `ddl_guard`) | +//! | 路径中**任意一段**(去尾部空白、忽略大小写)等于 `migrate.sql` | **404 + JSON**(**前置守卫** `ddl_guard`) | //! | 其余(`/tdc/home`、`/login` 等 SPA 深链) | **200 + `text/html`**(`static/index.html`) | //! | 命中 `static/` 里的真实文件(`/assets/*.js`、`/logo.png` …) | 由 `ServeDir` 直接出 | //! @@ -16,10 +16,13 @@ //! //! 🔴 **根因修复**:DDL 文件**已移出 web root**(现在在 `schema/`,编译期 `include_str!` 内嵌), //! 所以 `ServeDir` 根本读不到它。 -//! 🔴 **第二道(前置守卫)**:`ddl_guard` 是**跑在 `ServeDir` 之前**的中间件 +//! 🔴 **前置守卫(文件名级)**:`ddl_guard` 是**跑在 `ServeDir` 之前**的中间件 //! (`Router::layer` 在 axum 0.8.9 会同时包住 `fallback_router` 与 `catch_all_fallback` -//! ⇒ 守卫必然先于 `ServeDir` 执行)——它**独立于文件位置**: -//! 即便 DDL 被放回 `static/`,也**下不到**(任何路径变体都拦)。 +//! ⇒ 守卫先于 `ServeDir` 执行)。 +//! 它的判据是「**路径中任意一段**(去尾部空白、忽略大小写)等于 `migrate.sql`」。 +//! ⚠️ **边界**:守卫**只认这一个文件名**。web root 里若存在**别的** `.sql` +//! (或任何其它名字的文件),守卫**不拦** ⇒ 真正的修复是「DDL 文件不在 web root」, +//! 守卫只是文件名级的前置兜底,不是「web root 里任何文件都吐不出来」。 //! //! ## 为什么 `/api` 用「精确前缀」而不是裸 `starts_with` //! @@ -31,6 +34,10 @@ //! 两处都先 **percent-decode** 再判定: //! - `/api%2Ffoo` 解码后是 `/api/foo` ⇒ 落在 `/api` 命名空间 ⇒ **404 JSON**; //! - `/apifoo` 解码后仍是 `/apifoo` ⇒ **不被误吞**(回 SPA HTML)。 +//! +//! ⚠️ **只 decode 一层是刻意选择**(契约,不是遗漏):decode 两层会让 `%252F` 变成 `/`, +//! 与 `ServeDir` / 浏览器对同一 URL 的解释**不一致**;decode 零层又认不出 `%2F`。 +//! 一层 decode 恰好与 `ServeDir`(`tower-http` 也只 decode 一层)对齐。 use std::path::{Path, PathBuf}; @@ -72,7 +79,7 @@ pub async fn api_not_found() -> Response { /// 🔴 返回的是 `Router`(不是 `ServeDir`)——因为 **DDL 前置守卫 `ddl_guard` 必须跑在 /// `ServeDir` 之前**:`axum 0.8.9` 的 `Router::layer` 会同时包住 `fallback_router` /// 与 `catch_all_fallback`(`axum-0.8.9/src/routing/mod.rs:303-317`) -/// ⇒ 守卫必然先于 `ServeDir` 执行 ⇒ DDL 即便被放回 web root 也**下不到**。 +/// ⇒ 守卫先于 `ServeDir` 执行 ⇒ 名为 `migrate.sql` 的路径不会由 `ServeDir` 吐出。 /// /// ⚠️ 为什么不用 `tower::service_fn`:`tower` 只是 **dev-dependency**, /// **lib 代码里不许用** `tower::service_fn` / `ServiceExt` ⇒ 用 axum 自己的 `any(handler)`。 @@ -89,13 +96,16 @@ pub fn spa_fallback(static_dir: impl Into) -> Router { .layer(axum::middleware::from_fn(ddl_guard)) } -/// 🔴 **DDL 前置守卫**:路径的**最后一段**是 DDL 文件名 ⇒ 404 + JSON。 +/// 🔴 **DDL 前置守卫**:路径中**任意一段**(去尾部空白、忽略大小写)等于 DDL 文件名 +/// ⇒ 404 + JSON。 /// -/// 🔴 **跑在 `ServeDir` 之前**(见 `spa_fallback` 的说明)——它**独立于文件位置**: -/// 即便 DDL 被放回 web root,`ServeDir` 也**没机会**把它读出来。 +/// 🔴 **跑在 `ServeDir` 之前**(见 `spa_fallback` 的说明)。 /// -/// 判定用的是 **percent-decode 之后**的路径(与决策层同一口径): -/// 大小写变体、`%2E`、`%2F`、尾斜杠、双斜杠一律拦得住。 +/// 判定用的是 **percent-decode 之后**的路径(与决策层同一口径)。 +/// +/// ⚠️ **边界**:判据只覆盖**这一个文件名** `migrate.sql`—— +/// web root 里叫别的名字的 SQL 文件**不拦**。根因修复是「DDL 文件不在 web root」, +/// 本守卫只是文件名级的前置兜底。 pub async fn ddl_guard(request: Request, next: Next) -> Response { if is_ddl_path(&decoded_path(request.uri().path())) { return api_not_found().await; @@ -133,13 +143,24 @@ fn is_api_path(decoded_path: &str) -> bool { decoded_path == "/api" || decoded_path.starts_with("/api/") } -/// 路径的**最后一段**(去尾斜杠、忽略大小写)是否等于 DDL 文件名。 +/// 路径的**任意一段**(去尾部 ASCII 空白、忽略大小写)是否等于 DDL 文件名。 +/// +/// 🔴 判据是「**任意一段**」而不是「最后一段」—— +/// `tower-http-0.6.11/src/services/fs/serve_dir/mod.rs:462-492` 用 +/// `Path::components()` 归一化并**丢弃 `Component::CurDir`(`.`)**, +/// 于是 `/migrate.sql/.` 被 `ServeDir` 解析成「文件 `migrate.sql`」; +/// 只看末段会让 `.` / `%2e` 结尾的一族绕过守卫。 +/// +/// **充分性**:`ServeDir` 对**每个** `Component::Normal` 都 `push` +/// (Windows 上另有一道「保留设备名」检查,`migrate.sql` 不在其中), +/// 要吐出名为 `migrate.sql` 的文件,该文件名**必然**是其中一段 +/// ⇒ 「任一段命中」⇒ 必拦。 /// /// ⚠️ 入参**必须**是 [`decoded_path`] 之后的路径(守卫与决策层同一口径)。 fn is_ddl_path(decoded_path: &str) -> bool { - let trimmed = decoded_path.trim_end_matches('/'); - let last = trimmed.rsplit('/').next().unwrap_or(""); - last.eq_ignore_ascii_case(DDL_FILENAME) + decoded_path + .split('/') + .any(|seg| seg.trim_end().eq_ignore_ascii_case(DDL_FILENAME)) } /// 判定用的**归一化路径**:percent-decode 之后的结果。 diff --git a/tests/spa_fallback.rs b/tests/spa_fallback.rs index 38eb3f9..5ec80ef 100644 --- a/tests/spa_fallback.rs +++ b/tests/spa_fallback.rs @@ -137,6 +137,11 @@ async fn spa_deep_link_returns_index_html() { } /// 静态资源(`/assets/*.js`)⇒ 200(由 `ServeDir` 直接出,不走兜底)。 +/// +/// 🔴 R3-2 补的断言:**content-type 不得以 `text/html` 开头**。 +/// 只断言 `status == 200` 时,`ServeDir` 的根目录坏掉(资源不存在)也会绿—— +/// 因为请求落到决策层、回的是 `static/index.html`(200 `text/html`)。 +/// 加上 content-type 后,「资源被 `ServeDir` 命中」与「回落成 SPA index」才可区分。 #[tokio::test] async fn static_assets_are_still_served() { let asset = std::fs::read_dir(static_dir().join("assets")) @@ -145,30 +150,39 @@ async fn static_assets_are_still_served() { .map(|e| e.file_name().to_string_lossy().into_owned()) .find(|n| n.starts_with("index-") && n.ends_with(".js")) .expect("static/assets 里应有 index-*.js"); - let (status, _ct, body) = call(&format!("/assets/{}", asset)).await; + let (status, ct, body) = call(&format!("/assets/{}", asset)).await; assert_eq!( status, StatusCode::OK, "body={}", &body[..body.len().min(200)] ); + assert!( + !ct.starts_with("text/html"), + "静态资源应由 ServeDir 直接出(实测 text/javascript),不该回落成 SPA index.html:ct={:?}", + ct + ); } -/// 🔴 **回归点(R2-1)**:DDL 文件**就在 web root 里**时,也**必须**下不到。 +/// 在 `temp_dir` 下造一个「含 `migrate.sql` 的 web root」(并发安全的名字)。 /// -/// 这条测试证明的是「前置守卫 `ddl_guard` 真的跑在 `ServeDir` **之前**」: -/// - 若守卫只在 `ServeDir` 的 decision 层(文件没找到时)判定 ⇒ 这里会 **200 + 完整 DDL**; -/// - 若守卫是前置中间件 ⇒ 无论文件在不在 web root,都是 **404 + JSON**。 -#[tokio::test] -async fn ddl_in_web_root_is_still_not_downloadable() { - // 在临时目录里造一个「含 migrate.sql 的 web root」。 +/// 内容用**可识别的标记串**(不是真 DDL,避免报告里出现真 DDL 片段)。 +/// +/// 🔴 名字 = **pid + 纳秒 + 进程内自增序号**:单靠纳秒仍有残余竞争 +/// (同进程内两个并发用例可能拿到同一个纳秒 ⇒ 目录名撞车 ⇒ +/// 先结束的那个把后者的目录删了 ⇒ 后者读到 `index.html missing`)。 +/// 自增序号保证同进程内唯一。 +fn tmp_web_root_with_ddl() -> PathBuf { + use std::sync::atomic::{AtomicU32, Ordering}; + static SEQ: AtomicU32 = AtomicU32::new(0); let tmp = std::env::temp_dir().join(format!( - "tdc-ddl-guard-{}-{}", + "tdc-ddl-guard-{}-{}-{}", std::process::id(), std::time::SystemTime::now() .duration_since(std::time::UNIX_EPOCH) .map(|d| d.as_nanos()) - .unwrap_or(0) + .unwrap_or(0), + SEQ.fetch_add(1, Ordering::Relaxed), )); std::fs::create_dir_all(&tmp).expect("创建临时 web root 失败"); std::fs::write( @@ -177,14 +191,72 @@ async fn ddl_in_web_root_is_still_not_downloadable() { ) .expect("写临时 migrate.sql 失败"); std::fs::write(tmp.join("index.html"), "tmp").expect("写临时 index.html 失败"); + tmp +} - let mut failures: Vec = Vec::new(); - for uri in [ +/// 🔴 **回归点(R2-1 / R3-1)**:DDL 文件**就在 web root 里**时,下列**每一条**变体都**必须**下不到。 +/// +/// 这条测试证明的是「前置守卫 `ddl_guard` 真的跑在 `ServeDir` **之前**」: +/// - 若守卫只在 `ServeDir` 的 decision 层(文件没找到时)判定 ⇒ 这里会 **200 + 完整 DDL**; +/// - 若守卫是前置中间件 ⇒ 无论文件在不在 web root,都是 **404 + JSON**。 +/// +/// 🔴 R3-2:**每一条**变体都必须同时满足「404 + `application/json` + 响应体不含标记串」。 +/// R2 时的变体清单只有 4 条,且**恰好全在旧守卫的判定口径内**(只看末段) +/// ⇒ 用例对「末段带 `.`」那一族(`/migrate.sql/.` 等 24 条)**零敏感**。 +/// 现在清单覆盖了复评实测漏网的 24 条 + 回归护栏 ⇒ **任一条漏网即红**。 +#[tokio::test] +async fn ddl_in_web_root_is_still_not_downloadable() { + // 在临时目录里造一个「含 migrate.sql 的 web root」。 + let tmp = tmp_web_root_with_ddl(); + + // 变体清单:复评实测漏网的 24 条 + R2 的 4 条 + 尾斜杠 / 编码斜杠 / 尾部空白等护栏。 + const VARIANTS: [&str; 36] = [ + // R2 的 4 条(原本就在) "/migrate.sql", "/MIGRATE.SQL", "/migrate%2Esql", "//migrate.sql", - ] { + // 大小写 / 编码变体 + "/Migrate.sql", + "/migrate%2esql", + "/%6digrate.sql", + // 尾斜杠 / 编码斜杠 + "/migrate.sql/", + "/migrate.sql%2f", + // 末段带 `.` 的一族(R2 漏网 ⇒ R3 的重点) + "/migrate.sql/.", + "/migrate.sql/./", + "/migrate.sql/%2e", + "/migrate.sql/%2E", + "/migrate.sql/%2e%2f", + "/migrate.sql/././.", + "/MIGRATE.SQL/.", + "/MIGRATE.SQL/./", + "/MIGRATE.SQL/%2e", + "/MIGRATE.SQL/%2E", + "/MIGRATE.SQL/%2e%2f", + "/MIGRATE.SQL/././.", + "/migrate%2Esql/.", + "/migrate%2Esql/./", + "/migrate%2Esql/%2e", + "/migrate%2Esql/%2E", + "/migrate%2Esql/%2e%2f", + "/migrate%2Esql/././.", + "/%6digrate.sql/.", + "/%6digrate.sql/./", + "/%6digrate.sql/%2e", + "/%6digrate.sql/%2E", + "/%6digrate.sql/%2e%2f", + "/%6digrate.sql/././.", + // 「任一段」口径的护栏(不止是修 `.` 那一族) + "/migrate.sql/..", + "/schema/migrate.sql", + // 尾部空白(收紧项) + "/migrate.sql%20", + ]; + + let mut failures: Vec = Vec::new(); + for uri in VARIANTS { let (status, ct, body) = call_dir(&tmp, uri).await; let head: String = body.chars().take(200).collect(); if status != StatusCode::NOT_FOUND { @@ -192,10 +264,10 @@ async fn ddl_in_web_root_is_still_not_downloadable() { "uri={uri} 必须是 404(DDL 在 web root 里也下不到),实际 {status},body={head}" )); } - if ct != "application/json" { + if !ct.starts_with("application/json") { failures.push(format!("uri={uri} 必须是 JSON,实际 {ct},body={head}")); } - if body.contains("CREATE TABLE") { + if body.contains("CREATE TABLE") || body.contains("DDL MUST NOT LEAK") { failures.push(format!("uri={uri} 响应体不得含 DDL:{head}")); } } @@ -205,3 +277,37 @@ async fn ddl_in_web_root_is_still_not_downloadable() { assert!(failures.is_empty(), "{}", failures.join("\n")); } + +/// 🔴 **回归点(R3-1)**:「**任意一段**命中」的口径被**单独**钉住。 +/// +/// 守卫的判据是「路径中任意一段(去尾部空白、忽略大小写)等于 `migrate.sql`」, +/// 而不是「最后一段」。这三条路径分别覆盖: +/// - `/schema/migrate.sql` ⇒ DDL 文件名在**中间**一段(不是末段); +/// - `/migrate.sql/..` ⇒ 末段是 `..`,DDL 文件名在**前一段**; +/// - `/migrate.sql/.` ⇒ 末段是 `.`(`ServeDir` 归一化时会被**丢弃**, +/// 于是它把 `migrate.sql` 当成末段文件直接吐出 ⇒ 这条是 R2 漏网的那一族)。 +/// +/// 三条都必须是 **404 + JSON + 响应体不含标记串**。 +#[tokio::test] +async fn ddl_is_blocked_by_any_path_segment() { + let tmp = tmp_web_root_with_ddl(); + + let mut failures: Vec = Vec::new(); + for uri in ["/schema/migrate.sql", "/migrate.sql/..", "/migrate.sql/."] { + let (status, ct, body) = call_dir(&tmp, uri).await; + let head: String = body.chars().take(200).collect(); + if status != StatusCode::NOT_FOUND { + failures.push(format!("uri={uri} 必须是 404,实际 {status},body={head}")); + } + if !ct.starts_with("application/json") { + failures.push(format!("uri={uri} 必须是 JSON,实际 {ct},body={head}")); + } + if body.contains("CREATE TABLE") || body.contains("DDL MUST NOT LEAK") { + failures.push(format!("uri={uri} 响应体不得含 DDL:{head}")); + } + } + + let _ = std::fs::remove_dir_all(&tmp); + + assert!(failures.is_empty(), "{}", failures.join("\n")); +}