Files
ssw-mpc/tools/release-publish.py
admin 31d246f00b fix(release): tag 已存在不算失败 + mac 产物改为可选
两处都会让正常发版走到一半报错:
- Gitea 创建 Release 时会自动建同名 tag,之后 git push tag 必然 already exists。
  判据改成「远端 tag 是否指向当前 HEAD」,是则视为成功;不一致才报错。
- mac 只服务开发机、不是部署目标,缺它不该阻塞服务端发版。
2026-11-14 12:43:21 +08:00

415 lines
17 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""发布到 Gitea:打 tag、建 Release、上传二进制与依赖资产。
【核心设计:依赖资产按内容寻址,只发一次】
────────────────────────────────────────────
依赖资产(easytier / fisco / opa 等)**不是每个版本都重新发一遍**。
本脚本按 **sha256** 判定:
1. 扫远端**所有** Release 的资产,算出每个资产的 sha256;
2. 本地待发资产的 sha256 已在远端某处 ⇒ **跳过上传**,
只在本次 Release 正文里写「引用:<该资产所在 Release 的下载链接>」;
3. sha256 不在远端 ⇒ 首次发布,上传并记录来源 Release。
这样:
- 同一个依赖版本 ⇒ 只有一份字节躺在 Gitea 上,磁盘不涨;
- 换版本(sha256 变)⇒ 自动作为新资产发布,旧版本仍可被历史 Release 引用;
- 判据唯一:sha256 是唯一真相,不靠文件名、不靠版本号。
★ 依赖资产不是 mpc 自己的产物,**版本不由本仓库决定** ⇒ 本脚本
只负责「取到本地 → 校验 sha256 → 去重上传」,**不负责**下载上游。
下载用 tools/release-dependencies.json 里记录的 url。
用法:
python3 tools/release-publish.py --tag v0.2.0 [--dry-run]
python3 tools/release-publish.py --tag v0.2.0 --push
凭据:走 git credential helper(`git credential fill`),不落命令行、不落文件。
"""
import argparse
import base64
import hashlib
import json
import os
import subprocess
import sys
import urllib.error
import urllib.request
ROOT = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
DIST = os.path.join(ROOT, "dist")
DEPS_STAGE = os.path.join(ROOT, "dist", "deps")
MANIFEST = os.path.join(ROOT, "tools", "release-dependencies.json")
REPO = "ssw/ssw-mpc"
API = "http://127.0.0.1:13300/api/v1"
# 本次发布的 mpc 自身产物(每个版本都必须发,不能去重)。
SELF_ASSETS = [
"mpc-x86_64-unknown-linux-gnu",
"mpc-armv7-unknown-linux-gnueabihf",
"mpc-x86_64-apple-darwin",
"SHA256SUMS",
]
# mac 目标只服务开发机,不是部署目标。缺它不该阻塞服务端发版 ——
# 强行要求三平台齐全,会让「只改了服务端逻辑、没必要重编 mac」的场景卡住,
# 进而逼着人去手工绕,反而更容易把旧 mac 包混进新 Release。
OPTIONAL_ASSETS = {"mpc-x86_64-apple-darwin"}
def log(msg):
print(msg, flush=True)
def die(msg):
print("FAIL: %s" % msg, file=sys.stderr)
sys.exit(1)
def sha256_file(path):
h = hashlib.sha256()
with open(path, "rb") as f:
for chunk in iter(lambda: f.read(1024 * 1024), b""):
h.update(chunk)
return h.hexdigest()
def git_credential():
"""从 git credential helper 取用户名密码(不落盘、不进 argv)。"""
proc = subprocess.run(
["git", "credential", "fill"],
input="protocol=http\nhost=127.0.0.1:13300\npath=%s.git\n\n" % REPO,
capture_output=True, text=True,
)
user = pwd = ""
for line in proc.stdout.splitlines():
if line.startswith("username="):
user = line[len("username="):]
elif line.startswith("password="):
pwd = line[len("password="):]
if not user or not pwd:
die("取不到 Gitea 凭据(git credential fill 失败)")
return user, pwd
def api(method, path, user, pwd, data=None, raw=None, ctype=None):
"""调用 Gitea API。data = json body;raw = 二进制 body。
★ 必须**主动带 Authorization 头**,不能用 urllib 的 HTTPBasicAuthHandler:
本仓 Gitea 的读接口允许匿名访问(GET 不带凭据也过),
而写接口返回的 401 **不带 WWW-Authenticate 挑战头** ⇒
BasicAuthHandler 永远不会触发重试 ⇒ POST 一律 401「token is required」。
症状:GET 全绿、POST 全 401,看起来像「凭据不对」,其实是「压根没带上」。
"""
url = API + path
body = None
headers = {"Authorization": "Basic " + base64.b64encode(
("%s:%s" % (user, pwd)).encode()).decode()}
if data is not None:
body = json.dumps(data).encode()
headers["Content-Type"] = "application/json"
elif raw is not None:
body = raw
if ctype:
headers["Content-Type"] = ctype
req = urllib.request.Request(url, data=body, headers=headers, method=method)
try:
with urllib.request.urlopen(req, timeout=300) as r:
payload = r.read()
if not payload:
return {}
try:
return json.loads(payload.decode())
except ValueError:
return {"_bytes": payload}
except urllib.error.HTTPError as e:
detail = e.read().decode(errors="replace")[:400]
die("API %s %s 失败:HTTP %s %s" % (method, path, e.code, detail))
def list_releases(user, pwd):
return api("GET", "/repos/%s/releases" % REPO, user, pwd)
def remote_asset_index(user, pwd):
"""扫远端所有 Release 的资产 ⇒ {sha256: {name, tag, id, size, url}}。
★ 这是「只发一次」的唯一判据:内容寻址,不靠文件名。
★ 代价:要把每个资产下载一遍算 sha256(依赖资产有 50MB 级的)。
资产数量不大(每版十来个),可接受;换来的是「判据唯一且不会错」。
"""
index = {}
for rel in list_releases(user, pwd):
tag = rel.get("tag_name")
for a in rel.get("assets", []):
dl = a.get("browser_download_url") or ""
# API 给的是 localhost,要换 127.0.0.1 才连得上
dl = dl.replace("http://localhost:13300", "http://127.0.0.1:13300")
try:
digest = sha256_file_from_url(dl, user, pwd)
except Exception as e:
print("WARN: 资产 %s 算 sha256 失败(%s)" % (a.get("name"), e))
continue
index[digest] = {
"name": a.get("name"),
"tag": tag,
"id": a.get("id"),
"size": a.get("size"),
"url": dl,
}
return index
def sha256_file_from_url(url, user, pwd):
"""下载并算 sha256(流式,不把大文件整个读进内存)。
★ 同样必须主动带 Authorization 头(见 api() 的说明)。
"""
h = hashlib.sha256()
headers = {"Authorization": "Basic " + base64.b64encode(
("%s:%s" % (user, pwd)).encode()).decode()}
req = urllib.request.Request(url, headers=headers)
with urllib.request.urlopen(req, timeout=600) as r:
for chunk in iter(lambda: r.read(1024 * 1024), b""):
h.update(chunk)
return h.hexdigest()
def upload_asset(release_id, path, name, user, pwd):
"""上传资产(Gitea 用 multipart/form-data)。"""
boundary = "----sswmpcreleaseboundary"
fname = os.path.basename(path)
with open(path, "rb") as f:
payload = f.read()
parts = []
parts.append(("--%s\r\n" % boundary).encode())
parts.append(
('Content-Disposition: form-data; name="attachment"; filename="%s"\r\n' % fname).encode())
parts.append(b"Content-Type: application/octet-stream\r\n\r\n")
parts.append(payload)
parts.append(("\r\n--%s--\r\n" % boundary).encode())
body = b"".join(parts)
return api("POST", "/repos/%s/releases/%s/assets?name=%s" % (REPO, release_id, name),
user, pwd, raw=body,
ctype="multipart/form-data; boundary=%s" % boundary)
def load_manifest():
with open(MANIFEST, "r", encoding="utf-8") as f:
return json.load(f)
def resolve_dep_asset(item, stage_dir):
"""定位依赖资产的本地文件:优先 manifest 里的 local,其次暂存目录。
返回 (路径, sha256) 或 (None, None)。
"""
local = item.get("local") or ""
name = item["name"]
candidates = []
if local:
candidates.append(local)
candidates.append(os.path.join(stage_dir, name))
for c in candidates:
if c and os.path.isfile(c):
return c, sha256_file(c)
return None, None
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--tag", required=True)
ap.add_argument("--push", action="store_true", help="推送 tag 到远端")
ap.add_argument("--dry-run", action="store_true", help="只打印计划,不改动远端")
args = ap.parse_args()
tag = args.tag
log("=== 发布 %s ===" % tag)
# ---- 1. 本次要发的 mpc 自身产物(必须齐)----
self_paths = []
for n in SELF_ASSETS:
p = os.path.join(DIST, n)
if not os.path.isfile(p):
if n in OPTIONAL_ASSETS:
log("跳过可选产物(本次未构建):%s" % n)
continue
die("缺少产物:%s(先跑 tools/release-build.sh)" % p)
self_paths.append((n, p))
log("自身产物 %d 个就位" % len(self_paths))
# ---- 2. 依赖资产(按 sha256 去重)----
manifest = load_manifest()
dep_items = list(manifest.get("dependencies", [])) + list(manifest.get("license_files", []))
resolved = []
missing = []
for item in dep_items:
path, digest = resolve_dep_asset(item, DEPS_STAGE)
if path is None:
missing.append(item["name"])
continue
want = item.get("sha256") or ""
if want and want != digest:
die("sha256 不符:%s 期望 %s 实得 %s" % (item["name"], want, digest))
resolved.append((item, path, digest))
if missing:
log("★ 暂未就位(不发布、后续可补):%s" % ", ".join(missing))
user, pwd = git_credential()
# ---- 3. 扫远端已有资产,建内容索引 ----
log("扫远端资产索引(内容寻址)…")
index = remote_asset_index(user, pwd)
log("远端已有 %d 个资产(按 sha256 索引)" % len(index))
# ---- 4. 计划 ----
to_upload = [] # (name, path, sha256)
reused = [] # (name, sha256, ref_url, ref_tag)
for item, path, digest in resolved:
hit = index.get(digest)
if hit:
reused.append((item, digest, hit))
log(" 复用 %-46s sha=%s… 已在 %s" % (item["name"], digest[:12], hit["tag"]))
else:
to_upload.append((item, path, digest))
log(" 首发 %-46s sha=%s…" % (item["name"], digest[:12]))
log("计划:首发 %d 个,复用 %d 个" % (len(to_upload), len(reused)))
if args.dry_run:
log("(dry-run,不改动远端)")
return 0
# ---- 5. tag ----
if subprocess.run(["git", "rev-parse", tag], capture_output=True).returncode != 0:
subprocess.run(["git", "tag", "-a", tag, "-m", "release %s" % tag], check=True)
log("已创建 tag %s" % tag)
else:
log("tag %s 已存在" % tag)
# ---- 6. Release ----
rel = None
for r in list_releases(user, pwd):
if r.get("tag_name") == tag:
rel = r
break
body = build_body(tag, self_paths, resolved, reused, index)
if rel is None:
rel = api("POST", "/repos/%s/releases" % REPO, user, pwd, data={
"tag_name": tag,
"target_commitish": "main",
"name": tag,
"body": body,
"draft": False,
"prerelease": False,
})
log("已创建 Release %s (id=%s)" % (tag, rel.get("id")))
else:
rel = api("PATCH", "/repos/%s/releases/%s" % (REPO, rel["id"]), user, pwd,
data={"body": body, "name": tag})
log("已更新 Release %s (id=%s)" % (tag, rel.get("id")))
rid = rel["id"]
# ---- 7. 上传(自身产物 + 首发依赖)----
existing = {a["name"] for a in rel.get("assets", [])}
for name, path in self_paths:
if name in existing:
log(" 已有 %s(跳过)" % name)
continue
upload_asset(rid, path, name, user, pwd)
log(" 上传 %s" % name)
for item, path, digest in to_upload:
if item["name"] in existing:
log(" 已有 %s(跳过)" % item["name"])
continue
upload_asset(rid, path, item["name"], user, pwd)
log(" 上传 %s" % item["name"])
# ---- 8. 推 tag ----
# 🔴 Gitea 在「创建 Release」那一步就会**自动建同名 tag**(指向默认分支 HEAD),
# 所以走到这里 `git push` 多半会以 `already exists` 失败 —— 那不是错误。
# 判据改成「远端 tag 指向的是不是当前 HEAD」:是就当作成功。
if args.push:
r = subprocess.run(["git", "push", "origin", tag],
capture_output=True, text=True)
if r.returncode == 0:
log("已推送 tag %s" % tag)
else:
head = subprocess.run(["git", "rev-parse", "HEAD"],
capture_output=True, text=True).stdout.strip()
remote = subprocess.run(["git", "ls-remote", "--tags", "origin", tag],
capture_output=True, text=True).stdout.strip()
# ls-remote 输出形如:「<sha>\trefs/tags/v0.3.0」
remote_sha = remote.split()[0] if remote.split() else ""
if remote_sha and (remote_sha == head or remote_sha.endswith("^{}")):
log("tag %s 已由 Gitea 建好(指向 %s),无需再推" % (tag, remote_sha[:7]))
elif remote_sha:
die("远端 tag %s 指向 %s,与本地 HEAD %s 不一致 —— 发版前先把提交推上去"
% (tag, remote_sha[:7], head[:7]))
else:
# 真失败(网络/权限),把 git 自己的输出抛出来,别吞
die("推送 tag 失败:%s" % (r.stderr or r.stdout).strip())
log("完成:%s" % tag)
return 0
def build_body(tag, self_paths, resolved, reused, index):
"""生成 Release 正文:自身产物 + 依赖资产(首发列全量,复用列引用)。"""
man = load_manifest()
lines = []
lines.append("## ssw-mpc %s" % tag)
lines.append("")
lines.append("尚数网-多方安全计算框架 —— Rust 单二进制(`mpc`),低依赖,可编进 TEE。")
lines.append("")
lines.append("### 发布物(`mpc` 本体)")
lines.append("")
lines.append("| 文件 | sha256 |")
lines.append("|---|---|")
for name, path in self_paths:
lines.append("| `%s` | `%s` |" % (name, sha256_file(path)))
lines.append("")
lines.append("### 依赖资产")
lines.append("")
lines.append("> 依赖资产按**内容寻址(sha256)**发布:**同一份依赖只发布一次**,")
lines.append("> 后续版本只引用其下载链接,不重复上传(见 `tools/release-publish.py`)。")
lines.append("")
for item, path, digest in resolved:
lines.append("#### %s" % item["name"])
lines.append("")
lines.append("- 版本:`%s` | 平台:%s | 许可证:**%s**" %
(item.get("version", "?"), item.get("platform", "?"), item.get("license", "?")))
lines.append("- 作用:%s" % item.get("role", "-"))
lines.append("- sha256:`%s`" % digest)
lines.append("- 上游下载地址:%s" % item.get("url", "-"))
if item.get("source"):
lines.append("- 源码获取方式:%s" % item["source"])
hit = index.get(digest)
if hit:
lines.append("- **本次不重复上传**:已在 [%s](%s) 发布,直接取该处" % (hit["tag"], hit["url"]))
else:
lines.append("- 本次首发(随本 Release 上传)")
lines.append("")
lines.append("### 许可证义务")
lines.append("")
lines.append("- **EasyTier = LGPL-3.0**:本项目只以**独立进程 + CLI/RPC**方式调用(不链接其 crate),"
"属 LGPL 明确许可的用法。随包附 LGPL 许可证文本与**源码获取方式**(见上表 `source`)。")
lines.append("- **OPA = Apache-2.0**、**FISCO BCOS = Apache-2.0**:随包附许可证文本。")
lines.append("- 许可证文本资产:`%s`" % "`, `".join(
i["name"] for i in man.get("license_files", [])))
lines.append("")
lines.append("### 已知边界(诚实声明)")
lines.append("")
lines.append("- 链上层仍是**系统 OpenSSL 的软件 SM2 签名**(私钥可导出)⇒ **密评不可过**;生产须换硬件模组 provider。")
lines.append("- TLCP 真实 `bcos-rpc` 通道**未通**(本机 GmSSL 环回通过 ≠ 链上通道已通)。")
lines.append("- OPA 跑在**宿主/控制面**,不在 guest 内;decision 未签名、未上链。")
lines.append("- 国密链撤销链读后端未接入 ⇒ 声明 chain 即 fail-closed 拒。")
lines.append("")
lines.append("详见 `docs/INDEX.md` 与 `docs/ARCHITECTURE_SYSTEM.md`。")
return "\n".join(lines)
if __name__ == "__main__":
sys.exit(main())