主题
数据目录与日志存储
目录总览
服务端的全部持久化状态集中在 dataDir(默认 ./data,systemd 部署为 /srv/deploy/data,Docker 镜像内为 /data)。启动时自动创建缺失目录, 权限 0750。典型结构:
text
/srv/deploy/
├── data/ # dataDir
│ ├── deploy.db # SQLite 数据库(纯 Go 驱动,无外部依赖)
│ ├── deploy-server.yaml # 可选:配置文件候选位置之一
│ ├── jwt.key # JWT 签名密钥(自动生成,0600)
│ ├── secret.key # AES-GCM 加密密钥(自动生成,0600)
│ ├── logs/ # 运行日志根目录
│ │ ├── <projectKey>/
│ │ │ ├── 1.log # 项目运行日志,文件名 = 运行 ID
│ │ │ └── 2.log
│ │ └── tasks/ # 任务日志独立命名空间
│ │ └── <taskKey>/
│ │ └── 1.log
│ ├── toolchain/install.sh # 构建工具链安装脚本(触发时从二进制落盘)
│ └── middleware/install.sh # 中间件安装脚本(同上)
└── workspaces/ # webRoot:项目工作目录默认根
└── <projectKey>/ # 项目默认工作目录 ${WORKSPACE_ROOT}/${PROJECT_KEY}前端不占用磁盘目录:静态资源经 go:embed all:dist 打进二进制, 升级二进制即升级 UI。
数据库与密钥文件
deploy.db:用户、项目、任务、运行记录、凭据密文、API Token 哈希、 系统设置、审计日志全在这里。单文件 SQLite,停服后直接拷走即可备份。jwt.key:签发登录 JWT 的 HMAC 密钥。丢失后所有已签发 JWT 失效, 用户重新登录即可,无数据损失。secret.key:加密 Secret 环境变量、Git 凭据、中间件密码参数的 AES-GCM 密钥。丢失即不可恢复:数据库里的密文永远解不开, 只能逐项重新录入凭据与 Secret。务必备份,且不要提交进任何仓库。
两个密钥文件仅在配置项 jwtSecret/secretKey 留空时生成:32 字节随机数 Base64 编码,写入权限 0600。若通过配置文件或环境变量显式提供密钥, 则以提供值为准,不读密钥文件。
运行日志
日志路径规则(项目与任务的 key 是两个独立命名空间,任务多一级 tasks/):
text
项目运行:<dataDir>/logs/<projectKey>/<runID>.log
任务运行:<dataDir>/logs/tasks/<taskKey>/<runID>.log日志在落盘前按行打码 Secret 值,下载到的文件同样是干净的。 实时推送与文件写入共用同一字节偏移,刷新/断网后按 nextOffset 补齐, 详见日志与实时跟随。
单次运行大小上限:logMaxBytes
logMaxBytes(默认 100MB)限制的是单个日志文件,不是磁盘总量。 达到上限时写入一行标记,之后该次运行的输出被丢弃(进程本身继续跑):
text
*** log size limit reached, further output is discarded ***可在系统设置热改,对之后开始的运行生效。
保留天数:logRetentionDays
后台清理任务在启动时跑一次,之后每 6 小时一次,删除创建时间早于 logRetentionDays(默认 30 天)的运行记录、步骤记录与对应日志文件; 运行中/排队中的记录不会被清理。设为 0 表示永不自动清理。 该值同样可在系统设置热改。
磁盘清理建议
- 日志是磁盘增长的主要来源:保留天数与单文件上限双管齐下即可控。
- 工作区(
webRoot)里的构建产物、node_modules、Git 仓库不受平台清理, 需要自行维护或在项目脚本里清理。 - 中间件一键安装若选 docker 方式,镜像与数据卷占用独立于 dataDir, 用
docker system df检查。
备份要点
停服后打包整个 dataDir 即完成一致性备份,secret.key 必须包含在内; 工作区如需保留应单独备份。完整流程与恢复步骤见 07 升级、备份与恢复。