From 6694bc4025f2503b45a25caada0df8837f500d8d Mon Sep 17 00:00:00 2001 From: Ruk Doe Date: Sun, 15 Nov 2026 22:37:37 +0900 Subject: [PATCH 1/2] =?UTF-8?q?refactor(backup):=20=E5=BE=A9=E5=85=83?= =?UTF-8?q?=E3=83=81=E3=82=A7=E3=83=83=E3=82=AF=E3=81=A7=20check=20?= =?UTF-8?q?=E3=81=A0=E3=81=91=E3=81=AB=E3=81=99=E3=82=8B=20PVC=20=E3=82=92?= =?UTF-8?q?=E3=82=A2=E3=83=97=E3=83=AA=E3=81=AE=E6=B3=A8=E9=87=88=E3=81=A7?= =?UTF-8?q?=E9=81=B8=E3=81=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit restore-check が denpa/denpa-encoded を名前で決め打ちしていたのを、ReplicationSource の注釈 backup.doany.io/restore-check: check-only で選ぶ形にする。注釈はアプリのリポジトリの volsync.yaml に 書くので、アプリを消しても gitops を直さなくてよい(denpa 側は danything/denpa#2900)。 アプリの名前を挙げていたコメントと docs(lvm-localpv の容量、storage の shared、volsync の取らないもの、 external-dns の直接つなぐもの、PSA のラベル)は、gitops の外のアプリを例として書く形にした。 Co-Authored-By: Claude Opus 5.5 Claude-Session: https://claude.ai/code/session_01T8TqVdo6LUrWKdVQgbScVU --- bootstrap/lvm-localpv-values.yaml | 5 +++-- bootstrap/storage.yaml | 4 ++-- bootstrap/talos.md | 3 ++- deploy/backup/README.md | 4 +++- deploy/backup/restore-check.yaml | 20 ++++++++++++-------- deploy/external-dns/README.md | 2 +- deploy/volsync/application.yaml | 2 +- 7 files changed, 24 insertions(+), 16 deletions(-) diff --git a/bootstrap/lvm-localpv-values.yaml b/bootstrap/lvm-localpv-values.yaml index 70c6e016..03ed32e4 100644 --- a/bootstrap/lvm-localpv-values.yaml +++ b/bootstrap/lvm-localpv-values.yaml @@ -8,8 +8,9 @@ # 容量で Pod の置き場を絞らせない。thin なので PVC の大きさは上限でしかなく、合計がプールを超えても作れる。 # true だと kube-scheduler が「プールの空き < PVC」のものを置けずに Pending にする。 # ただし**全部の PVC の合計はプール(約 340Gi)に収める。** 超えて実際に埋まると、PVC の中の残量の見張り -# (denpa の disk.ts など)が鳴る前にプールが埋まり、全部の PVC の書き込みが止まる。 -# 残りは録画(danything/denpa の deploy/application.yaml の encoded)に回してあるので、ほかの PVC を増やしたらそこを減らす。 +# (アプリの中の見張り。例: denpa の disk.ts)が鳴る前にプールが埋まり、全部の PVC の書き込みが止まる。 +# 残りは一番大きい PVC(今は録画。各アプリのリポジトリの deploy/ にある)に回してあるので、ほかの PVC を増やしたらそこを減らす。 +# 合計は `kubectl get pvc -A` の容量を足して見る。 storageCapacity: false # 匿名の利用統計(Google Analytics)を送らない analytics: diff --git a/bootstrap/storage.yaml b/bootstrap/storage.yaml index 5bb9e384..cf51b1e9 100644 --- a/bootstrap/storage.yaml +++ b/bootstrap/storage.yaml @@ -20,8 +20,8 @@ parameters: # ext4 は lost+found を作り、PGDATA がボリュームの直下の Postgres(forgejo・rybbit)が initdb で落ちる csi.storage.k8s.io/fstype: xfs # **同じノードの 2 つの Pod から同時にマウントできるようにする。** 無いと 2 つ目が - # `verifyMount: device already mounted` で ContainerCreating のまま止まる。denpa の agent-config は - # denpa と tuner-agent の両方が付ける。VolSync の mover はスナップショットから作った別の PVC を付けるので当たらない + # `verifyMount: device already mounted` で ContainerCreating のまま止まる。1 つの PVC を 2 つの Pod が付けるアプリがある + # (例: denpa の agent-config は denpa と tuner-agent の両方が付ける)。VolSync の mover はスナップショットから作った別の PVC を付けるので当たらない # (k8up の頃は Backup の Pod が同じ PVC を付けていた)。ノードは 1 台なので RWO の意味は変わらない。 # StorageClass の parameters は変えられないので、変えたら SC を消して描き直す。今ある PV は LVMVolume の # spec.shared を直す(2026-10-31 の Z440 への移行で踏んだ) diff --git a/bootstrap/talos.md b/bootstrap/talos.md index 07f2ca5a..33332d82 100644 --- a/bootstrap/talos.md +++ b/bootstrap/talos.md @@ -66,7 +66,8 @@ VM で確かめられないのは PT3 と bond の復旧方向。所要は apply `KubeAdmissionControlConfig` は `enforce: baseline`(例外は `kube-system`)。**`hostPath` / `privileged` / `hostNetwork` / `hostPort` を使う namespace は `namespace.yaml` に `enforce: privileged` が要る。** 無いと Pod が作られず、ReplicaSet や DaemonSet の events に出るだけ。 -今あるのは netbird・denpa(**ラベルは denpa リポジトリの `deploy/namespace.yaml`**)・adguardhome・matrix・3proxy・cloudflare-ddns・forgejo。 +gitops の中で今あるのは netbird・adguardhome・matrix・3proxy・cloudflare-ddns・forgejo。アプリのリポジトリの namespace は、 +**ラベルもそのリポジトリの `deploy/namespace.yaml`** に書く(例: denpa)。今あるものは `kubectl get ns -l pod-security.kubernetes.io/enforce=privileged` で見る。 新しく足すときは `kubectl get pods -A -o json` で hostNetwork・privileged・capabilities・hostPort・hostPath を数えて洗い出す。 ## 当て方 diff --git a/deploy/backup/README.md b/deploy/backup/README.md index 94aeb4cd..d6442df9 100644 --- a/deploy/backup/README.md +++ b/deploy/backup/README.md @@ -29,7 +29,9 @@ VolSync の Secret(`volsync-`。各 namespace の secrets.sops.yaml)も同 - **足す**: アプリの secrets.sops.yaml に `volsync-` の secretTemplate(ほかの PVC のものを写してリポジトリだけ変える)、`volsync.yaml` に ReplicationSource・ReplicationDestination(`-dst`。 capacity は PVC と同じ)を 1 組足し、PVC に `dataSourceRef` で `-dst` を書く(ほかのアプリの volsync.yaml と pvc.yaml を写す。時刻はどれも 19:00)。 **dataSourceRef は PVC を作るときにしか書けない**(今ある PVC に足しても効かない。Argo CD は差分を見ない設定)。新しいアプリなら secrets.sops.yaml ごと作る。 - その namespace に `volsync.backube/privileged-movers: "true"` の注釈があるかを見る(無いと mover が root で動けず、読めないファイルで落ちる) + その namespace に `volsync.backube/privileged-movers: "true"` の注釈があるかを見る(無いと mover が root で動けず、読めないファイルで落ちる)。 + 大きくて開いて見るものが無い PVC(録画など)は、ReplicationSource に注釈 `backup.doany.io/restore-check: check-only` を付けると、 + 月次の [restore-check](restore-check.yaml) が取り出さずに `restic check` の 1% だけにする - **やめる**: 定義を消す(アプリごと消すなら何もしない)。**PVC を残したまま取るのだけやめるなら、R2 のリポジトリも消す**(残すと、あとで同じ名前の PVC を作ったときに古い中身で埋まる)。 アプリごとやめたときもリポジトリ `/volsync//` は R2 に残る。要らなければ `rclone purge` か R2 の画面で消す diff --git a/deploy/backup/restore-check.yaml b/deploy/backup/restore-check.yaml index a9a748ef..b0729a42 100644 --- a/deploy/backup/restore-check.yaml +++ b/deploy/backup/restore-check.yaml @@ -10,7 +10,9 @@ # スナップショットから取っているので -wal も隣に戻る。読み取り専用で開く # - Postgres のデータ(PG_VERSION と global/ のあるところ): PG_VERSION と global/pg_control が読める。 # 立ち上げはしない(crash-consistent なので、本当に戻すときは postgres が自分で WAL を流す) -# - denpa-encoded(録画、大きい)だけは取り出さず `restic check --read-data-subset=1%` +# - ReplicationSource に注釈 `backup.doany.io/restore-check: check-only` があるものは取り出さず +# `restic check --read-data-subset=1%` だけ(大きくて開いて見るものが無いもの。例: denpa の録画)。 +# 注釈はアプリのリポジトリの volsync.yaml に書くので、アプリを消しても gitops は直さなくてよい # - etcd(`/etcd`、etcd-snapshot.yaml): 取り出して etcd.snapshot が bbolt の頭を持つ # # **リポジトリには書かない。** restic は全部 `--no-lock`(読むだけでもロックのファイルを書くため)。 @@ -118,8 +120,9 @@ data: const T = `${W}/r`; const API = "https://kubernetes.default.svc"; const SA = "/var/run/secrets/kubernetes.io/serviceaccount"; - // 取り出さずに check だけするもの(録画。大きく、中身は ffmpeg の出力で開いて見るものが無い) - const CHECK_ONLY = new Set(["denpa/denpa-encoded"]); + // 取り出さずに check だけするもの(`/`)。ReplicationSource の注釈で決める(下の一覧を読むところで埋める) + const CHECK_ONLY_ANNOTATION = "backup.doany.io/restore-check"; + const CHECK_ONLY = new Set(); // 失敗したら標準エラーの末尾ごと投げる(呼んだ側がそのまま理由に使う)。 // 1 つ 30 分で打ち切る。restic は R2 のエラーを黙って retry するので、待つと投稿まで届かない @@ -274,11 +277,12 @@ data: }); if (!r.ok) throw new Error(`replicationsources: ${r.status} ${(await r.text()).slice(0, 200)}`); // リポジトリの場所は 各アプリの secrets.sops.yaml の volsync- と同じ組み方(PVC の名前で切る) - const pvcs = [...new Set( - ((await r.json()).items ?? []) - .filter((o) => o.spec?.sourcePVC && o.spec?.restic) - .map((o) => `${o.metadata.namespace}/${o.spec.sourcePVC}`), - )].sort(); + const sources = ((await r.json()).items ?? []).filter((o) => o.spec?.sourcePVC && o.spec?.restic); + const keyOf = (o) => `${o.metadata.namespace}/${o.spec.sourcePVC}`; + for (const o of sources) { + if (o.metadata.annotations?.[CHECK_ONLY_ANNOTATION] === "check-only") CHECK_ONLY.add(keyOf(o)); + } + const pvcs = [...new Set(sources.map(keyOf))].sort(); if (!pvcs.length) (bad++, lines.push("- ❌ ReplicationSource が 1 つも無い")); for (const key of pvcs) one(key, () => checkPvc(...key.split("/"))); one("etcd", checkEtcd); diff --git a/deploy/external-dns/README.md b/deploy/external-dns/README.md index 1c1841cc..869978d6 100644 --- a/deploy/external-dns/README.md +++ b/deploy/external-dns/README.md @@ -29,7 +29,7 @@ metadata: | `ah` | 同じ名前で DoT の 853 | `deploy/adguardhome/httproute.yaml` | | `fj` | コンテナイメージの大きな層の push が、無料プランの 100MB の上限に当たる | `deploy/forgejo/httproute.yaml` | | `lk` | 通話の合図の WebSocket。音声と映像は 8443 で IP に直接来る | `deploy/matrix/httproute.yaml` | -| `dp` / `dp.l` | 映像の配信と遅延。住所の判定が接続元の IP に頼る | denpa のリポジトリ | +| アプリのもの(例: denpa の `dp` / `dp.l`) | アプリが決める(denpa は映像の配信と遅延。住所の判定が接続元の IP に頼る) | アプリのリポジトリの HTTPRoute の注釈(上)。今あるものは `kubectl get httproute -A` の注釈で見る | | `ks` | API サーバ。6443 は Cloudflare が通さない | `pulumi/dns.ts`(HTTPRoute が無い) | | `px` | 3proxy。hostPort の 3129 | `pulumi/dns.ts` | | `*.s` | 2 段の名前。無料の証明書は 1 段(`*.doany.io`)しか守れない | `pulumi/dns.ts` | diff --git a/deploy/volsync/application.yaml b/deploy/volsync/application.yaml index 36e5dea2..5068fe52 100644 --- a/deploy/volsync/application.yaml +++ b/deploy/volsync/application.yaml @@ -2,7 +2,7 @@ # 「ストレージを OpenEBS LVM LocalPV に、バックアップを VolSync にする」)。 # **取る PVC はアプリと一緒に書く**(各アプリのリポジトリの deploy/volsync.yaml、gitops の中のアプリは deploy/<アプリ>/volsync.yaml)。 # アプリを消せば定義も消える。VolSync には PVC をラベルやワイルドカードで選ぶ仕組みが無いので、1 本ずつ名前で書く -# (denpa-raw だけは取らない)。書き方は ../backup/README.md「PVC を足すとき・やめるとき」。 +# (書かなければ取らない。例: denpa の元の TS の作業領域)。書き方は ../backup/README.md「PVC を足すとき・やめるとき」。 # # - **リポジトリは PVC ごと**に `/volsync//`。Secret(`volsync-`。RESTIC_REPOSITORY・RESTIC_PASSWORD・ # AWS_*)は namespace ごとの secrets.sops.yaml(SOPS)。中身は R2 の資格情報とパスワードが backup の Secret と同じで、リポジトリだけ PVC ごと From 6da196eeb4c9d5be0e54a5cf3e53170a6df50b5b Mon Sep 17 00:00:00 2001 From: Ruk Doe Date: Sun, 15 Nov 2026 22:42:43 +0900 Subject: [PATCH 2/2] =?UTF-8?q?fix(backup):=20=E5=BE=A9=E5=85=83=E3=83=81?= =?UTF-8?q?=E3=82=A7=E3=83=83=E3=82=AF=E3=81=AE=E6=B3=A8=E9=87=88=E3=81=AE?= =?UTF-8?q?=E7=9F=A5=E3=82=89=E3=81=AA=E3=81=84=E5=80=A4=E3=82=92=E5=A4=B1?= =?UTF-8?q?=E6=95=97=E3=81=AB=E6=95=B0=E3=81=88=E3=82=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 Claude-Session: https://claude.ai/code/session_01T8TqVdo6LUrWKdVQgbScVU --- deploy/backup/restore-check.yaml | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/deploy/backup/restore-check.yaml b/deploy/backup/restore-check.yaml index b0729a42..df7f6c89 100644 --- a/deploy/backup/restore-check.yaml +++ b/deploy/backup/restore-check.yaml @@ -280,7 +280,10 @@ data: const sources = ((await r.json()).items ?? []).filter((o) => o.spec?.sourcePVC && o.spec?.restic); const keyOf = (o) => `${o.metadata.namespace}/${o.spec.sourcePVC}`; for (const o of sources) { - if (o.metadata.annotations?.[CHECK_ONLY_ANNOTATION] === "check-only") CHECK_ONLY.add(keyOf(o)); + const v = o.metadata.annotations?.[CHECK_ONLY_ANNOTATION]; + if (v === "check-only") CHECK_ONLY.add(keyOf(o)); + // 綴りを間違えると黙って丸ごと取り出しにいくので、知らない値は失敗に数える(取り出しはふつうにする) + else if (v !== undefined) (bad++, lines.push(`- ❌ ${keyOf(o)}: ${CHECK_ONLY_ANNOTATION} の値 "${v}" を知らない(使えるのは check-only だけ)`)); } const pvcs = [...new Set(sources.map(keyOf))].sort(); if (!pvcs.length) (bad++, lines.push("- ❌ ReplicationSource が 1 つも無い"));