Repository navigation
Expand file tree
/
Copy pathstorage.yaml
More file actions
161 lines (161 loc) · 7.56 KB
/
Copy pathstorage.yaml
File metadata and controls
161 lines (161 loc) · 7.56 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
# PVC の置き場(OpenEBS LVM LocalPV。chart は lvm-localpv-values.yaml)のうち、chart が描かないもの。render.sh が inline に載せる。
#
# - VG `data` は Talos が作る(talos.sops.yaml の RawVolumeConfig `lvm` と LVMVolumeGroupConfig)。thin プール `data_thinpool` は
# Talos では作れない(LVMLogicalVolumeConfig は linear と raid だけ)ので、下の lvm-thinpool が作る
# - StorageClass は既定の `local-path` 1 つ。名前は local-path-provisioner の頃のまま(各リポジトリの PVC が名指ししている)。
# PVC を守るのは Retain ではなく日次の restic(docs/decisions.md「PVC を守る仕掛けをやめた」)
# - kube-system に置く(Talos は kube-system を Pod Security の対象から外している。どれも特権が要る)
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: local-path
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: local.csi.openebs.io
parameters:
storage: lvm
volgroup: data
# thin でないとスナップショットから戻せない(OpenEBS の制限)。PVC の大きさは上限で、書いた分だけプールを使う
thinProvision: "yes"
# ext4 は lost+found を作り、PGDATA がボリュームの直下の Postgres(forgejo・rybbit)が initdb で落ちる
csi.storage.k8s.io/fstype: xfs
# **同じノードの 2 つの Pod から同時にマウントできるようにする。** 無いと 2 つ目が
# `verifyMount: device already mounted` で ContainerCreating のまま止まる。1 つの PVC を 2 つの Pod が付けるアプリがある
# (例: denpa の agent-config は denpa と tuner-agent の両方が付ける)。VolSync の mover はスナップショットから作った別の PVC を付けるので当たらない
# (k8up の頃は Backup の Pod が同じ PVC を付けていた)。ノードは 1 台なので RWO の意味は変わらない。
# StorageClass の parameters は変えられないので、変えたら SC を消して描き直す。今ある PV は LVMVolume の
# spec.shared を直す(2026-10-31 の Z440 への移行で踏んだ)
shared: "yes"
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
---
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotClass
metadata:
name: lvm
annotations:
snapshot.storage.kubernetes.io/is-default-class: "true"
driver: local.csi.openebs.io
deletionPolicy: Delete
---
# thin プールを作り、出来たらノードにラベルを付けて OpenEBS のノードの Pod を動かす(lvm-localpv-values.yaml の nodeSelector)。
# OpenEBS は thin プールが無いと最初の PVC と同じ大きさで作り、あとから広げない(Talos には dmeventd が無く、自動の拡張も効かない)。
# LVM のメタデータを書くのは OpenEBS と 1 か所にしたい(コンテナごとにロックが別なので、同時に書くと片方が消える)ので、
# 書くのはプールが無いか小さいときだけにして、ふだんは見るだけ。
apiVersion: v1
kind: ServiceAccount
metadata:
name: lvm-thinpool
namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: lvm-thinpool
rules:
- apiGroups: [""]
resources: [nodes]
# ノードは main 1 台(talos.sops.yaml の hostname)。台を増やしたら足す
resourceNames: [main]
verbs: [get, patch]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: lvm-thinpool
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: lvm-thinpool
subjects:
- kind: ServiceAccount
name: lvm-thinpool
namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: lvm-thinpool
namespace: kube-system
spec:
selector:
matchLabels:
app: lvm-thinpool
template:
metadata:
labels:
app: lvm-thinpool
spec:
serviceAccountName: lvm-thinpool
priorityClassName: system-node-critical
initContainers:
# データは VG の 90%。残りは溢れかけたときに足す分(`lvextend -L +10G data/data_thinpool`)。
# メタデータは 1GiB(作るときに足りるだけ取る。溢れるとデータより先に全部の書き込みが止まる)。
# 版は chart と同じ lvm-driver(中身は Alpine の lvm2。renovate.json で chart と一緒に上がる)
- name: pool
image: mirror.gcr.io/openebs/lvm-driver:1.10.1
command: [sh, -euc]
args:
- |
VG=data POOL=data_thinpool
# dmeventd は無い(Talos にもこのイメージにも)。見張らせようとすると失敗の終了コードで返る(再起動のあとに踏んだ)
C='activation { monitoring = 0 }'
# 入れ直した直後は Talos が VG を作るまで待つ
until vgs "$VG" >/dev/null 2>&1; do echo "VG $VG を待つ"; sleep 5; done
# 起動時は Talos も有効にする。先に動いたときのため
vgchange --config "$C" -ay "$VG"
if ! lvs "$VG/$POOL" >/dev/null 2>&1; then
# --wipesignatures は thin プールには付けられない(Talos が新しいパーティションの先頭を消してある)
lvcreate --config "$C" --type thin-pool -l 90%VG --poolmetadatasize 1g --yes -n "$POOL" "$VG"
fi
# OpenEBS が作った小さいプール(最後の PV を消すとプールごと消し、次の PVC の大きさで作り直す)を広げる
n() { tr -d ' '; }
want=$(( $(vgs --noheadings --units b --nosuffix -o vg_size "$VG" | n) * 90 / 100 ))
have=$(lvs --noheadings --units b --nosuffix -o lv_size "$VG/$POOL" | n)
if [ "$have" -lt $(( want - 1073741824 )) ]; then lvextend --config "$C" -l 90%VG "$VG/$POOL"; fi
meta=$(lvs --noheadings --units b --nosuffix -o lv_metadata_size "$VG/$POOL" | n)
if [ "$meta" -lt 1073741824 ]; then lvextend --config "$C" --poolmetadatasize 1g "$VG/$POOL"; fi
lvs -a -o lv_name,lv_size,data_percent,metadata_percent "$VG"
securityContext:
privileged: true
volumeMounts:
- name: dev
mountPath: /dev
- name: label
image: registry.k8s.io/kubectl:v1.37.2
args: [label, node, $(NODE), doany.io/lvm-thinpool=ready, --overwrite]
env:
- name: NODE
valueFrom:
fieldRef:
fieldPath: spec.nodeName
# 埋まり具合を 1 時間ごとにログへ出す。90% を超えたら NotReady になる(`kubectl -n kube-system get pods` で見える)
containers:
- name: watch
image: mirror.gcr.io/openebs/lvm-driver:1.10.1
command: [sh, -c]
args:
- while :; do lvs -o lv_name,lv_size,data_percent,metadata_percent data/data_thinpool; sleep 3600; done
readinessProbe:
exec:
command:
- sh
- -c
- set -- $(lvs --noheadings -o data_percent,metadata_percent data/data_thinpool); [ "${1%%.*}" -lt 90 ] && [ "${2%%.*}" -lt 90 ]
periodSeconds: 60
timeoutSeconds: 30
securityContext:
privileged: true
resources:
requests:
cpu: 1m
memory: 16Mi
volumeMounts:
- name: dev
mountPath: /dev
volumes:
- name: dev
hostPath:
path: /dev
type: Directory