diff --git a/.docker.env.example b/.docker.env.example index b47ad68..59c33c5 100644 --- a/.docker.env.example +++ b/.docker.env.example @@ -23,6 +23,7 @@ MYSQL_CONF_FILE=./conf/mysql/my.cnf MYSQL_INITDB_DIR=./initdb/mysql POSTGRES_INITDB_DIR=./initdb/postgres MYSQL_SAMPLES_DIR=./samples/mysql +POSTGRES_SAMPLES_DIR=./samples/postgres # Обязательные учебные базы MYSQL_DATABASE=demo diff --git a/.github/workflows/mysql-check.yml b/.github/workflows/mysql-check.yml index 5be0f9f..ac53c9f 100644 --- a/.github/workflows/mysql-check.yml +++ b/.github/workflows/mysql-check.yml @@ -15,14 +15,15 @@ permissions: jobs: mysql-check: runs-on: ubuntu-latest - timeout-minutes: 20 + timeout-minutes: 25 steps: - name: Checkout - uses: actions/checkout@v4 + uses: actions/checkout@v5 - name: Show Docker versions run: | + set -Eeuo pipefail docker --version docker compose version @@ -32,28 +33,73 @@ jobs: - name: Validate Compose configuration run: make config - - name: Start MySQL and Adminer - run: make up + - name: Prepare MySQL samples + run: make samples-mysql - - name: Check databases and user access - run: make check + - name: Start only MySQL + run: make up-mysql - - name: Show container status - run: make status + - name: Confirm required MySQL databases + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a - - name: Show diagnostics - if: failure() + databases="$( + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + exec -T mysql sh -c \ + 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql --user=root --batch --skip-column-names --execute="SELECT GROUP_CONCAT(SCHEMA_NAME ORDER BY SCHEMA_NAME) FROM INFORMATION_SCHEMA.SCHEMATA WHERE SCHEMA_NAME IN (\"demo\", \"world\", \"sakila\");"' \ + | tr -d '\r' + )" + test "${databases}" = "demo,sakila,world" + + - name: Check MySQL training access + run: make check-mysql-access + + - name: Check MySQL version + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a + + mysql_version="$( + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + exec -T mysql sh -c \ + 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql --user=root --batch --skip-column-names --execute="SELECT VERSION();"' \ + | tr -d '\r' + )" + case "${mysql_version}" in + "${MYSQL_VERSION}"*) ;; + *) + echo "Expected MySQL ${MYSQL_VERSION}, got ${mysql_version}" >&2 + exit 1 + ;; + esac + + - name: Restart only MySQL run: | - make status || true + set -Eeuo pipefail + set -a + source .docker.env + set +a + + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" restart mysql + make wait-mysql + + - name: Recheck MySQL training access + run: make check-mysql-access + - name: Show MySQL diagnostics + if: failure() + run: | set -a source .docker.env set +a - docker compose \ - --env-file .docker.env \ - -p "${COMPOSE_PROJECT_NAME}" \ - logs --no-color || true + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" ps --all mysql || true + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" logs --no-color mysql || true - name: Stop containers if: always() diff --git a/.github/workflows/postgres-check.yml b/.github/workflows/postgres-check.yml new file mode 100644 index 0000000..91cbec8 --- /dev/null +++ b/.github/workflows/postgres-check.yml @@ -0,0 +1,121 @@ +name: PostgreSQL check + +on: + pull_request: + branches: + - master + push: + branches: + - master + workflow_dispatch: + +permissions: + contents: read + +jobs: + postgres-check: + runs-on: ubuntu-latest + timeout-minutes: 30 + + steps: + - name: Checkout + uses: actions/checkout@v5 + + - name: Show Docker versions + run: | + set -Eeuo pipefail + docker --version + docker compose version + + - name: Initialize environment + run: make init + + - name: Validate Compose configuration + run: make config + + - name: Prepare PostgreSQL sample + run: make samples-postgres + + - name: Start only PostgreSQL + run: make up-postgres + + - name: Confirm required PostgreSQL databases + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a + + databases="$( + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + exec -T postgres sh -c \ + 'PGPASSWORD="$POSTGRES_PASSWORD" psql --host=127.0.0.1 --username="$POSTGRES_USER" --dbname="$POSTGRES_DB" --tuples-only --no-align --command="SELECT string_agg(datname, chr(44) ORDER BY datname) FROM pg_catalog.pg_database WHERE datname IN (current_database(), chr(112) || chr(97) || chr(103) || chr(105) || chr(108) || chr(97));"' \ + | tr -d '\r' + )" + test "${databases}" = "demo,pagila" + + - name: Check PostgreSQL training access + run: make check-postgres-access + + - name: Check PostgreSQL version + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a + + postgres_version="$( + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + exec -T postgres sh -c \ + 'PGPASSWORD="$POSTGRES_PASSWORD" psql --host=127.0.0.1 --username="$POSTGRES_USER" --dbname="$POSTGRES_DB" --tuples-only --no-align --command="SHOW server_version;"' \ + | tr -d '\r' + )" + case "${postgres_version}" in + "${POSTGRES_VERSION}"*) ;; + *) + echo "Expected PostgreSQL ${POSTGRES_VERSION}, got ${postgres_version}" >&2 + exit 1 + ;; + esac + + - name: Verify Pagila loader idempotency + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a + + loader_output="$( + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + exec -T postgres /docker-entrypoint-initdb.d/050_load_optional_samples.sh + )" + echo "${loader_output}" + grep -Fq 'already complete' <<< "${loader_output}" + grep -Fq 'skipping reload' <<< "${loader_output}" + + - name: Restart only PostgreSQL + run: | + set -Eeuo pipefail + set -a + source .docker.env + set +a + + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" restart postgres + make wait-postgres + + - name: Recheck PostgreSQL training access + run: make check-postgres-access + + - name: Show PostgreSQL diagnostics + if: failure() + run: | + set -a + source .docker.env + set +a + + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" ps --all postgres || true + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" logs --no-color postgres || true + + - name: Stop containers + if: always() + run: make down diff --git a/.github/workflows/sql-lab-check.yml b/.github/workflows/sql-lab-check.yml index 668fc2b..6e8ea00 100644 --- a/.github/workflows/sql-lab-check.yml +++ b/.github/workflows/sql-lab-check.yml @@ -15,14 +15,15 @@ permissions: jobs: sql-lab-check: runs-on: ubuntu-latest - timeout-minutes: 30 + timeout-minutes: 25 steps: - name: Checkout - uses: actions/checkout@v4 + uses: actions/checkout@v5 - name: Show Docker versions run: | + set -Eeuo pipefail docker --version docker compose version @@ -32,82 +33,48 @@ jobs: - name: Validate Compose configuration run: make config - - name: Start only MySQL - run: make up-mysql - - - name: Check MySQL training access - run: make check-mysql-access - - - name: Check exact MySQL version - run: | - set -a - source .docker.env - set +a - mysql_version="$(docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" exec -T mysql sh -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql --user=root --batch --skip-column-names --execute="SELECT VERSION();"' | tr -d '\r')" - echo "MySQL server version: ${mysql_version}" - case "${mysql_version}" in - "${MYSQL_VERSION}"*) ;; - *) echo "Expected MySQL ${MYSQL_VERSION}, got ${mysql_version}" >&2; exit 1 ;; - esac - - - name: Stop MySQL stage - run: make down - - - name: Start only PostgreSQL - run: make up-postgres - - - name: Check PostgreSQL training access - run: make check-postgres-access - - - name: Check exact PostgreSQL version - run: | - set -a - source .docker.env - set +a - postgres_version="$(docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" exec -T postgres sh -c 'psql --username="$POSTGRES_USER" --dbname="$POSTGRES_DB" --tuples-only --no-align --command="SHOW server_version;"' | tr -d '\r')" - echo "PostgreSQL server version: ${postgres_version}" - case "${postgres_version}" in - "${POSTGRES_VERSION}"*) ;; - *) echo "Expected PostgreSQL ${POSTGRES_VERSION}, got ${postgres_version}" >&2; exit 1 ;; - esac - - - name: Stop PostgreSQL stage - run: make down - - name: Start both databases without UI run: make up-no-ui - name: Check complete database stand run: make check - - name: Confirm Adminer is not running + - name: Confirm databases are running without Adminer run: | + set -Eeuo pipefail set -a source .docker.env set +a - adminer_id="$(docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" --profile ui ps --status running --quiet adminer)" - test -z "${adminer_id}" - - name: Start only Adminer and show status - run: | - make up-ui - make status + compose=(docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}") + test -n "$("${compose[@]}" ps --status running --quiet mysql)" + test -n "$("${compose[@]}" ps --status running --quiet postgres)" + test -z "$("${compose[@]}" --profile ui ps --status running --quiet adminer)" - - name: Smoke-test Adminer login servers + - name: Start Adminer + run: make up-ui + + - name: Smoke-test Adminer login page run: | + set -Eeuo pipefail set -a source .docker.env set +a + adminer_url="http://127.0.0.1:${ADMINER_PORT}/" html_file="$(mktemp)" trap 'rm -f "${html_file}"' EXIT + + adminer_ready=false for attempt in $(seq 1 30); do if curl --fail --silent --show-error "${adminer_url}" --output "${html_file}"; then + adminer_ready=true break fi sleep 2 done - test -s "${html_file}" + + test "${adminer_ready}" = true grep -F 'MySQL (mysql)' "${html_file}" grep -F 'PostgreSQL (postgres)' "${html_file}" grep -F 'Как войти' "${html_file}" @@ -115,32 +82,36 @@ jobs: grep -F 'DB_PASSWORD' "${html_file}" grep -F 'demo' "${html_file}" if grep -E "value=['\"]db['\"]" "${html_file}"; then - echo 'Adminer still exposes invalid default server db' >&2 + echo 'Adminer exposes invalid server db' >&2 exit 1 fi - - name: Restore no-UI mode - run: make up-no-ui + - name: Stop Adminer + run: make down-ui - name: Confirm UI stopped and databases stayed running run: | - make status + set -Eeuo pipefail set -a source .docker.env set +a + compose=(docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}") test -z "$("${compose[@]}" --profile ui ps --status running --quiet adminer)" test -n "$("${compose[@]}" ps --status running --quiet mysql)" test -n "$("${compose[@]}" ps --status running --quiet postgres)" - - name: Show diagnostics + - name: Show integration diagnostics if: failure() run: | set -a source .docker.env set +a - docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" --profile ui ps || true - docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" --profile ui logs --no-color || true + + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + --profile ui ps --all mysql postgres adminer || true + docker compose --env-file .docker.env -p "${COMPOSE_PROJECT_NAME}" \ + --profile ui logs --no-color mysql postgres adminer || true - name: Stop containers if: always() diff --git a/.gitignore b/.gitignore index bc32e97..0474bdd 100644 --- a/.gitignore +++ b/.gitignore @@ -20,6 +20,7 @@ Thumbs.db # Временные файлы загрузки учебных баз .tmp/ -# Локально загруженные optional samples; каталог сохраняется через .gitkeep +# Локально загруженные optional samples; через .gitkeep сохраняется только MySQL-каталог samples/mysql/*.sql !samples/mysql/.gitkeep +samples/postgres/*.sql diff --git a/Makefile b/Makefile index dd26205..dc75434 100644 --- a/Makefile +++ b/Makefile @@ -9,7 +9,7 @@ SHELL := bash .PHONY: help init check-env pull config up up-no-ui up-mysql up-mysql-ui \ up-postgres up-postgres-ui up-ui down-ui wait-mysql wait-postgres \ down status logs log in mysql mysql-user postgres postgres-user sh \ - samples-mysql mysql-grants mysql-import check check-mysql-access \ + samples-mysql samples-postgres mysql-grants mysql-import check check-mysql-access \ check-postgres-access dump restore clean-mysql clean-postgres clean-all \ reinit-mysql reinit-postgres reinit-all @@ -23,7 +23,7 @@ REQUIRED_ENV_VARS := COMPOSE_PROJECT_NAME MYSQL_VERSION POSTGRES_VERSION ADMINER MYSQL_CONTAINER POSTGRES_CONTAINER ADMINER_CONTAINER \ MYSQL_PORT POSTGRES_PORT ADMINER_PORT \ MYSQL_DATA_DIR POSTGRES_DATA_DIR MYSQL_CONF_FILE \ - MYSQL_INITDB_DIR POSTGRES_INITDB_DIR MYSQL_SAMPLES_DIR \ + MYSQL_INITDB_DIR POSTGRES_INITDB_DIR MYSQL_SAMPLES_DIR POSTGRES_SAMPLES_DIR \ MYSQL_DATABASE POSTGRES_DATABASE MYSQL_ROOT_PASSWORD \ POSTGRES_SUPERUSER POSTGRES_SUPERUSER_PASSWORD DB_USER DB_PASSWORD @@ -34,6 +34,9 @@ COMPOSE_UI = $(COMPOSE) --profile ui SAMPLES_TMP_DIR := .tmp/mysql-samples WORLD_URL := https://downloads.mysql.com/docs/world-db.zip SAKILA_URL := https://downloads.mysql.com/docs/sakila-db.zip +POSTGRES_SAMPLES_TMP_DIR := .tmp/postgres-samples +PAGILA_REF := 5ba5a57aeb159f75f02aca2432d3c262186d13d3 +PAGILA_BASE_URL := https://raw.githubusercontent.com/devrimgunduz/pagila/$(PAGILA_REF) # Поддерживаются оба варианта: `make log mysql` (исторический интерфейс) и # `make log SERVICE=mysql`. Второй positional goal становится no-op, чтобы он @@ -62,10 +65,11 @@ help: @echo " make up-ui / make down-ui включить / остановить только Adminer" @echo " make check проверить Compose и доступ DB_USER к обеим СУБД" @echo " make samples-mysql скачать optional samples World и Sakila" + @echo " make samples-postgres скачать optional sample Pagila" @echo " make clean-{mysql,postgres,all} CONFIRM=1" @echo " make reinit-{mysql,postgres,all} CONFIRM=1" -$(ENV_FILE): $(ENV_FILE_EXAMPLE) +$(ENV_FILE): @cp "$(ENV_FILE_EXAMPLE)" "$(ENV_FILE)" @echo "Создан $(ENV_FILE) из $(ENV_FILE_EXAMPLE)." @@ -101,7 +105,8 @@ init: check-env "$$(dirname "$${MYSQL_CONF_FILE}")" \ "$${MYSQL_INITDB_DIR}" \ "$${POSTGRES_INITDB_DIR}" \ - "$${MYSQL_SAMPLES_DIR}"; do \ + "$${MYSQL_SAMPLES_DIR}" \ + "$${POSTGRES_SAMPLES_DIR}"; do \ if [[ -n "$$directory" && ! -d "$$directory" ]]; then \ mkdir -p "$$directory"; \ echo "Создан каталог: $$directory"; \ @@ -118,6 +123,7 @@ init: check-env "$${MYSQL_INITDB_DIR}/099_check_training_access.sh" \ "$${POSTGRES_INITDB_DIR}/001_create_training_role.sh" \ "$${POSTGRES_INITDB_DIR}/010_initialize_demo.sh" \ + "$${POSTGRES_INITDB_DIR}/050_load_optional_samples.sh" \ "$${POSTGRES_INITDB_DIR}/099_check_training_access.sh"; do \ test -x "$$script" || { echo "ERROR: обязательный скрипт отсутствует или не исполняемый: $$script" >&2; exit 1; }; \ done @@ -190,7 +196,7 @@ wait-mysql: check-env wait-postgres: check-env @for ((attempt = 1; attempt <= 60; attempt++)); do \ - if $(COMPOSE) exec -T postgres sh -c 'pg_isready -U "$$POSTGRES_USER" -d "$$POSTGRES_DB"' >/dev/null 2>&1; then \ + if $(COMPOSE) exec -T postgres sh -c 'pg_isready --host=127.0.0.1 -U "$$POSTGRES_USER" -d "$$POSTGRES_DB"' >/dev/null 2>&1; then \ echo "✅ PostgreSQL готов принимать подключения."; \ exit 0; \ fi; \ @@ -264,6 +270,65 @@ samples-mysql: check-env echo "Они загрузятся только при следующей чистой инициализации MySQL."; \ echo "Для существующего MYSQL_DATA_DIR выполните явно: make reinit-mysql CONFIRM=1" +samples-postgres: check-env + @command -v curl >/dev/null || { echo "ERROR: требуется curl" >&2; exit 1; } + @set -Eeuo pipefail; $(LOAD_ENV) \ + tmp_root="$(POSTGRES_SAMPLES_TMP_DIR)"; \ + download_dir="$${tmp_root}/download"; \ + ready_dir="$${tmp_root}/ready"; \ + previous_dir="$${tmp_root}/previous"; \ + target_dir="$${POSTGRES_SAMPLES_DIR}"; \ + cleanup() { \ + if [[ -d "$${previous_dir}" && ! -e "$${target_dir}" ]]; then \ + mv "$${previous_dir}" "$${target_dir}"; \ + fi; \ + rm -rf "$${tmp_root}"; \ + }; \ + trap cleanup EXIT; \ + rm -rf "$${tmp_root}"; \ + mkdir -p "$${download_dir}" "$${ready_dir}"; \ + if [[ -L "$${target_dir}" ]]; then \ + echo "ERROR: POSTGRES_SAMPLES_DIR не должен быть символической ссылкой: $${target_dir}" >&2; \ + exit 1; \ + fi; \ + if [[ -e "$${target_dir}" && ! -d "$${target_dir}" ]]; then \ + echo "ERROR: POSTGRES_SAMPLES_DIR должен быть каталогом: $${target_dir}" >&2; \ + exit 1; \ + fi; \ + if [[ -d "$${target_dir}" ]] && find "$${target_dir}" -mindepth 1 -maxdepth 1 \ + ! -name 010_pagila_schema.sql ! -name 020_pagila_data.sql -print -quit | grep -q .; then \ + echo "ERROR: $${target_dir} содержит посторонние файлы; безопасная замена отменена" >&2; \ + exit 1; \ + fi; \ + echo "Скачиваем Pagila из devrimgunduz/pagila@$(PAGILA_REF)..."; \ + curl --fail --location --retry 3 --retry-all-errors --connect-timeout 15 --max-time 180 \ + "$(PAGILA_BASE_URL)/pagila-schema.sql" -o "$${download_dir}/pagila-schema.sql"; \ + curl --fail --location --retry 3 --retry-all-errors --connect-timeout 15 --max-time 180 \ + "$(PAGILA_BASE_URL)/pagila-data.sql" -o "$${download_dir}/pagila-data.sql"; \ + test -s "$${download_dir}/pagila-schema.sql" || { echo "ERROR: pagila-schema.sql пуст" >&2; exit 1; }; \ + test -s "$${download_dir}/pagila-data.sql" || { echo "ERROR: pagila-data.sql пуст" >&2; exit 1; }; \ + grep -Fq 'CREATE TABLE public.actor' "$${download_dir}/pagila-schema.sql" || { echo "ERROR: в schema нет таблицы actor" >&2; exit 1; }; \ + grep -Fq 'CREATE TABLE public.film' "$${download_dir}/pagila-schema.sql" || { echo "ERROR: в schema нет таблицы film" >&2; exit 1; }; \ + grep -Fq 'ALTER TABLE public.actor OWNER TO postgres;' "$${download_dir}/pagila-schema.sql" || { echo "ERROR: неожиданный формат владельцев Pagila" >&2; exit 1; }; \ + grep -Fq 'COPY public.actor' "$${download_dir}/pagila-data.sql" || { echo "ERROR: в data нет COPY для actor" >&2; exit 1; }; \ + grep -Fq 'COPY public.rental' "$${download_dir}/pagila-data.sql" || { echo "ERROR: в data нет COPY для rental" >&2; exit 1; }; \ + grep -Fxq '\.' "$${download_dir}/pagila-data.sql" || { echo "ERROR: в data нет завершителей COPY" >&2; exit 1; }; \ + cp "$${download_dir}/pagila-schema.sql" "$${ready_dir}/010_pagila_schema.sql"; \ + cp "$${download_dir}/pagila-data.sql" "$${ready_dir}/020_pagila_data.sql"; \ + mkdir -p "$$(dirname "$${target_dir}")"; \ + if [[ "$$(stat -c %d "$${ready_dir}")" != "$$(stat -c %d "$$(dirname "$${target_dir}")")" ]]; then \ + echo "ERROR: .tmp и POSTGRES_SAMPLES_DIR должны находиться на одной файловой системе для атомарной публикации" >&2; \ + exit 1; \ + fi; \ + if [[ -d "$${target_dir}" ]]; then \ + mv "$${target_dir}" "$${previous_dir}"; \ + fi; \ + mv "$${ready_dir}" "$${target_dir}"; \ + rm -rf "$${previous_dir}"; \ + echo "✅ Pagila подготовлена в $${target_dir} из ревизии $(PAGILA_REF)."; \ + echo "Пустой POSTGRES_DATA_DIR: make up-postgres"; \ + echo "Уже инициализированный POSTGRES_DATA_DIR: make reinit-postgres CONFIRM=1" + mysql-grants: wait-mysql $(COMPOSE) exec -T mysql /docker-entrypoint-initdb.d/090_grant_training_access.sh diff --git a/README.md b/README.md index 16cb2bc..a3c9cf8 100644 --- a/README.md +++ b/README.md @@ -11,9 +11,9 @@ Upstream Adminer уже выпускает 5.4.4, но официальный Do закреплён на 5.4.2. Поэтому стенд использует точный официальный тег 5.4.2 и не собирает собственный образ только ради расхождения версий. -В MySQL и PostgreSQL всегда создаётся небольшая база `demo`. Официальные -учебные базы World и Sakila доступны как опциональные samples только для -MySQL. +В MySQL и PostgreSQL всегда создаётся небольшая база `demo`. Для MySQL +опционально доступны World и Sakila, для PostgreSQL — Pagila, PostgreSQL-порт +Sakila. ## Быстрый старт @@ -113,8 +113,9 @@ PostgreSQL (postgres) одно подключение, затем вводит общий `DB_USER`/`DB_PASSWORD` и базу. Страница входа содержит локальную подсказку: выбрать MySQL или PostgreSQL, -использовать значения `DB_USER`/`DB_PASSWORD` из `.docker.env` и базу `demo`; -optional World и Sakila доступны только для MySQL. +использовать значения `DB_USER`/`DB_PASSWORD` из `.docker.env` и базу `demo`. +После отдельной подготовки samples доступны также World и Sakila для MySQL и +Pagila для PostgreSQL. Вход в MySQL: @@ -131,7 +132,7 @@ Database: demo, world, sakila или пустое поле Server: PostgreSQL (postgres) Username: значение DB_USER Password: значение DB_PASSWORD -Database: demo +Database: demo или pagila, если Pagila установлена ``` Имена `mysql` и `postgres` применяются только внутри Docker-сети. @@ -159,7 +160,7 @@ Host: 127.0.0.1 Port: значение POSTGRES_PORT User: значение DB_USER Password: значение DB_PASSWORD -Database: demo +Database: demo или pagila, если Pagila установлена ``` CLI внутри контейнеров не требует размещать пароль в shell history: @@ -182,6 +183,8 @@ MySQL: PostgreSQL: - `demo` — обязательная база с таблицей `public.demo_users`. +- `pagila` — опциональный PostgreSQL-порт Sakila с фильмами, актёрами, + клиентами и прокатом. Обе таблицы `demo_users` имеют одинаковую смысловую структуру: @@ -206,8 +209,9 @@ MySQL использует `TIMESTAMP`, PostgreSQL — `timestamptz`. В обе Дополнительные пользовательские строки разрешены и не считаются ошибкой при проверках. -Обычные `make init`, `make up`, `make up-no-ui` и `make up-mysql` не скачивают -World или Sakila. MySQL полностью работоспособен только с `demo`. +Обычные `make init`, `make up`, `make up-no-ui`, `make up-mysql` и +`make up-postgres` не скачивают и не подготавливают optional samples. Обе СУБД +полностью работоспособны только с обязательной `demo`. ## Optional samples MySQL @@ -248,6 +252,63 @@ samples/mysql/ Git. `initdb/mysql/050_load_optional_samples.sh` пропускает отсутствующие samples и прекращает init с ошибкой при неполной паре schema/data Sakila. +## Optional sample PostgreSQL: Pagila + +Подготовить Pagila отдельной явной командой: + +```bash +make samples-postgres +``` + +Для существующей локальной установки `.docker.env` не перезаписывается +автоматически: добавьте в него вручную +`POSTGRES_SAMPLES_DIR=./samples/postgres`. + +Для нового пустого каталога данных: + +```bash +make samples-postgres +make up-postgres +``` + +Для уже инициализированного PostgreSQL требуется явное пересоздание только его +data-каталога: + +```bash +make samples-postgres +make reinit-postgres CONFIRM=1 +``` + +`make samples-postgres` только скачивает и проверяет SQL: команда не запускает +контейнеры, не удаляет данные и не выполняет reinit. Официальный PostgreSQL +entrypoint читает `/docker-entrypoint-initdb.d` лишь при инициализации пустого +`POSTGRES_DATA_DIR`, поэтому добавление файлов не меняет существующую базу. + +Используется upstream +[`devrimgunduz/pagila`](https://github.com/devrimgunduz/pagila), закреплённый +на immutable commit +[`5ba5a57aeb159f75f02aca2432d3c262186d13d3`](https://github.com/devrimgunduz/pagila/commit/5ba5a57aeb159f75f02aca2432d3c262186d13d3). +Загружаются только `pagila-schema.sql` и COPY-вариант `pagila-data.sql`; +альтернативный insert-файл не используется. Pagila распространяется по +PostgreSQL License. + +Проверенная ревизия использует схему `public`, стандартные PL/pgSQL-функции и +`COPY FROM stdin`; дополнительных extensions, пакетов или собственного Docker +image не требуется. Подготовленные файлы сохраняются детерминированно: + +```text +samples/postgres/ +├── 010_pagila_schema.sql +└── 020_pagila_data.sql +``` + +Оба файла локальные и исключены из Git. Отсутствие пары безопасно пропускается, +а наличие только одного файла останавливает чистую инициализацию с ошибкой. +Повторный загрузчик пропускает уже полную Pagila с ожидаемым владельцем, но не +удаляет и не исправляет автоматически неполную базу или неверное владение: +для этого требуется явный `make reinit-postgres CONFIRM=1`. Штатные команды +очистки data-каталогов не удаляют `samples/postgres`. + ## Инициализация и порядок файлов ```text @@ -262,6 +323,7 @@ initdb/ ├── 001_create_training_role.sh ├── 010_initialize_demo.sh ├── 030_training_database.sh.example + ├── 050_load_optional_samples.sh └── 099_check_training_access.sh ``` @@ -305,7 +367,11 @@ Docker logs. В PostgreSQL роль `DB_USER` получает `LOGIN`, владеет обязательной базой `demo` и схемой `public`, но остаётся без `SUPERUSER`, `CREATEDB`, `CREATEROLE`, `REPLICATION` и `BYPASSRLS`. Таблица `demo_users` создаётся от -имени этой роли. +имени этой роли. Если подготовлена Pagila, база создаётся с владельцем +`DB_USER`, а schema и data загружаются от его имени. Закреплённый upstream dump +содержит `OWNER TO postgres`; загрузчик безопасно заменяет эти фиксированные +owner-выражения на quoted psql-переменную `DB_USER`, не меняя локальные +SQL-файлы и не повышая права роли. ## Проверки @@ -324,7 +390,11 @@ MySQL-проверка требует `demo.demo_users`, все пять обя PostgreSQL-проверка подключается как `DB_USER` по TCP к работающему серверу, проверяет владение базой и `demo_users`, все пять обязательных email, создаёт временную таблицу, записывает и читает строку, выполняет откатываемый `INSERT` -в `demo_users` и подтверждает отсутствие `SUPERUSER`. +в `demo_users` и подтверждает отсутствие всех административных атрибутов роли. +Наличие Pagila определяется по фактической базе, а не по sample-файлам. Если +она установлена, дополнительно проверяются владелец, таблицы `actor`, `film`, +`customer`, `rental`, наличие данных, читающий join, временный объект и +откатываемый `INSERT` без остаточных данных. Для полного стенда: @@ -375,6 +445,8 @@ make reinit-all CONFIRM=1 | `make init` | Создать `.docker.env`, data/init/samples-каталоги и проверить скрипты | | `make pull` | Скачать три образа | | `make config` | Проверить итоговую Compose-конфигурацию | +| `make samples-mysql` | Подготовить optional World и Sakila без запуска контейнеров | +| `make samples-postgres` | Подготовить optional Pagila без запуска контейнеров | | `make status` | Показать MySQL, PostgreSQL и профильный Adminer | | `make logs` | Смотреть общие логи | | `make log postgres` | Смотреть лог выбранного сервиса (`SERVICE=postgres` также поддерживается) | @@ -411,6 +483,7 @@ data/ backup/ .tmp/ samples/mysql/*.sql +samples/postgres/*.sql ``` Обязательные init-скрипты и оба шаблона `.example` остаются отслеживаемыми. diff --git a/adminer/plugins-enabled/002-login-help.php b/adminer/plugins-enabled/002-login-help.php index a2491fd..98fa21d 100644 --- a/adminer/plugins-enabled/002-login-help.php +++ b/adminer/plugins-enabled/002-login-help.php @@ -9,7 +9,8 @@ public function loginForm(): void Как войти

Выберите MySQL (mysql) или PostgreSQL (postgres).

Имя пользователя и пароль — значения DB_USER и DB_PASSWORD из файла .docker.env.

-

Основная база — demo. Для MySQL также доступны world и sakila, если установлены optional samples.

+

Для PostgreSQL всегда доступна demo, а после отдельной подготовки Pagila и чистой инициализации — pagila.

+

Для MySQL также доступны world и sakila, если установлены optional samples.

Административные пользователи для обычной учебной работы не требуются.

diff --git a/docker-compose.yml b/docker-compose.yml index 18749ea..76ab6bf 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -38,8 +38,9 @@ services: volumes: - "${POSTGRES_DATA_DIR}:/var/lib/postgresql" - "${POSTGRES_INITDB_DIR}:/docker-entrypoint-initdb.d:ro" + - "${POSTGRES_SAMPLES_DIR}:/opt/postgres-samples:ro" healthcheck: - test: 'pg_isready -U "$${POSTGRES_USER}" -d "$${POSTGRES_DB}"' + test: 'pg_isready --host=127.0.0.1 -U "$${POSTGRES_USER}" -d "$${POSTGRES_DB}"' interval: 5s timeout: 3s retries: 30 diff --git a/initdb/postgres/050_load_optional_samples.sh b/initdb/postgres/050_load_optional_samples.sh new file mode 100755 index 0000000..76413df --- /dev/null +++ b/initdb/postgres/050_load_optional_samples.sh @@ -0,0 +1,186 @@ +#!/usr/bin/env bash +set -Eeuo pipefail + +required_variables=(POSTGRES_USER POSTGRES_DB DB_USER DB_PASSWORD) +for variable_name in "${required_variables[@]}"; do + if [[ -z "${!variable_name:-}" ]]; then + echo "ERROR: environment variable ${variable_name} is required" >&2 + exit 1 + fi +done + +samples_dir=/opt/postgres-samples +schema_file="${samples_dir}/010_pagila_schema.sql" +data_file="${samples_dir}/020_pagila_data.sql" +pagila_database=pagila + +if [[ ! -f "${schema_file}" && ! -f "${data_file}" ]]; then + echo "Optional PostgreSQL sample Pagila is not present; skipping it." + exit 0 +fi + +if [[ -f "${schema_file}" && ! -f "${data_file}" ]]; then + echo "ERROR: Pagila schema is present but Pagila data is missing; prepare the complete pair with make samples-postgres" >&2 + exit 1 +fi + +if [[ ! -f "${schema_file}" && -f "${data_file}" ]]; then + echo "ERROR: Pagila data is present but Pagila schema is missing; prepare the complete pair with make samples-postgres" >&2 + exit 1 +fi + +admin_psql() { + psql \ + --username="${POSTGRES_USER}" \ + --set=ON_ERROR_STOP=1 \ + --no-psqlrc \ + "$@" +} + +training_psql() { + PGPASSWORD="${DB_PASSWORD}" psql \ + --username="${DB_USER}" \ + --dbname="${pagila_database}" \ + --set=ON_ERROR_STOP=1 \ + --no-psqlrc \ + "$@" +} + +database_exists=$(admin_psql \ + --dbname="${POSTGRES_DB}" \ + --tuples-only \ + --no-align \ + --set=database_name="${pagila_database}" <<'SQL' +SELECT EXISTS ( + SELECT FROM pg_catalog.pg_database WHERE datname = :'database_name' +); +SQL +) + +pagila_is_complete() { + local database_owner key_table_count key_tables_have_data public_objects_owned + + database_owner=$(admin_psql \ + --dbname="${POSTGRES_DB}" \ + --tuples-only \ + --no-align \ + --set=database_name="${pagila_database}" <<'SQL' +SELECT pg_catalog.pg_get_userbyid(datdba) +FROM pg_catalog.pg_database +WHERE datname = :'database_name'; +SQL + ) + [[ "${database_owner}" == "${DB_USER}" ]] || return 1 + + key_table_count=$(admin_psql \ + --dbname="${pagila_database}" \ + --tuples-only \ + --no-align \ + --command=" + SELECT COUNT(*) + FROM pg_catalog.pg_class AS class + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = class.relnamespace + WHERE namespace.nspname = 'public' + AND class.relkind IN ('r', 'p') + AND class.relname IN ('actor', 'film', 'customer', 'rental'); + ") + [[ "${key_table_count}" == "4" ]] || return 1 + + key_tables_have_data=$(admin_psql \ + --dbname="${pagila_database}" \ + --tuples-only \ + --no-align \ + --command=" + SELECT EXISTS (SELECT FROM public.actor) + AND EXISTS (SELECT FROM public.film) + AND EXISTS (SELECT FROM public.customer) + AND EXISTS (SELECT FROM public.rental); + ") + [[ "${key_tables_have_data}" == "t" ]] || return 1 + + public_objects_owned=$(admin_psql \ + --dbname="${pagila_database}" \ + --tuples-only \ + --no-align \ + --set=db_user="${DB_USER}" <<'SQL' +SELECT + (SELECT namespace.nspowner = role.oid + FROM pg_catalog.pg_namespace AS namespace + CROSS JOIN pg_catalog.pg_roles AS role + WHERE namespace.nspname = 'public' AND role.rolname = :'db_user') + AND NOT EXISTS ( + SELECT + FROM pg_catalog.pg_class AS class + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = class.relnamespace + JOIN pg_catalog.pg_roles AS role ON role.rolname = :'db_user' + WHERE namespace.nspname = 'public' + AND class.relkind IN ('r', 'p', 'S', 'v', 'm', 'f') + AND class.relowner <> role.oid + ) + AND NOT EXISTS ( + SELECT + FROM pg_catalog.pg_proc AS procedure + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = procedure.pronamespace + JOIN pg_catalog.pg_roles AS role ON role.rolname = :'db_user' + WHERE namespace.nspname = 'public' + AND procedure.proowner <> role.oid + ) + AND NOT EXISTS ( + SELECT + FROM pg_catalog.pg_type AS type + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = type.typnamespace + JOIN pg_catalog.pg_roles AS role ON role.rolname = :'db_user' + WHERE namespace.nspname = 'public' + AND type.typtype IN ('c', 'd', 'e') + AND type.typowner <> role.oid + ); +SQL + ) + [[ "${public_objects_owned}" == "t" ]] +} + +if [[ "${database_exists}" == "t" ]]; then + if pagila_is_complete; then + echo "Optional PostgreSQL sample Pagila is already complete and owned by ${DB_USER}; skipping reload." + exit 0 + fi + + echo "ERROR: database pagila already exists but is incomplete or has unexpected ownership" >&2 + echo "Recreate PostgreSQL explicitly with: make reinit-postgres CONFIRM=1" >&2 + exit 1 +fi + +owner_statement_count=$(grep -Fc 'OWNER TO postgres;' "${schema_file}" || true) +if [[ "${owner_statement_count}" == "0" ]]; then + echo "ERROR: Pagila schema has an unexpected ownership format" >&2 + exit 1 +fi +if grep 'OWNER TO ' "${schema_file}" | grep -Fv 'OWNER TO postgres;' >/dev/null; then + echo "ERROR: Pagila schema contains an unsupported owner other than postgres" >&2 + exit 1 +fi + +admin_psql \ + --dbname="${POSTGRES_DB}" \ + --set=database_name="${pagila_database}" \ + --set=db_user="${DB_USER}" <<'SQL' +SELECT format('CREATE DATABASE %I OWNER %I', :'database_name', :'db_user') +WHERE NOT EXISTS ( + SELECT FROM pg_catalog.pg_database WHERE datname = :'database_name' +) +\gexec +SQL + +echo "Loading optional PostgreSQL sample: Pagila schema as ${DB_USER}..." +sed 's/OWNER TO postgres;/OWNER TO :"db_user";/g' "${schema_file}" | \ + training_psql --set=db_user="${DB_USER}" + +echo "Loading optional PostgreSQL sample: Pagila data as ${DB_USER}..." +training_psql < "${data_file}" + +if ! pagila_is_complete; then + echo "ERROR: Pagila load finished but required tables, data, or DB_USER ownership verification failed" >&2 + exit 1 +fi + +echo "Loaded and verified optional PostgreSQL sample Pagila as ${DB_USER}." diff --git a/initdb/postgres/099_check_training_access.sh b/initdb/postgres/099_check_training_access.sh index 74f6eff..90f17ed 100755 --- a/initdb/postgres/099_check_training_access.sh +++ b/initdb/postgres/099_check_training_access.sh @@ -11,7 +11,6 @@ done psql_arguments=( --username="${DB_USER}" - --dbname="${POSTGRES_DB}" --set=ON_ERROR_STOP=1 --no-psqlrc ) @@ -23,26 +22,35 @@ if [[ -n "${POSTGRES_CHECK_HOST:-}" ]]; then fi psql_training() { - PGPASSWORD="${DB_PASSWORD}" psql "${psql_arguments[@]}" "$@" + local database_name=${1} + shift + PGPASSWORD="${DB_PASSWORD}" psql \ + "${psql_arguments[@]}" \ + --dbname="${database_name}" \ + "$@" } -is_superuser=$(psql_training --tuples-only --no-align \ - --command="SELECT rolsuper FROM pg_catalog.pg_roles WHERE rolname = current_user;") -if [[ "${is_superuser}" != "f" ]]; then - echo "ERROR: PostgreSQL training role unexpectedly has superuser privileges" >&2 +has_administrative_attributes=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align \ + --command=" + SELECT rolsuper OR rolcreatedb OR rolcreaterole OR rolreplication OR rolbypassrls + FROM pg_catalog.pg_roles + WHERE rolname = current_user; + ") +if [[ "${has_administrative_attributes}" != "f" ]]; then + echo "ERROR: PostgreSQL training role unexpectedly has administrative attributes" >&2 exit 1 fi -database_is_owned=$(psql_training --tuples-only --no-align \ +database_is_owned=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align \ --command="SELECT pg_get_userbyid(datdba) = current_user FROM pg_catalog.pg_database WHERE datname = current_database();") -table_is_owned=$(psql_training --tuples-only --no-align \ +table_is_owned=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align \ --command="SELECT pg_get_userbyid(relowner) = current_user FROM pg_catalog.pg_class WHERE oid = 'public.demo_users'::regclass;") if [[ "${database_is_owned}" != "t" || "${table_is_owned}" != "t" ]]; then echo "ERROR: PostgreSQL demo database or demo_users table is not owned by DB_USER" >&2 exit 1 fi -required_seed_count=$(psql_training --tuples-only --no-align --command=" +required_seed_count=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align --command=" SELECT COUNT(DISTINCT email) FROM public.demo_users WHERE email IN ( @@ -58,7 +66,7 @@ if [[ "${required_seed_count}" != "5" ]]; then exit 1 fi -psql_training <<'SQL' +psql_training "${POSTGRES_DB}" <<'SQL' CREATE TEMPORARY TABLE __sql_lab_access_check ( id integer PRIMARY KEY, @@ -79,5 +87,91 @@ ROLLBACK; SQL echo "Verified PostgreSQL demo ownership, all five seed emails and temporary read/write access." -echo "Verified PostgreSQL user-row INSERT access and that the training role is not a superuser." +echo "Verified PostgreSQL user-row INSERT access and absence of administrative role attributes." + +pagila_exists=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align \ + --command="SELECT EXISTS (SELECT FROM pg_catalog.pg_database WHERE datname = 'pagila');") +if [[ "${pagila_exists}" != "t" ]]; then + echo "Optional PostgreSQL sample Pagila is not installed; skipped." + echo "All PostgreSQL training-user access checks passed." + exit 0 +fi + +pagila_database_is_owned=$(psql_training "${POSTGRES_DB}" --tuples-only --no-align \ + --command="SELECT pg_get_userbyid(datdba) = current_user FROM pg_catalog.pg_database WHERE datname = 'pagila';") +if [[ "${pagila_database_is_owned}" != "t" ]]; then + echo "ERROR: PostgreSQL database pagila is not owned by DB_USER" >&2 + exit 1 +fi + +pagila_key_table_count=$(psql_training pagila --tuples-only --no-align --command=" + SELECT COUNT(*) + FROM pg_catalog.pg_class AS class + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = class.relnamespace + WHERE namespace.nspname = 'public' + AND class.relkind IN ('r', 'p') + AND class.relname IN ('actor', 'film', 'customer', 'rental'); +") +if [[ "${pagila_key_table_count}" != "4" ]]; then + echo "ERROR: Pagila does not contain all required tables: actor, film, customer, rental" >&2 + exit 1 +fi + +pagila_key_tables_owned=$(psql_training pagila --tuples-only --no-align --command=" + SELECT COUNT(*) = 4 AND bool_and(pg_get_userbyid(class.relowner) = current_user) + FROM pg_catalog.pg_class AS class + JOIN pg_catalog.pg_namespace AS namespace ON namespace.oid = class.relnamespace + WHERE namespace.nspname = 'public' + AND class.relkind IN ('r', 'p') + AND class.relname IN ('actor', 'film', 'customer', 'rental'); +") +if [[ "${pagila_key_tables_owned}" != "t" ]]; then + echo "ERROR: one or more required Pagila tables are not owned by DB_USER" >&2 + exit 1 +fi + +pagila_key_tables_have_data=$(psql_training pagila --tuples-only --no-align --command=" + SELECT EXISTS (SELECT FROM public.actor) + AND EXISTS (SELECT FROM public.film) + AND EXISTS (SELECT FROM public.customer) + AND EXISTS (SELECT FROM public.rental); +") +if [[ "${pagila_key_tables_have_data}" != "t" ]]; then + echo "ERROR: one or more required Pagila tables contain no data" >&2 + exit 1 +fi + +pagila_read_probe=$(psql_training pagila --tuples-only --no-align --command=" + SELECT actor.actor_id || ':' || film.film_id + FROM public.actor AS actor + JOIN public.film_actor AS film_actor USING (actor_id) + JOIN public.film AS film USING (film_id) + WHERE film.title IS NOT NULL + ORDER BY actor.actor_id, film.film_id + LIMIT 1; +") +if [[ -z "${pagila_read_probe}" ]]; then + echo "ERROR: Pagila join read probe returned no rows" >&2 + exit 1 +fi + +psql_training pagila <<'SQL' +CREATE TEMPORARY TABLE __sql_lab_pagila_access_check +( + id integer PRIMARY KEY, + value varchar(32) NOT NULL +); + +INSERT INTO __sql_lab_pagila_access_check (id, value) VALUES (1, 'ok'); +SELECT value FROM __sql_lab_pagila_access_check WHERE id = 1; +DROP TABLE __sql_lab_pagila_access_check; + +BEGIN; +INSERT INTO public.actor (actor_id, first_name, last_name) +VALUES (-2147483648, 'SQL LAB', 'ACCESS CHECK') +RETURNING actor_id; +ROLLBACK; +SQL + +echo "Verified Pagila ownership, required populated tables, join read and reversible write access." echo "All PostgreSQL training-user access checks passed."