Skip to content

Живой прогон: чужая организация, запертая очередь и uid в логе #598

Open

Description

@bim-ba

Labels: needs-decision, security, area:ci, bug

Ночной прогон (набор сценариев за один запуск) не шёл месяц: PR #590, который должен был сделать его безопаснее, держал общую очередь ожиданием approve. 10 ноября ожидание закончилось, прогон пошёл и сразу нашёл красный Forms. При этом прогон не проверяет, в какой организации пишет: 25 из 29 сценариев пишут, 103 шага создают объекты, а уборщик убирает три вида. e2e не входит в обязательные проверки, поэтому месяц тишины прошёл незаметно.

Заменяет карточку 2 из #591.

Сводка

Что Рекомендую Что получите Цена
Ожидание approve в PR держит общую очередь; 29 ночей отменены Своя очередь для PR Ночь не зависит от ревью PR PR и ночь могут писать в одну организацию
Чужая организация не отвергается До уборщика прочитать объект-метку Прогон в чужой организации падает до записи Удалённая метка - ложный отказ
Таймаут печатает команду с uid Ловить и не печатать В публичном логе нет uid Одна ветка и один тест

1. Очередь

flowchart LR
  subgraph now["Сейчас"]
    a1["PR #590: live (all) ждёт approve"] --> a2["держит group: yandex-e2e"] --> a3["ночь отменяется"]
  end
  subgraph after["Рекомендую"]
    b1["PR: своя группа"] --> b2["ночь: yandex-e2e"] --> b3["ночь идёт"]
  end
Loading

Пример: job live (all) в запуске 38143665709 ждал с 11 октября 16:20 до 10 ноября 16:20, шагов ноль, конец - failure. Ровно 30 суток - это документированный предел ожидания approval в GitHub; job записан как failure, а не cancelled. Через 7 секунд после этого ночной запуск 42794448118 начал prepare - очередь освободилась. С 12 октября по 9 ноября 29 ночных запусков отменены с нулём job, последний успешный ночной - 10 октября 19:33 (по gh run list --workflow=e2e.yml). У #590 та же group: yandex-e2e, поэтому мерж как есть даст каждому PR ожидание approve, которое снова держит ночь.

Вариант Что это Пример Что ломается Риск
А (рекомендую) PR - своя группа (yandex-e2e-pr-<ref>), ночь и ручной запуск - общая yandex-e2e; #590 мержить после этой строки group: yandex-e2e-pr-${{ github.ref }} Очередь ночи больше не общая с PR PR и ночь могут одновременно писать в одну организацию
Б Своя группа для каждой ветки group: yandex-e2e-${{ github.ref }} Ночь и PR больше не сериализуются То же
В Оставить общую, чистить зависшие прогоны руками ручная отмена Ничего Следующий PR с approve снова гасит ночь

Рекомендую А: ночь не должна зависеть от того, когда кто-то нажмёт Approve в PR; общая группа ночи сохраняет очередь для всего, что пишет в одну организацию.
Против: PR и ночь теперь могут пересечься в одной организации, а сценарии stateful (справочники, спринты). Смягчение: PR гоняет smoke-подмножество (11 шагов), уборщик в prepare трогает только объекты старше 6 часов, финальный - только объекты своего прогона.

2. Организация

settings.py отвечает только «переменные заданы»: интерфейс missing_credentials спрашивает «заданы ли переменные», а нужен ответ «та ли это организация». Единственный шаг, который читает организацию, проверяет orgId != null - любая организация проходит. Если токен владельца пускает в две организации, а YANDEX_ID_ORGANIZATION_ID называет вторую, 25 сценариев пишут там, а prepare до них закрывает e2e- issues и удаляет страницы и опросы. Уборщик знает три вида: issues, pages, surveys.

Вариант Что это Пример Что ломается Риск
А (рекомендую) Preflight до уборщика читает объект-метку своей организации: очередь-песочницу для 360, коллекцию для DataLens, и отказывает, если её нет tracker queues get YCLIPAGE Ничего Очередь переименовали - ложный отказ
Б Ожидаемый id организации отдельным секретом, сравнение до записи YCLI_E2E_EXPECTED_ORG=<id> Ещё один секрет id надо ротировать вместе с тестовой организацией
В Оставить, усилить README e2e/README.md Ничего Ошибка в .env правит чужую организацию

Рекомендую А: проверка не требует нового секрета и работает для любой формы организации; она же закрывает локальный запуск с рабочим .env. Для DataLens нужна своя метка - очередь Tracker в облачной организации не читается.
Против: это конвенция, а не личность - чужая организация с очередью YCLIPAGE пройдёт. В сообщении назвать обе причины: «объект не найден: не та организация или объект удалён».

3. Таймаут - в «Сделаю без вопросов»

CliDriver.run передаёт timeout=120 и не ловит TimeoutExpired; текст исключения - командная строка с подставленным ${GRANTEE}, то есть uid, в публичном логе. Путь уборки уже прогоняет ошибку через hidden(), путь шага - нет. Это механическая правка, не решение.

Сделаю без вопросов

  • Ловлю TimeoutExpired там, где видны variables, и поднимаю ошибку шага без команды; тест: uid из ${GRANTEE} не в тексте.
  • Заворачиваю JMESPathTypeError в ошибку шага с id: первый же прогон 10 ноября упал на forms/survey-options голым исключением.
  • При А или Б ставлю проверку организации в prepare перед уборщиком, не после.

Что не проверено

  • Причина падения forms/survey-options 10 ноября: length() получил null; нужен ответ сервиса, чтобы понять, это баг сценария или API. Отдельный issue, не эта карточка.
  • Какие секреты названы в yandex-e2e (значения не читал); поэтому «тестовая организация» - это то, что говорит README, а не проверенный id.

Ответ одной строкой: «1 - А, 2 - А».

Где это в коде и как проверено
  • .github/workflows/e2e.yml:26-28 - group: yandex-e2e, cancel-in-progress: false; :39 и :84 - environment: yandex-e2e.
  • PR ci(e2e): a pull request's live run waits for a required reviewer #590 (head 1191d344) меняет environment на yandex-e2e-pr для PR, но оставляет ту же группу: gh api repos/bim-ba/ycli/contents/.github/workflows/e2e.yml?ref=ci%2Fe2e-two-environments.
  • e2e/settings.py:59-80 - missing_credentials проверяет только наличие переменных.
  • e2e/README.md:9 - «Use credentials of the test organization only»; e2e/README.md:30 - инструкция положить свой id.
  • e2e/janitor.py:54-76 - три вида объектов; e2e/runner.py:90-96 - timeout= без except; e2e/runner.py:297 - search() без обёртки.
  • Числа: gh run list --workflow=e2e.yml --limit 100 --json event,status,conclusion,createdAt (29 отмен 12.10-09.11, последний успех 10.10 19:33); gh run view 38143665709 --json jobs (live (all) 11.10 16:20:36 - 10.11 16:20:37, 0 шагов); gh run view 42794448118 --json jobs (prepare 16:20:44, forms failure 16:27:09).
  • Предел ожидания approval 30 суток: https://docs.github.com/actions/managing-workflow-runs/reviewing-deployments.
  • 29 сценариев, 513 шагов, 25 пишущих, 103 create: PYTHONPATH=. uv run --no-sync python wave3/e2e/probe_cleanup.py и подсчёт e2e/catalog.py.
  • Падение: gh run view 42794448118 --log --job=<live (forms)> - test_scenario[forms/survey-options], JMESPathTypeError: In function length(), invalid type for value: None.

Activity

  1. added
    type:bugSomething isn't working
    scope:ciCI/CD and release automation
    needs:decisionWaiting for an owner decision
    type:securitySecrets, credentials, personal data, release access
    on Nov 10, 2026
  2. bim-ba commented on Nov 18, 2026

    @bim-ba
    OwnerAuthor

    Поправки после проверки 18.11

    было на деле
    последний успешный ночной прогон - 10.10 в 19:33 последний зеленый ночной запущен 10.10 в 08:31 UTC. В 19:33 прошел прогон PR feat/mcp-dry-run
    шаг, который читает организацию, проверяет orgId != null эта проверка есть только в сценарии DataLens, а CI его не запускает. Перед прогоном CI вызывает ycli auth status и ничего ни с чем не сравнивает
    вариант Б сравнивает организацию с секретом секреты называются YANDEX_ID_OAUTH_TOKEN и YANDEX_ID_ORGANIZATION_ID. Сравнивать значение с ним же бессмысленно: ожидаемому id нужен второй источник - отдельная переменная или хеш в репозитории
    единственная проблема PR - общая очередь Подтверждено 18.11 на PR #601: Branch "refs/pull/601/merge" is not allowed to deploy to yandex-e2e due to environment protection rules. На 18.11 живой прогон отклоняется на любом PR еще до очереди
    этот issue заменяет карточку 2 из #591 он меняет ее рекомендацию: #591 предлагал настройку с ожидаемой организацией, а здесь предлагается объект-метка. Выбрать нужно одно

    Красный ночной прогон (length(items) в survey_options.yaml), утечку uid при таймауте шага и удаление объектов без отметки прогона уборщиком правлю отдельным PR - ты одобрил это 19.11.

  3. bim-ba commented on Nov 19, 2026

    @bim-ba
    OwnerAuthor

    рекомендация

  4. bim-ba commented on Nov 19, 2026

    @bim-ba
    OwnerAuthor

    Тут и в #591 рекомендации разные, а ответил ты в обоих «рекомендации». Чужую организацию e2e предлагалось отсекать по-разному: в #591 - настройкой с ожидаемой организацией, в #598 - объектом-меткой в тестовой организации

    Беру объект-метку из #598: ее не надо держать вторым секретом, и она доказывает, что токен относится именно к тестовой организации. Настройку из #591 не делаю

    Если нужно наоборот - напиши

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    needs:decisionWaiting for an owner decisionscope:ciCI/CD and release automationtype:bugSomething isn't workingtype:securitySecrets, credentials, personal data, release access

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions