Repository navigation
Description
Labels: needs-decision, security, area:ci, bug
Ночной прогон (набор сценариев за один запуск) не шёл месяц: PR #590, который должен был сделать его безопаснее, держал общую очередь ожиданием approve. 10 ноября ожидание закончилось, прогон пошёл и сразу нашёл красный Forms. При этом прогон не проверяет, в какой организации пишет: 25 из 29 сценариев пишут, 103 шага создают объекты, а уборщик убирает три вида. e2e не входит в обязательные проверки, поэтому месяц тишины прошёл незаметно.
Заменяет карточку 2 из #591.
Сводка
| Что | Рекомендую | Что получите | Цена |
|---|---|---|---|
| Ожидание approve в PR держит общую очередь; 29 ночей отменены | Своя очередь для PR | Ночь не зависит от ревью PR | PR и ночь могут писать в одну организацию |
| Чужая организация не отвергается | До уборщика прочитать объект-метку | Прогон в чужой организации падает до записи | Удалённая метка - ложный отказ |
| Таймаут печатает команду с uid | Ловить и не печатать | В публичном логе нет uid | Одна ветка и один тест |
1. Очередь
flowchart LR
subgraph now["Сейчас"]
a1["PR #590: live (all) ждёт approve"] --> a2["держит group: yandex-e2e"] --> a3["ночь отменяется"]
end
subgraph after["Рекомендую"]
b1["PR: своя группа"] --> b2["ночь: yandex-e2e"] --> b3["ночь идёт"]
end
Пример: job live (all) в запуске 38143665709 ждал с 11 октября 16:20 до 10 ноября 16:20, шагов ноль, конец - failure. Ровно 30 суток - это документированный предел ожидания approval в GitHub; job записан как failure, а не cancelled. Через 7 секунд после этого ночной запуск 42794448118 начал prepare - очередь освободилась. С 12 октября по 9 ноября 29 ночных запусков отменены с нулём job, последний успешный ночной - 10 октября 19:33 (по gh run list --workflow=e2e.yml). У #590 та же group: yandex-e2e, поэтому мерж как есть даст каждому PR ожидание approve, которое снова держит ночь.
| Вариант | Что это | Пример | Что ломается | Риск |
|---|---|---|---|---|
| А (рекомендую) | PR - своя группа (yandex-e2e-pr-<ref>), ночь и ручной запуск - общая yandex-e2e; #590 мержить после этой строки |
group: yandex-e2e-pr-${{ github.ref }} |
Очередь ночи больше не общая с PR | PR и ночь могут одновременно писать в одну организацию |
| Б | Своя группа для каждой ветки | group: yandex-e2e-${{ github.ref }} |
Ночь и PR больше не сериализуются | То же |
| В | Оставить общую, чистить зависшие прогоны руками | ручная отмена | Ничего | Следующий PR с approve снова гасит ночь |
Рекомендую А: ночь не должна зависеть от того, когда кто-то нажмёт Approve в PR; общая группа ночи сохраняет очередь для всего, что пишет в одну организацию.
Против: PR и ночь теперь могут пересечься в одной организации, а сценарии stateful (справочники, спринты). Смягчение: PR гоняет smoke-подмножество (11 шагов), уборщик в prepare трогает только объекты старше 6 часов, финальный - только объекты своего прогона.
2. Организация
settings.py отвечает только «переменные заданы»: интерфейс missing_credentials спрашивает «заданы ли переменные», а нужен ответ «та ли это организация». Единственный шаг, который читает организацию, проверяет orgId != null - любая организация проходит. Если токен владельца пускает в две организации, а YANDEX_ID_ORGANIZATION_ID называет вторую, 25 сценариев пишут там, а prepare до них закрывает e2e- issues и удаляет страницы и опросы. Уборщик знает три вида: issues, pages, surveys.
| Вариант | Что это | Пример | Что ломается | Риск |
|---|---|---|---|---|
| А (рекомендую) | Preflight до уборщика читает объект-метку своей организации: очередь-песочницу для 360, коллекцию для DataLens, и отказывает, если её нет | tracker queues get YCLIPAGE |
Ничего | Очередь переименовали - ложный отказ |
| Б | Ожидаемый id организации отдельным секретом, сравнение до записи | YCLI_E2E_EXPECTED_ORG=<id> |
Ещё один секрет | id надо ротировать вместе с тестовой организацией |
| В | Оставить, усилить README | e2e/README.md |
Ничего | Ошибка в .env правит чужую организацию |
Рекомендую А: проверка не требует нового секрета и работает для любой формы организации; она же закрывает локальный запуск с рабочим .env. Для DataLens нужна своя метка - очередь Tracker в облачной организации не читается.
Против: это конвенция, а не личность - чужая организация с очередью YCLIPAGE пройдёт. В сообщении назвать обе причины: «объект не найден: не та организация или объект удалён».
3. Таймаут - в «Сделаю без вопросов»
CliDriver.run передаёт timeout=120 и не ловит TimeoutExpired; текст исключения - командная строка с подставленным ${GRANTEE}, то есть uid, в публичном логе. Путь уборки уже прогоняет ошибку через hidden(), путь шага - нет. Это механическая правка, не решение.
Сделаю без вопросов
- Ловлю
TimeoutExpiredтам, где видныvariables, и поднимаю ошибку шага без команды; тест: uid из${GRANTEE}не в тексте. - Заворачиваю
JMESPathTypeErrorв ошибку шага с id: первый же прогон 10 ноября упал наforms/survey-optionsголым исключением. - При А или Б ставлю проверку организации в
prepareперед уборщиком, не после.
Что не проверено
- Причина падения
forms/survey-options10 ноября:length()получилnull; нужен ответ сервиса, чтобы понять, это баг сценария или API. Отдельный issue, не эта карточка. - Какие секреты названы в
yandex-e2e(значения не читал); поэтому «тестовая организация» - это то, что говорит README, а не проверенный id.
Ответ одной строкой: «1 - А, 2 - А».
Где это в коде и как проверено
.github/workflows/e2e.yml:26-28-group: yandex-e2e,cancel-in-progress: false;:39и:84-environment: yandex-e2e.- PR ci(e2e): a pull request's live run waits for a required reviewer #590 (head
1191d344) меняет environment наyandex-e2e-prдля PR, но оставляет ту же группу:gh api repos/bim-ba/ycli/contents/.github/workflows/e2e.yml?ref=ci%2Fe2e-two-environments. e2e/settings.py:59-80-missing_credentialsпроверяет только наличие переменных.e2e/README.md:9- «Use credentials of the test organization only»;e2e/README.md:30- инструкция положить свой id.e2e/janitor.py:54-76- три вида объектов;e2e/runner.py:90-96-timeout=безexcept;e2e/runner.py:297-search()без обёртки.- Числа:
gh run list --workflow=e2e.yml --limit 100 --json event,status,conclusion,createdAt(29 отмен 12.10-09.11, последний успех 10.10 19:33);gh run view 38143665709 --json jobs(live (all) 11.10 16:20:36 - 10.11 16:20:37, 0 шагов);gh run view 42794448118 --json jobs(prepare 16:20:44, forms failure 16:27:09). - Предел ожидания approval 30 суток: https://docs.github.com/actions/managing-workflow-runs/reviewing-deployments.
- 29 сценариев, 513 шагов, 25 пишущих, 103 create:
PYTHONPATH=. uv run --no-sync python wave3/e2e/probe_cleanup.pyи подсчётe2e/catalog.py. - Падение:
gh run view 42794448118 --log --job=<live (forms)>-test_scenario[forms/survey-options],JMESPathTypeError: In function length(), invalid type for value: None.
Activity
bim-ba commentedon Nov 18, 2026
Поправки после проверки 18.11
feat/mcp-dry-runorgId != nullycli auth statusи ничего ни с чем не сравниваетYANDEX_ID_OAUTH_TOKENиYANDEX_ID_ORGANIZATION_ID. Сравнивать значение с ним же бессмысленно: ожидаемому id нужен второй источник - отдельная переменная или хеш в репозиторииBranch "refs/pull/601/merge" is not allowed to deploy to yandex-e2e due to environment protection rules. На 18.11 живой прогон отклоняется на любом PR еще до очередиКрасный ночной прогон (
length(items)вsurvey_options.yaml), утечку uid при таймауте шага и удаление объектов без отметки прогона уборщиком правлю отдельным PR - ты одобрил это 19.11.bim-ba commentedon Nov 19, 2026
рекомендация
bim-ba commentedon Nov 19, 2026
Тут и в #591 рекомендации разные, а ответил ты в обоих «рекомендации». Чужую организацию e2e предлагалось отсекать по-разному: в #591 - настройкой с ожидаемой организацией, в #598 - объектом-меткой в тестовой организации
Беру объект-метку из #598: ее не надо держать вторым секретом, и она доказывает, что токен относится именно к тестовой организации. Настройку из #591 не делаю
Если нужно наоборот - напиши