Skip to content

Правила для тестов — пять решений #586

Open

Description

@bim-ba

Достаточно таблицы. Ответ: «всё по рекомендации» или номера, где не согласны. Подробности с картинками — ниже, по желанию.

№ Проблема Рекомендую Что получите Цена
1 Два правила спорят: писать ожидаемое буквально или брать из кода Буквально — что видит сервис и пользователь; коды выхода и адреса — из кода Один ответ для разработчика теста, адрес правится в одном месте Перенумерацию кода выхода заметит только одно место
2 Тесты читают приватные поля сессии и контекста Запретить; где наблюдать нечем, добавить публичный вход Переделка внутренностей не роняет тесты Два новых публичных имени
3 Тесты лежат не рядом со своим кодом Шесть модулей перенести, девять оставить и записать в правиле Тесты модуля находятся по пути Конфликты в открытых PR
4 Тесты освобождены от правила «каждая сигнатура типизирована» Типизировать тесты целиком, в два PR Опечатку в методе фикстуры видит проверка типов Большой механический дифф
5 Многие проверки ни разу не видели упавшими Сейчас — проверкам из ARCHITECTURE.md, остальным когда тронут Охранные проверки правда ловят дефект Вторая половина ждёт случая

1. Буквально или из кода

assert result.exit_code == 4                 # сейчас; ID_URL набран в 8 файлах
assert result.exit_code == ExitCode.AUTH     # рекомендую; ID_URL из tests/hosts.py
Вариант Суть Цена
А (рекомендую) Буквально: запрос в сервис, ключи, текст отказа ycli. Из кода: коды выхода, адреса Число кода выхода закреплено один раз, скрипты ветвятся по нему
Б Буквально всё Смена кода или адреса — правка в десятках мест

2. Приватное в тестах

flowchart LR
  subgraph now["Сейчас"]
    a1["Тест"] --> a2["session._client.is_closed"] --> a3["Падает при переделке сессии"]
  end
  subgraph after["Рекомендую"]
    b1["Тест"] --> b2["session.closed<br/>имя условное"] --> b3["Переделка тест не трогает"]
  end
Loading
Вариант Суть Цена
А (рекомендую) Приватное в tests/ запрещено; для «сессия закрыта» и «подставить клиента» делаем публичный вход closed нужен только тестам
Б Можно, но с пометкой причины у каждого места Пометки станут привычкой

3. Где лежат тесты

flowchart LR
  subgraph now["Сейчас"]
    a1["tests/unit/mcp/<br/>test_dry_run.py"] -. "проверяет" .-> a2["src/ycli/yandex/mcp.py"]
  end
  subgraph after["Рекомендую"]
    b1["tests/unit/yandex/<br/>test_dry_run.py"] --> b2["src/ycli/yandex/mcp.py"]
  end
Loading
Вариант Суть Цена
А (рекомендую) Перенести шесть модулей; девять в tests/tooling/ оставить, правило это допускает Конфликты в PR, новый каталог для трёх тестов
Б Перенести все пятнадцать Придётся менять docs/conventions/resources.md

4. Типы в тестах

def test_export_prints_a_failed_status(api):                    # сейчас, около 2800 мест
def test_export_prints_a_failed_status(api: MockAPI) -> None:   # рекомендую
Вариант Суть Цена
А (рекомендую) Сначала ruff ставит -> None, затем аргументы по каталогам Большой дифф, конфликты в PR
Б Только аргументы, -> None не требовать В настройке остаётся частичное исключение

5. Проверки без падения

Проверка считается рабочей, когда её видели упавшей на подставленном дефекте.

flowchart LR
  subgraph now["Сейчас"]
    a1["Проверка смотрит<br/>на имя _delete"] --> a2["Инструмент x_abort<br/>с destructiveHint"] --> a3["Проходит"]
  end
  subgraph after["Рекомендую"]
    b1["Тест подставляет x_abort"] --> b2["Проверка читает<br/>destructiveHint"] --> b3["Падает, дефект виден"]
  end
Loading
Вариант Суть Цена
А (рекомендую) Сейчас — проверкам, на которые ссылается ARCHITECTURE.md; остальным когда тронут; в шаблоне PR строка про такой тест Вторая половина ждёт случая
Б Всем сейчас Один большой PR; часть проверок упадёт на текущем коде
В Как сейчас «enforced» в ARCHITECTURE.md остаётся неправдой

Сделаю без вопросов

  • Общая фикстура ставит токен t и организацию o, и маска в журнале e2e вырезает эти буквы из слов. Заменю на test-oauth-token и test-organization.
  • Замер дублирования в тестах не видел tests/: повторю с ними, потом вынесу общие помощники в conftest.py.
  • Тест того, что видит пользователь (код выхода, нет трассировки), пойдёт через ycli.cli.app.main.
  • Из проверки документации уберу PROMPT.md: такого файла нет.

Activity

  1. changed the title [-]Правила для тестов: что писать буквально, можно ли читать приватное, где лежат тесты, типы, «укусы» и подставные учётные данные — шесть решений[/-] [+]Правила для тестов — пять решений[/+] on Oct 11, 2026
  2. bim-ba commented on Nov 19, 2026

    @bim-ba
    OwnerAuthor

    рекомендации

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    needs:decisionWaiting for an owner decisionscope:ciCI/CD and release automation

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions