Skip to content

Бенчмарк архитектуры: пять языков × шесть API #603

Open

Description

@bim-ba

Утверждать архитектуру можно только после замера на разных языках и разных API. Без него мы утвердим то, что проверено лишь на Python и Яндексе.

Вопрос

Как ведут себя три подхода на матрице «язык × API»:

Какой подход дает меньше ручного кода, проходит больше сценариев контракта и держит причуды чужих API без правок ядра?

Матрица

ось значения
языки Python, TypeScript, Go, Java, Rust - те же пять, что в портах октября
API Yandex Tracker (REST, свой курсор), GitHub REST (ссылки в заголовке Link, ETag), Stripe (ключ идемпотентности, expand), Slack Web API (RPC, ответ 200 с ok:false), GitHub GraphQL, DataLens RPC
подходы А - на всех клетках; Б - на Python и TypeScript; В - только на Яндексе, это сегодняшний ycli как база
операции шесть на каждый API: список со страницами, чтение, создание, изменение, удаление и одна странная (долгое задание, файл или ответ-ошибка с кодом 200)
Почему Б не на всех языках

В Go, Java и Rust вывод во время работы требует рефлексии, которая не сохраняет тип ответа. это тоже проверит бенчмарк: одна клетка (Go × Tracker)

Что меряю

мера как
ручной код на одну операцию строки описания плюс ручного кода, без сгенерированного
сценарии контракта доля сценариев spec v1.3, которые проходят: страницы, ошибки, долгие задания, файлы
причуды API выражается ли ok:false при 200 точкой расширения, без правки ядра
типы ловит ли проверка типов языка неверный аргумент
цена строки сгенерированного кода, время генерации, старт CLI, размер списка MCP-инструментов

Как

  1. Пилот: Tracker × Python, подходы А и Б. Проверяю меры на одной клетке, потом исправляю бриф.
  2. Волна: остальные клетки, 4–5 агентов одновременно. Проверяющий на Opus перепроверяет каждое число.
  3. Итог - комментарием сюда: таблица мер по клеткам, примеры кода из каждой клетки, рекомендация.

Чужие API - без живых вызовов: фейковый сервер по опубликованной спецификации и записанные ответы. Яндекс - на тестовой организации.

Стоимость бенчмарка: примерно 25 агентов, один-два дня. Это оценка, не замер.

Не проверено

  • хватит ли шести операций, чтобы показать различия. Пилот покажет
  • опубликованные спецификации Stripe и Slack годятся для фейкового сервера - это предположение, проверю на пилоте

Ответ одной строкой: «матрица ок» или что поменять в осях.

Activity

  1. added
    needs:attentionFor the owner to read: defaults chosen, work done, risks; answer only to disagree
    wayfinder:researchWayfinder ticket: a fact a decision waits on
    on Nov 18, 2026
  2. bim-ba commented on Nov 18, 2026

    @bim-ba
    OwnerAuthor

    Пилот: Tracker × Python

    На Python генерация (А) и вывод при старте (Б) дают одинаковый ручной код - 50 строк на шесть операций против 319 в ycli сейчас (В). Разница между А и Б не в строках, а в старте CLI, проверке типов и шуме в диффах. Сценарии контракта в нынешнем виде сравнивают подходы нечестно: они записаны под ycli и противоречат собственному правилу C-01 спецификации, поэтому перед волной их надо переписать.

    Шесть операций: список задач со страницами, чтение, создание, изменение задачи, удаление комментария и загрузка файла. А - kit14, Б - kit12 (это тот же kit, только без генерации: kit13 получен из kit12 переносом кода), В - ycli на 3599fd91.

    мера А - генерация Б - вывод при старте В - ycli сейчас
    ручной код, шесть операций 50 строк 50 строк 319 строк
    ручной код, весь Tracker (191 операция) 1 909 1 909 9 020
    модели ycli, общие для всех трех подходов 3 268 3 268 3 268
    сгенерированный код 450 строк на шесть операций, 26 648 на Tracker нет нет
    время генерации Tracker экспорт 4,7 с, генерация 3,5 с  нет, зато вывод на каждом старте около 4 с  нет
    старт CLI, issues get --help, CPU 2,0 с  4,6 с  1,8 с 
    сценарии SDK, как опубликованы 17 из 35 19 из 35 26 из 35
    сценарии SDK после правки по C-01 24 из 35 12 из 35 11 из 35
    ty ловит неверный аргумент 4 из 4 2 из 4 на ty 0.0.55, 3 из 4 на 0.0.86 4 из 4, 3 из 4
    переименовать аргумент на трех поверхностях 3 строки, но генерация меняет 1 826 строк в 21 файле (по смыслу меняются 34) 3 строки 13 строк в 5 файлах
    шесть инструментов MCP 57 КБ, из них входные схемы 5,6 КБ 49 КБ, 5,6 КБ 11 КБ, 8,2 КБ
    update(description=None) шлет null, поле очищается (проверил вживую) None теряется None теряется

    Каждое число - с командой и сырым выводом в pilot-report.md (локально, ~/scratch/2026-11-18-ycli-review/bench/pilot/).

    Пример: issues.get в трех подходах

    В А и Б это одно описание, 16 строк:

    @tracker.get("issues/{issue_key}")
    def get(
        self,
        issue_key: str,
        *,
        expand: Annotated[str | None, Query()] = None,
        query_fields: Annotated[str | None, Query("fields")] = None,
    ) -> Issue:
        """``GET /issues/{key}`` → a single ``Issue``.
    
        Args:
            issue_key: The issue's key.
            expand: The extra blocks to include: ``transitions``, ``attachments``, ``comments``.
            query_fields: The comma-separated issue fields to include in the reply.
        """
        ...

    В подходе В та же операция написана четыре раза, 53 строки (здесь сжато и без докстрингов):

    # endpoints.py
    def get(issue_key: str, *, expand: str | None, fields: str | None) -> Endpoint[Issue]:
        return Endpoint(HTTPMethod.GET, f"issues/{segment(issue_key)}", Issue,
                        params={"expand": expand, "fields": fields})
    
    # client.py
    def get(self, issue_key: str, *, expand: str | None = None, fields: str | None = None) -> Issue:
        return self._session.send(endpoints.get(issue_key, expand=expand, fields=fields))
    
    # cli.py
    @app.command()
    def get(issue_key: IssueKeyArg, expand: ExpandOpt = None, fields: ReplyFieldsOpt = None,
            *, tracker: TrackerClient) -> Issue:
        return tracker.issues.get(issue_key, expand=expand, fields=fields)
    
    # mcp.py
    @mcp.tool(name="issues_get", annotations={**RO, "title": "Get Tracker issue"})
    def get(issue_key: IssueKey, expand: Expand = None, fields: ReplyFields = None,
            client: TrackerClient = Depends(tracker_client)) -> Issue:
        return client.issues.get(issue_key, expand=expand, fields=fields)

    Что еще нашлось

    • сценарии v1.3 для Tracker записаны под ycli: в CLI и MCP там имена команд и флагов ycli, а 15 сценариев ждут [] там, где C-01 требует null. Как опубликовано, впереди В, после правки по C-01 - А. Поэтому сейчас они меряют «похоже на ycli», а не поведение
    • А и Б не могут разобрать ни одной настоящей задачи Tracker: модели ycli объявляют createdBy, type, status, queue строками, а по сети приходят объекты. Это дефект описаний, не механизма, но волна его унаследует
    • генератор kit14 в архиве цел, он пропал только в моей распаковке (я распаковал архив без папок build/ и bin/). С ним kit14 воспроизводит свой сгенерированный Tracker байт в байт
    • у Slack опубликованная спецификация OpenAPI заморожена с 2021 года, фейк для него придется писать по документации методов. У Stripe, GitHub REST и GitHub GraphQL спецификации живые

    Что меняется в плане волны

    • «ручной код А и Б» на общей форме описания отдельно не мерить, они равны по построению. Различаться они будут на странных операциях и причудах API, где А пишет _patch.py, а Б обычную функцию
    • сначала две подготовительные фазы параллельно: нейтральный набор сценариев на каждый из шести API (без имен ycli, с C-01) и генератор из OpenAPI на каждый из четырех языков (октябрьские генераторы читают каталог kit10, а не OpenAPI). Потом клетки, потом проверка Opus
    • добавить меру стабильности диффа генерации, а размер списка MCP заменить размером входных схем: вся разница между А и В там из-за выходных схем (0,94 МБ против 374 байт на весь Tracker)
    • цена: около 20 агентов, как и было, но 2-3 дня вместо 1-2 и примерно 60-80 агент-часов. Это оценка, не замер

    Не проверено

    • генератор на остальных трех сервисах ycli и drift-check целиком
    • pyright и любой язык кроме Python
    • Б с кэшем каталога kit12: старт был бы короче
    • MCP по stdio, гибридный MCP, async-клиент
    • массовая смена статуса задач с опросом: kit14 его не покрывает, сценарии тоже
    • цена пилота в токенах

    Бриф волны с правками лежит там же, wave-brief.md.

    Порог из #604 («Б дает меньше ручного кода, чем А») на Python сработать не может, строки равны. Предлагаю вместо него сравнивать старт, проверку типов и шум в диффах, а строки - только на странных операциях. Ответ одной строкой: «план волны ок» или что поменять.

  3. bim-ba commented on Nov 19, 2026

    @bim-ba
    OwnerAuthor

    мне нравится вариант А, я бы наверное даже в него еще АПИшек всяких положил разных

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    needs:attentionFor the owner to read: defaults chosen, work done, risks; answer only to disagreepriority:nowDo nowwayfinder:researchWayfinder ticket: a fact a decision waits on

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions