Repository navigation
Open
Labels
needs:attentionFor the owner to read: defaults chosen, work done, risks; answer only to disagreeFor the owner to read: defaults chosen, work done, risks; answer only to disagreepriority:nowDo nowDo nowwayfinder:researchWayfinder ticket: a fact a decision waits onWayfinder ticket: a fact a decision waits on
Description
Утверждать архитектуру можно только после замера на разных языках и разных API. Без него мы утвердим то, что проверено лишь на Python и Яндексе.
Вопрос
Как ведут себя три подхода на матрице «язык × API»:
- А - генерация по архитектуре 14.10;
- Б - вывод во время работы, как в Вывод SDK, CLI и MCP из описания операции: итог исследования и пять решений до пробы #508 1-А;
- В - ручной код, как в ycli сейчас.
Какой подход дает меньше ручного кода, проходит больше сценариев контракта и держит причуды чужих API без правок ядра?
Матрица
| ось | значения |
|---|---|
| языки | Python, TypeScript, Go, Java, Rust - те же пять, что в портах октября |
| API | Yandex Tracker (REST, свой курсор), GitHub REST (ссылки в заголовке Link, ETag), Stripe (ключ идемпотентности, expand), Slack Web API (RPC, ответ 200 с ok:false), GitHub GraphQL, DataLens RPC |
| подходы | А - на всех клетках; Б - на Python и TypeScript; В - только на Яндексе, это сегодняшний ycli как база |
| операции | шесть на каждый API: список со страницами, чтение, создание, изменение, удаление и одна странная (долгое задание, файл или ответ-ошибка с кодом 200) |
Почему Б не на всех языках
В Go, Java и Rust вывод во время работы требует рефлексии, которая не сохраняет тип ответа. это тоже проверит бенчмарк: одна клетка (Go × Tracker)
Что меряю
| мера | как |
|---|---|
| ручной код на одну операцию | строки описания плюс ручного кода, без сгенерированного |
| сценарии контракта | доля сценариев spec v1.3, которые проходят: страницы, ошибки, долгие задания, файлы |
| причуды API | выражается ли ok:false при 200 точкой расширения, без правки ядра |
| типы | ловит ли проверка типов языка неверный аргумент |
| цена | строки сгенерированного кода, время генерации, старт CLI, размер списка MCP-инструментов |
Как
- Пилот: Tracker × Python, подходы А и Б. Проверяю меры на одной клетке, потом исправляю бриф.
- Волна: остальные клетки, 4–5 агентов одновременно. Проверяющий на Opus перепроверяет каждое число.
- Итог - комментарием сюда: таблица мер по клеткам, примеры кода из каждой клетки, рекомендация.
Чужие API - без живых вызовов: фейковый сервер по опубликованной спецификации и записанные ответы. Яндекс - на тестовой организации.
Стоимость бенчмарка: примерно 25 агентов, один-два дня. Это оценка, не замер.
Не проверено
- хватит ли шести операций, чтобы показать различия. Пилот покажет
- опубликованные спецификации Stripe и Slack годятся для фейкового сервера - это предположение, проверю на пилоте
Ответ одной строкой: «матрица ок» или что поменять в осях.
Metadata
Metadata
Assignees
Labels
needs:attentionFor the owner to read: defaults chosen, work done, risks; answer only to disagreeFor the owner to read: defaults chosen, work done, risks; answer only to disagreepriority:nowDo nowDo nowwayfinder:researchWayfinder ticket: a fact a decision waits onWayfinder ticket: a fact a decision waits on
Activity
bim-ba commentedon Nov 18, 2026
Пилот: Tracker × Python
На Python генерация (А) и вывод при старте (Б) дают одинаковый ручной код - 50 строк на шесть операций против 319 в ycli сейчас (В). Разница между А и Б не в строках, а в старте CLI, проверке типов и шуме в диффах. Сценарии контракта в нынешнем виде сравнивают подходы нечестно: они записаны под ycli и противоречат собственному правилу C-01 спецификации, поэтому перед волной их надо переписать.
Шесть операций: список задач со страницами, чтение, создание, изменение задачи, удаление комментария и загрузка файла. А - kit14, Б - kit12 (это тот же kit, только без генерации: kit13 получен из kit12 переносом кода), В - ycli на
3599fd91.issues get --help, CPUupdate(description=None)null, поле очищается (проверил вживую)NoneтеряетсяNoneтеряетсяКаждое число - с командой и сырым выводом в
pilot-report.md(локально,~/scratch/2026-11-18-ycli-review/bench/pilot/).Пример:
issues.getв трех подходахВ А и Б это одно описание, 16 строк:
В подходе В та же операция написана четыре раза, 53 строки (здесь сжато и без докстрингов):
Что еще нашлось
[]там, где C-01 требуетnull. Как опубликовано, впереди В, после правки по C-01 - А. Поэтому сейчас они меряют «похоже на ycli», а не поведениеcreatedBy,type,status,queueстроками, а по сети приходят объекты. Это дефект описаний, не механизма, но волна его унаследуетbuild/иbin/). С ним kit14 воспроизводит свой сгенерированный Tracker байт в байтЧто меняется в плане волны
_patch.py, а Б обычную функциюНе проверено
Бриф волны с правками лежит там же,
wave-brief.md.Порог из #604 («Б дает меньше ручного кода, чем А») на Python сработать не может, строки равны. Предлагаю вместо него сравнивать старт, проверку типов и шум в диффах, а строки - только на странных операциях. Ответ одной строкой: «план волны ок» или что поменять.
bim-ba commentedon Nov 19, 2026
мне нравится вариант А, я бы наверное даже в него еще АПИшек всяких положил разных