ПРАКТ-120 / PRACT-120

Продуктовый рейтинг AI-чатов по комплексным требованиям
Product Reliability Assessment of Chat Tools

Public release v1.1.0 (2026-08-27). Authors: Maracuya AI (Маракуйя ИИ). Repository: https://github.com/clnt2021/pract-120-benchmark

ПРАКТ-120 — воспроизводимый синтетический бенчмарк готовых AI-чатов и агентных продуктов. Он проверяет не абстрактную языковую модель, а реальный пользовательский продукт: поиск, работу по закрытому корпусу, чтение входных документов, создание нативных DOCX и XLSX, соблюдение формата, доказательность и устойчивость.

Что находится в полном комплекте

• 120 заданий: 30 web, 30 RAG, 25 Word, 25 Excel и 10 сквозных;
• точные промпты и отдельный комплект каждого задания;
• 25 входных DOCX, 25 входных XLSX, 10 пар входов для сквозных задач;
• закрытый синтетический RAG-корпус: 120 PDF, 5 592 страницы;
• эталоны для всех 120 заданий и полный corpus ground truth;
• протокол запуска, шкала 0–100, правила нулей, N/A и устойчивого отказа;
• инструкции, которые автоматически подхватывают Codex, Claude Code и Cursor;
• пустые формы сдачи, схемы JSON и проверяющие CLI-инструменты;
• публикационные документы и контрольные суммы;
• никаких результатов конкретных продуктов или прежних прогонов.

Два слоя

1. 01_RUNNER передаётся оператору или агентной среде, которая проводит тест. В нём нет эталонных ответов.
2. 02_EVALUATOR открывается только после фиксации результата. В нём находятся ключи и правила оценки.

Для честного прогона не давайте тестируемому агенту корень репозитория. Передавайте только каталог 01_RUNNER. Каталог 02_EVALUATOR открывайте после фиксации сырых ответов.

Clone

git clone https://github.com/clnt2021/pract-120-benchmark.git
cd pract-120-benchmark
python3 04_TOOLS/verify_release.py
cd 01_RUNNER
python3 tools/pract.py check-package
python3 tools/pract.py list
python3 tools/pract.py prepare W001 --run-root ./my-run

Затем откройте my-run/W001/TASK.md, выполните задание в новом чистом диалоге и сохраните необработанный результат. Полный порядок описан в 01_RUNNER/START_HERE.md.

License and citation

License: CC BY 4.0 (Creative Commons Attribution 4.0).

Anyone may copy, run, adapt, and republish PRACT-120, including commercial leaderboards. The required credit is Maracuya AI — https://maracuya.ru

Suggested attribution:

PRACT-120, Maracuya AI, https://maracuya.ru
Licensed under CC BY 4.0.

Citation file: CITATION.cff. Metadata: PUBLICATION_METADATA.json.