Skip to content
summerisgonePublic

About

Приложение для транскрипции звонков в Яндекс Телемост

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Repository files navigation

Konspekt

Konspekt записывает звонки в Яндекс Телемост и делает конспект встречи.

Во время звонка приложение записывает ваш микрофон и звук звонка, после окончания расшифровывает запись через OpenAI-совместимый ASR-сервис и формирует краткое резюме.

Работает на macOS и Windows. Ниже описана macOS, отличия для Windows - в разделе Windows.

Требования

  • macOS 14.2 или новее
  • Command Line Tools (xcode-select --install), Xcode не нужен

Установка

scripts/install.sh

Скрипт собирает Konspekt.app, копирует его в ~/Applications, создает LaunchAgent ru.konspekt.agent и запускает фоновый процесс.

Конфигурация копируется из ./.env в ~/.config/konspekt/.env (только если этого файла еще нет, права 600). Файл ./.env должен существовать при первой установке.

Из релиза

Скачайте Konspekt.zip из GitHub Releases, распакуйте и переместите Konspekt.app в ~/Applications или /Applications. Откройте приложение, заполните настройки инференса, нажмите "Сохранить", затем "Запустить": приложение само создаст LaunchAgent.

Разрешения

При первом запуске macOS попросит разрешения:

  • Микрофон
  • Запись системного звука (System Audio Recording)
  • Доступ к папке Документы (для записи в ~/Documents/Konspekt)

Где лежат файлы

Каждый звонок сохраняется в ~/Documents/Konspekt/<date_time>/, где <date_time> - дата и время начала записи, например 2026-10-21_10-05-03:

  • mic.caf - запись микрофона
  • call.caf - запись звука звонка
  • transcript.md - расшифровка с именами участников
  • speakers.json - кто и когда говорил (участники, реплики, отпечатки голосов)
  • summary.md - резюме
  • status.json - статус обработки

Участники и база голосов

На macOS 15 и новее запись размечается по говорящим локально: микрофон и звук звонка делятся на реплики отдельно (pyannote + WeSpeaker на Core ML, через FluidAudio), затем каждая реплика распознается отдельным запросом к ASR. Звук звонка, попавший в микрофон из динамиков, перед разметкой вырезается из дорожки микрофона, чтобы реплики собеседников не дублировались. Звук никуда, кроме ASR-сервиса, не отправляется. При первой обработке скачиваются модели (~21 МБ) с Hugging Face в ~/Library/Application Support/FluidAudio/Models.

Неизвестные голоса называются "Спикер 1", "Спикер 2"... Кнопка "Участники" у звонка в окне настроек показывает долю речи и шкалу реплик каждого участника, дает послушать голос и задать имя. После сохранения расшифровка переписывается, конспект пересобирается, а голос запоминается в ~/.config/konspekt/voices.json: в следующих звонках этот человек будет подписан автоматически.

Если разметка не удалась (или на macOS 14 и Windows), расшифровка делается как раньше, без имен.

Командная строка

~/Applications/Konspekt.app/Contents/MacOS/konspekt status
~/Applications/Konspekt.app/Contents/MacOS/konspekt retry
~/Applications/Konspekt.app/Contents/MacOS/konspekt process <dir>
  • status - состояние записей и обработки
  • retry - повторить обработку записей с ошибкой
  • process <dir> - обработать конкретную папку записи

Логи

tail -f ~/Library/Logs/konspekt.log

Настройка

Файл ~/.config/konspekt/.env:

  • OPENAI_BASE_URL - адрес OpenAI-совместимого API
  • OPENAI_API_KEY - ключ API
  • OPENAI_MODEL_NAME - модель ASR (распознавание речи)
  • SUMMARY_MODEL_NAME - модель для резюме (необязательно, по умолчанию qwen-3.8-27b)
  • KONSPEKT_DIR - папка для записей (необязательно, по умолчанию ~/Documents/Konspekt)
  • KEEP_AUDIO_GB - сколько гигабайт аудио обработанных звонков хранить (необязательно, по умолчанию 10). После обработки у самых старых звонков сверх лимита удаляются mic и call, расшифровка и резюме остаются. В окне настроек задается слайдером
  • TRANSCRIPTION_PROMPT_FILE - файл с промптом для ASR (необязательно): передается в поле prompt запроса audio/transcriptions, подходит для имен, терминов и стиля расшифровки
  • SUMMARY_PROMPT_FILE - файл с системным промптом для резюме (необязательно): заменяет встроенный
  • ASR_ENGINE - чем распознавать речь: openai (по умолчанию, через API) или handy (локально, см. ниже)
  • HANDY_MODEL - id модели Handy (необязательно, по умолчанию модель, выбранная в Handy)
  • HANDY_PATH - путь к исполняемому файлу Handy (необязательно, на macOS по умолчанию /Applications/Handy.app/Contents/MacOS/handy или то же в ~/Applications, на Windows обязателен)

Промпты можно выбрать и отредактировать в окне настроек (кнопка "Изменить..."). Если файл не задан, редактор создаст его в ~/.config/konspekt/; для промпта саммари в нем будет встроенный промпт.

Файлы промптов читаются при каждом запросе, перезапуск после правки не нужен. Пустой файл означает поведение по умолчанию. Если файл недоступен, обработка завершится ошибкой и ее можно повторить через retry.

Локальное распознавание через Handy

Вместо ASR-сервиса речь можно распознавать установленным приложением Handy: Konspekt вызывает его в консольном режиме (handy -f <wav> --json) для каждого фрагмента записи. Нужна модель, уже скачанная в Handy, для русского языка подходит GigaAM v3.

В окне настроек выберите "Распознавание речи: Handy (локально)", кнопка "Загрузить модели" покажет скачанные модели Handy. Или в .env:

ASR_ENGINE=handy
HANDY_MODEL=handy-computer/gigaam-v3-ctc-gguf/gigaam-v3-ctc-Q8_0.gguf

Список id моделей: /Applications/Handy.app/Contents/MacOS/handy --list-models --json.

В этом режиме OPENAI_MODEL_NAME и OPENAI_API_KEY не нужны, промпт транскрибации не используется, а API нужен только для резюме. Для полностью локального режима укажите в OPENAI_BASE_URL локальный OpenAI-совместимый сервер (например, Ollama http://localhost:11434/v1 или LM Studio http://localhost:1234/v1) и его модель в SUMMARY_MODEL_NAME; ключ можно оставить пустым.

Удаление

scripts/install.sh --uninstall

Скрипт останавливает агент, удаляет LaunchAgent и ~/Applications/Konspekt.app. Конфигурация ~/.config/konspekt и записи в ~/Documents/Konspekt сохраняются.

Windows

Требования: Windows 10 2004 или новее (нужен захват звука отдельного процесса), десктопное приложение Яндекс Телемост. Звонки в браузере не записываются, как и на macOS.

Звук звонка пишется только из процесса YandexTelemost.exe и его дочерних процессов, микрофон - с устройства ввода по умолчанию. Разрешения не запрашиваются.

Установка из релиза

Скачайте Konspekt-windows.zip из GitHub Releases, распакуйте в любую папку и запустите KonspektTray.exe. В трее появится значок; при первом запуске откроется файл настроек в Блокноте. Заполните его и сохраните: демон запустится сам. Автозапуск включается в меню значка ("Запускать при входе в Windows").

Сборка и установка из исходников

Нужны Swift для Windows 6.1 или новее и Visual Studio Build Tools с компонентами MSVC и Windows SDK.

scripts\install-windows.ps1

Скрипт собирает приложение (scripts\build-windows.ps1), копирует его в %LOCALAPPDATA%\Programs\Konspekt, копирует .\.env в %APPDATA%\Konspekt\.env (если там еще нет файла), включает автозапуск и запускает значок в трее.

Удаление: scripts\install-windows.ps1 -Uninstall. Конфигурация и записи сохраняются.

Отличия от macOS

  • Вместо окна настроек - значок в трее: запуск и остановка демона, автозапуск, последние звонки, папка записей, лог. Пункт "Настройки..." открывает .env в Блокноте; после сохранения файла демон перезапускается сам (если не идет запись).
  • Конфигурация: %APPDATA%\Konspekt\.env, ключи те же.
  • Записи: mic.wav и call.wav вместо .caf, папка по умолчанию - Документы\Konspekt.
  • Лог: %LOCALAPPDATA%\Konspekt\konspekt.log.
  • Командная строка: konspekt.exe status | retry | process <dir> из папки установки.

About

Приложение для транскрипции звонков в Яндекс Телемост

Topics

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages