Skip to content

Matvel007/Vtuber-Companion-RUS

Repository files navigation

VTuber Companion

🎭 Персональный AI-компаньон с Live2D персонажем, голосовым общением и памятью диалогов

English   ▶ Видео 1 ▶ Видео 2

Проект вдохновлён Open LLM Vtuber и Airi — русскоязычный VTuber-ассистент, который общается голосом, реагирует на речь и запоминает разговоры.


✨ Возможности

  • 🌐 Русский и английский — основной язык русский, но можно общаться и на английском
  • 🔊 TTS (синтез речи) — Silero, Edge TTS, pyttsx3, AImyvoice (нейросетевая озвучка ~1 ₽/мин)
  • 🎤 ASR (распознавание речи) — GigaAM v3
  • 💬 Wake word — активация по голосовой команде («мэй», «слушай», «ассистент» и др.) ⚠️ экспериментально
  • 🐾 Pet-режим — компактное окно с персонажем поверх других окон
  • 🎨 Live2D-модели — быстрая смена моделей, drag & drop папки, поддержка Cubism 4
  • 🖼️ Обои — быстрое добавление и смена фоновых изображений
  • 🧠 RAG-система — долгосрочная память: ассистент помнит тебя между сессиями
  • 👁️ Экранное зрение — распознавание содержимого экрана (wallpaper-режим)
  • 💅 Дизайн в стиле мессенджера — современный интерфейс с красивым CSS
  • 🖥️ Системный трей — автозапуск и сворачивание в трей
  • 🖱️ Режимы работы — desktop и pet

Скриншоты


🤖 LLM — языковые модели

Программа работает через два агрегатора API:

Агрегатор Сайт Примечание
RouterAI routerai.ru ✅ Используется по умолчанию
AItunnel aitunnel.ru Альтернатива, переключается в настройках

RouterAI — российский агрегатор с доступом к сотням моделей (GPT, Claude, Gemini, Grok, DeepSeek и др.) через один API-ключ. Без VPN, оплата рублями. Выбирается в настройках приложения, ключ вставляется там же.

Для RAG можно задать отдельную, более дешёвую модель.


🧠 RAG — долгосрочная память

Обычные чат-боты забывают всё после перезапуска. Здесь работает иначе:

После каждого диалога ИИ сам анализирует переписку и сохраняет важное в локальную базу данных. Каждая запись получает метку времени — ассистент знает, когда это было сказано, и может реагировать на давность: «мы давно не разговаривали», «ты говорил об этом на прошлой неделе».

Что сохраняется:

  • 📌 Факты — важные детали из разговора: имя, работа, увлечения, события
  • 📝 Резюме диалогов — краткое содержание прошлых бесед
  • 👤 Профиль пользователя — имя, возраст, пол, предпочтения; накапливается и обновляется

При каждом новом сообщении нужные записи автоматически достаются из базы и подставляются в контекст — ассистент «вспоминает» тебя без лишних вопросов.


🐾 Pet-режим

Компактное окно с персонажем, которое можно расположить в любом месте экрана:

  • 📐 Размер и масштаб — регулируется размер окна, чата и масштаб Live2D-модели внутри него
  • 📍 Закрепление позиции — зафиксируй окно в нужном месте, оно запомнит положение
  • 🔼🔽 Слои — модель и чат можно переставлять на передний или задний план независимо
  • 🔒 Блокировка — после настройки окно можно заблокировать, чтобы не сдвинуть случайно

🎨 Live2D-модели

  • Drag & drop — перетащи папку с моделью в приложение, она сразу появится в списке
  • Быстрая смена — переключение между моделями без перезапуска
  • ⚠️ Поддерживается только Cubism 4 (.model3.json). Более старые версии не работают

💅 Дизайн

Интерфейс выполнен в стиле современного мессенджера — тёмная тема, пузыри сообщений, плавные анимации. Всё сделано на чистом CSS без UI-фреймворков.


🚀 Запуск

Запусти run.bat — появится меню:

1. npm install              — установить зависимости Node.js (нужно только один раз)
2. Web dev                  — запустить в браузере для разработки (без Tauri, быстро)
3. Web preview              — собрать фронтенд и открыть финальную версию в браузере
4. Desktop dev + TTS/STT/RAG — полный запуск: Tauri-окно + голосовые сервера (основной режим)
5. Build release            — собрать установщик MSI + exe для дистрибуции
6. Build portable           — собрать один exe-файл без установщика (портативная версия)
7. Open output folder       — открыть папку с готовыми сборками
8. Exit                     — выйти из меню

Для первого запуска: выбери 1 → потом 4


⚙️ Настройка API-ключей

Скопируй .env.example в .env и заполни нужные ключи. Либо введи ключи прямо в интерфейсе приложения в разделе настроек.


📄 Лицензия и авторство

Проект создан полностью с помощью ИИ — от архитектуры до каждой строчки кода.

Открытый исходный код — бери, форкай, меняй под себя как угодно. Никаких ограничений.

По мере возможности будут выходить обновления с новыми функциями и исправлениями.

About

No description or website provided.

Topics

Resources

License

Stars

Watchers

Forks

Packages

 
 
 

Contributors