TRIBLYИИ-бот в чатах (botai)
botai — системный бот-ассистент в переписке: ему задают вопрос, просят пересказать обсуждение или объяснить непонятное. Он отвечает текстом в том же чате.
Подключение модели
Бот начинает отвечать после подключения модели: администратор с правом настраивать ИИ указывает адрес модели и ключ доступа, затем включает бота. В настройках есть кнопка, которая проверяет соединение с моделью.
Подключить можно любую модель с OpenAI-совместимым интерфейсом — как облачный сервис, так и модель, поднятую на своём железе.
Функции, которым нужна модель
После подключения модели начинают работать и функции, которые на неё опираются:
- ответы
botaiв чатах; - краткий пересказ длинного сообщения;
- сводка чата за день;
- ИИ-анализ сообщений гостей («ИИ советник» в настройках канала);
- ИИ-сводка карточки на канбан-доске;
- личный ИИ-секретарь, если у него не заданы собственные параметры модели (тогда он берёт их у бота).
Выключение бота останавливает и эти функции: ИИ-анализ сообщений гостей прекращается сразу, настройки каналов при этом сохраняются, а рядом с тумблером «ИИ советник» появляется предупреждающий значок.
Объём переписки в контексте
Бот отвечает с учётом предыдущей переписки в этом чате (или в этой теме, если вопрос задан внутри темы).
Каждая модель принимает ограниченный объём текста за раз. Сервер узнаёт этот объём у самой модели, вычитает из него место под системные указания, ваш вопрос, вложения и будущий ответ, а остаток заполняет перепиской — от свежих сообщений к старым, пока хватает места. У моделей с большим объёмом в контекст попадают сотни сообщений, у скромных — десятки.
В историю идут сообщения людей и ответы бота; очень длинные сообщения и содержимое вложений урезаются, чтобы одно сообщение оставило место остальным.
Для нестандартной модели объём задаётся вручную переменной окружения AI_CONTEXT_TOKENS.
Веб-поиск
Для ИИ-бота и для секретаря доступен поиск в интернете. В поставке идёт свой поисковый сервис — ключ ему не нужен, поиск работает сразу. Если администратор переключит поиск на внешнюю службу, ей потребуется ключ доступа.
Учёт обращений к модели
Каждый ответ модели учитывается: сколько текста ушло в запрос и вернулось в ответе и во сколько это обошлось по ценам вашего поставщика. Это ваша расходная сводка: ключ к модели ваш, и платите за неё вы напрямую поставщику.
Смежные страницы: «Личный ИИ-секретарь», «Боты и Bot API», «Голосовые, видео, распознавание и озвучка».