Привет, Хабр! Это Eppie – p2p децентрализованная почта. У нас новости: мы добавили в Eppie ИИ. Сейчас расскажем, зачем, и как им пользоваться.
Локальный ИИ == приватный ИИ
Иногда ради безопасности пользователю приходится мириться с некоторыми неудобствами: короткий пароль удобнее длинного, но длинный надежнее. Люди естественным образом стремятся к удобству. И если длину пароля можно валидировать, и к этому все привыкли, то в других местах ожидать от пользователя больших жертв во имя безопасности не приходится.
Так вот, до недавнего времени мы не понимали, как в децентрализованной почте реализовать функции, к которым нас приучили современные почтовые сервисы: семантический поиск, умная сортировка, надежный спам-фильтр и прочее. Это все отличные изобретения, без которых сегодня уже трудно представить себе конкурентоспособный почтовый сервис. Проблема в том, что эта функциональность реализована благодаря клиент-серверной архитектуре – которая, по нашему мнению, и есть корень зла, от которого Eppie изо всех сил стремится уйти. Сервер должен подсмотреть содержание вашего письма, чтобы присвоить ему тег, отправить в спам или что-то в нем найти. В Eppie сервера нет, письма зашифрованы – и во всей сети нет такого элемента, который мог бы взять на себя эту работу. Получается очень приватная почта – с довольно ограниченными возможностями. Решение вдруг пришло от ИИ. Но без сервера.
В недавнем обновлении мы встроили в Eppie возможность подключать локальные модели ИИ. Фильтровать спам, предупреждать о попытке фишинга, отделять технические уведомления от сообщений живых пользователей, переводить и помогать писать письма в Eppie будет ИИ. Только вы никому не показываете письма, все работает локально, на вашем компьютере. Eppie от этого станет только безопаснее, и не придется жертвовать никакими удобствами.
Сейчас мы на этапе proof of concept. Функциональность пока самая базовая: скачиваешь уже обученную языковую модель, даешь ей задание, например, «переводи все письма с английского на русский» – получается простой ИИ агент, который по запросу обрабатывает входящие и генерит, если надо, ответы. Самое интересное – это сам промпт, который вы создаете.
Главная новость – это можно уже попробовать в свежей сборке. Сейчас расскажем, как.
Как настроить ИИ агента
Установите AI Dev Gallery Preview. Это приложение Microsoft для разработчиков ИИ. Оно позволяет скачивать ИИ модели из репозиториев комьюнити Hugging Face и с GitHub.
1. В AI Dev Gallery во вкладке Models, выберите ИИ модель. Для начала смело качайте Phi 4 mini, первую в списке. В дальнейшем можно будет попробовать и другие – Eppie сейчас поддерживает: gemma, deepseek, llama, mistral, phi и qwen. Если вы уже погружены в тему, и хотите попробовать конкретную модель, нажмите + Add model и ищите в строке поиска.
Обратите внимание, на каком процессоре работает модель. Если у вас мощная видеокарта, выбирайте большие модели, работающие на GPU. Иначе ищите маленькие для CPU.
Можно не устанавливать AI Dev Gallery и качать модели руками с сайта (в этом случае обязательно укажите в поиске library – ONNX).
2. Зайдите в настройки и в разделе Model Cache посмотрите путь, куда скачиваются модели. Там же можно удалить ненужные модели.
Если будете качать модель с сайта, ее надо распаковать в папку с именем, в котором содержится название модели – сейчас Eppie пытается понять, что за модель загружена, по имени папки.
3. Откройте Eppie. ИИ поддерживается в версии 1.0.150.0 и выше. Свежий релиз можно скачать в Microsoft Store или на GitHub. Заходите в Identity Manager. Выберите Connect Service / Local AI Agent (Beta).
4. Выберите Import local AI model и укажите путь, куда вы скачали модель (прокликайте до самой глубоко вложенной папки). Выберите шаблон агента – давайте начнем с Sentiment Analyzer. Если хотите, можете изменить или дополнить промпт. Остальные настройки можно пока оставить.
Да, кстати, можно добавить несколько агентов с разными задачами.
5. В почтовом ящике выберите входящее письмо. В верхнем правом углу появится кнопка AI agent. Нажмите ее, выберите агента из списка и любуйтесь, как он выполняет поручение. Теперь у вас настроен ИИ агент, который будет работать локально, на вашем устройстве.
Чего же боле?
Итак, мы скормили письмо Татьяны к Онегину анализатору эмоций. Давайте попробуем написать ответ, и заодно посмотрим на дополнительные настройки.
Заходим снова в Identity Manager и подключаем нового агента. Давайте возьмем Email Composer. В принципе, пока не важно, что выбрать в меню шаблонов – важно, что мы напишем в промпте. Давайте попросим его писать ответы в жанре японских хокку.
Вот что у нас получилось (выбрали лучшее из двух десятков вариантов):
Селенье глубокой ночью,
Звезды светят одиноко,
Никто не с тобой.
Время течет, но я жду.
Кажется, надежда в лучах света.
Ты, святая, прости прости.
В тишине я жду.
Возможно, вы не услышали,
Но я здесь — ваша надежда.
Пришлось повозиться, чтобы получить что-то приличное, но и задача непростая.
Попробуйте подвигать параметры Top P, Top K, Temp. Коротко говоря, они отвечают за полет фантазии модели. Если выставить их слишком высоко, ИИ выдает нечитаемый мусор, низко – ответы предсказуемые. Где-то посередине можно добиться чего-то интересного.
Если привязать агента к конкретному почтовому ящику, он будет проделывать свою работу с каждым входящим письмом автоматически.
Меню Pre-processing и Post-processing позволяют соединить агентов в цепочки.
Не включайте пока Allow sending emails, а то агент иногда начинает переписываться сам с собой. Или воспользуйтесь тестовым почтовым ящиком, который не жалко.
Ну, вот, собственно, и все. Заходите на наш GitHub, качайте Eppie (агенты работают пока только в сборке UWP для Windows, но скоро выложим новые сборки для Linux и MacOS). Заводите issue и подписывайтесь.
Какие инструменты стоит добавить агентам? Например, возможность поиска в интернете, поддержку Model Context Protocol (MCP), или векторный поиск в письмах? Расскажите о своих впечатлениях. Спасибо!