Российские исследователи обновили библиотеку DeepPavlov

Российская библиотека DeepPavlov с открытым исходным кодом получит новые инструменты для работы с ИИ. Ученые из МФТИ...

Российская библиотека DeepPavlov с открытым исходным кодом получит новые инструменты для работы с ИИ. Ученые из МФТИ, MWS AI (входит в «МТС Web Services»), института AIRI, университета ИТМО и AI Talent Hub представили инструменты, которые войдут в новую версию DeepPavlov — библиотеки для разработки и тестирования систем обработки естественного языка.

DeepPavlov — разработанная в России открытая библиотека для создания диалоговых систем и чат-ботов. Она включает готовые модели и инструменты для практических задач обработки естественного языка: понимания пользовательских запросов, поиска ответов в текстах, классификации, работы с тональностью и сборки более сложных сценариев общения. Библиотеку можно адаптировать под конкретные бизнес-задачи, используя как предобученные модели, так и собственные данные.

В опубликованной исследователями статье описаны три новых компонента: классификатор токсичности, детектор контекстных галлюцинаций и классификатор evergreen-вопросов — то есть вопросов, ответы на которые не устаревают со временем. Инструменты предназначены для решения задач, которые стали особенно актуальны с распространением больших языковых моделей.

«Описанные в статье инструменты позволят повысить надёжность и достоверность ответов больших языковых моделей, при этом обеспечивая более высокие метрики и существенно повышая скорость работы по сравнению с базовыми решениями», — сказал Максим Савкин, младший научный сотрудник лаборатории нейронных систем и глубокого обучения Института искусственного интеллекта МФТИ, младший научный сотрудник института AIRI.

Детектор галлюцинаций помогает находить в ответе модели фрагменты, не подтвержденные переданным контекстом, что наиболее важно для сценариев с RAG, где итоговое качество зависит не только от самой модели, но и от всей инфраструктуры вокруг нее. Классификатор evergreen-вопросов определяет, относится ли конкретный вопрос к числу тех, ответы на которые не устаревают со временем, или для него требуется внешний поиск. Это позволяет не подключать RAG там, где он не требуется, снижая задержку и риск ухудшения ответа из-за нерелевантного контекста. Классификатор токсичности служит дополнительным инструментом контроля безопасности.

«С технической точки зрения DeepPavlov 1.1 можно будет встраивать в существующие решения как отдельный микросервис. Фреймворк поддерживает работу с несколькими языками и может подключаться к внешним системам по API. Это упрощает его интеграцию в уже существующие LLM- и RAG-пайплайны», — отметил инженер-исследователь MWS AI Тимур Ионов.

Адрес новости:
https://open.cnews.ru/news/line/2026-04-08_rossijskie_issledovateli