Платформа доступа к моделям ИИ в локальной среде
Предназначена для использования моделей генеративного ИИ в защищенном локальном режиме для автоматизации рутинных задач организации
Аннотация
Платформа разворачивается в инфраструктуре организации и представляет собой комплексный набор инструментов и сервисов, включающий: базовый или специально подобранный под требования заказчика набор больших генеративных моделей, интерфейсы для взаимодействия с пользователями, интеграцию платформы с существующими корпоративными данными организации.
Ценностное предложение
Локализованная в инфраструктуре организации платформа доступа к моделям ИИ для автоматизации выполнения рутинных задач и обеспечения безопасной работы с корпоративной информацией, исключающей возможность несанкционированного доступа к данным со стороны третьих лиц.
Области применения
- Органы власти (министерства и ведомства)
- Оборонно-промышленный комплекс
- Интеграторы ИТ-решений
Конкурентные преимущества
- Конфиденциальность корпоративной информации: исключение риска утечки корпоративных данных
- Гибкость и масштабируемость: индивидуальная адаптация платформы под оборудование и задачи заказчика, включая выбор оптимальных моделей ИИ и настройку интерфейса
- Минимизация влияния отказов оборудования на процесс вычислений
- Отсутствие скрытых платежей и оплаты за токены
Стадия разработки
- Разработана архитектура платформы, включая набор моделей ИИ, баз данных, фреймворков
- Проведены работы по выбору и интеграции генеративных моделей ИИ в комплексное программное решение
- Разработан пользовательский интерфейс доступа к моделям ИИ
- Проведено тестирование возможности интеграции платформы с корпоративными информационными системами
Архитектура платформы
Основные технические характеристики
Технические характеристики платформы:
| Характеристика |
Значение |
| Операционная система |
Linux |
| Фреймворк управления ресурсами и моделями ИИ |
vLLM |
| Мультимодальность |
работа с любыми моделями ИИ |
| Модуль интеграции с корпоративными данными |
векторные и реляционные БД, модуль графовой БД |
| Пользовательские веб-сервисы для доступа к ресурсам моделей |
есть |
Базовые требования к техническим характеристикам ИТ-инфраструктуры:
| Характеристика |
Значение |
| Объем видеопамяти |
от 24 Гб |
| Объем оперативной памяти сервера |
от 128 Гб |
| Объем дискового массива |
от 1 Тб |
Правовая охрана
- Свидетельство о государственной регистрации программы для ЭВМ № 2025693868
«Программный комплекс для организации мультипользовательского доступа к большим языковым моделям через веб-интерфейс»
- Свидетельство о государственной регистрации программы для ЭВМ № 2025697521
«Система контроля доступа к сессии высокопроизводительных вычислений с интеллектуальной диспетчеризацией GPU ресурсов»
- Свидетельство о государственной регистрации программы для ЭВМ № 2024685757
«Программный модуль для управления агентами вычислительного кластера в составе платформы данных и нейросетевых моделей»
- Свидетельство о государственной регистрации программы для ЭВМ № 2024686458
«Система оркестрации распределенными вычислительными ресурсами GPU для формирования среды управления экспериментами в области ML и ИИ»
Контакты
