Перенос инференса компьютерного зрения с облака на on-prem
Сократили ежемесячные расходы на аналитическое видеонаблюдение, перенёсши инференс моделей vision с облака на on-prem-кластер с GPU.
Клиент и задача
Сеть объектов с системой видеонаблюдения (ритейл, склады, производство), использующая облачный сервис аналитики видео.
Задача:
- •Обрабатывать видеопоток (детекция/классификация событий) в режиме, близком к реальному времени
- •Уменьшить ежемесячные платежи за облачный инференс
- •Сохранить или улучшить качество работы моделей
Ограничения:
- •Уже есть интеграция с облачным сервисом; нельзя остановить систему «надолго»
- •Требуются стабильные задержки и предсказуемая нагрузка
- •Нужна оценка срока окупаемости on-prem-решения
Решение
Собрали статистику: число камер, fps, разрешение, часы пиковой нагрузки, текущие расходы в облаке
Оценили варианты железа: одиночный сервер с несколькими GPU, несколько узлов меньшей мощности, гибрид (часть потоков остаётся в облаке)
Выбрали и спроектировали on-prem-кластер под нужные модели vision: рассчитали необходимое количество GPU, VRAM, storage, сеть; заложили резерв для роста
Организовали поэтапную миграцию: сначала часть камер, параллельный прогон облако/on-prem; затем полное переключение с возможностью fallback
Настроили мониторинг и алерты по производительности и качеству
Результат
- ✓Существенное снижение ежемесячных платежей за облачный инференс
- ✓Срок окупаемости закупки железа — менее 12 месяцев
- ✓Контроль и предсказуемость производительности (свои GPU, своя сеть)
- ✓Возможность расширять систему, не «сжигая» бюджет на облако
Технологии
Хотите похожий результат под свою задачу?
Разберём вашу задачу и предложим оптимальное решение