Запуск рекомендательной системы на гибридной инфраструктуре

Обеспечили баланс между производительностью и стоимостью для рекомендательной системы с помощью гибридной архитектуры облако + on-prem.

<50ms
Латентность
−35%
Оптимизация TCO
50,000+
Запросов в секунду

Клиент и задача

E-commerce платформа, запускающая рекомендательную систему для персонализации контента.

Задача:

  • •Запустить recsys с низкой латентностью для обеспечения хорошего UX
  • •Обработать высокую и неравномерную нагрузку (пики в определённые часы)
  • •Оптимизировать TCO при гарантированной производительности

Ограничения:

  • •Критична низкая латентность (< 50ms) для пользовательского опыта
  • •Нагрузка сильно варьируется в течение дня и недели
  • •Необходимо обеспечить отказоустойчивость и масштабируемость

Решение

1

Проанализировали паттерны нагрузки: выявили базовую нагрузку и пиковые периоды

2

Спроектировали гибридную архитектуру: on-prem кластер для базовой нагрузки (предсказуемая, постоянная); облако для обработки пиков (эластичное масштабирование)

3

Настроили автоматическое переключение между on-prem и облаком в зависимости от нагрузки

4

Оптимизировали модели для снижения требований к вычислительным ресурсам без потери качества

5

Внедрили мониторинг латентности и автоматическое масштабирование

Результат

  • ✓Латентность стабильно держится ниже 50ms даже в пиковые периоды
  • ✓Снижение TCO на 35% по сравнению с полностью облачным решением
  • ✓Гарантированная производительность при любой нагрузке
  • ✓Возможность масштабирования без переплаты за неиспользуемые ресурсы

Технологии

Рекомендательные системы
Гибридная архитектура
Автомасштабирование
On-prem + Cloud
Мониторинг латентности

Хотите похожий результат под свою задачу?

Разберём вашу задачу и предложим оптимальное решение