ИИ позволит точно моделировать производительность систем хранения данных

© iStock

Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию систем хранения данных на основе генеративных моделей машинного обучения. Он позволяет с высокой точностью предсказывать ключевые характеристики работы таких систем при различных условиях. Результаты опубликованы в журнале IEEE Access.

Системы хранения данных играют важную роль в современном цифровом мире, отвечая за сохранность и оперативную доступность огромных объемов информации. Эти системы состоят из множества компонентов — контроллеров, дисков HDD и SSD, кеш-памяти, — которые совместно обеспечивают быструю и эффективную работу. Чтобы такие системы функционировали оптимально, важно точно прогнозировать их производительность при различных сценариях, например при изменении нагрузки.

Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию производительности систем хранения данных, который базируется на использовании генеративных моделей машинного обучения. Авторы предложили методику, позволяющую с высокой точностью предсказывать ключевые характеристики работы систем: количество операций ввода-вывода в секунду (IOPS) и задержку (latency).

Моделирование состоит из двух этапов. Сначала ученые собирают данные реальных измерений производительности системы при различных нагрузках и конфигурациях. Затем эти данные поступают в специальные генеративные модели: регрессионную модель CatBoost и модель нормализующих потоков (Normalizing Flow). CatBoost хорошо работает с табличными данными и точно предсказывает средние значения и отклонения производительности. Модель нормализующих потоков позволяет получить полное распределение возможных значений с учетом неопределенности и вариабельности данных.

Михаил Гущин

«Одно из важных преимуществ нашего метода — это то, что он не требует детального знания внутреннего устройства компонентов системы. Часто это невозможно из-за коммерческой тайны производителей. Вместо этого генеративные модели обучаются непосредственно на реальных измерениях. В нашем исследовании, например, мы обучили модель на примере 300 000 измерений. Такой подход позволяет сделать метод универсальным и применимым к любым типам систем хранения данных», — рассказывает автор исследования Михаил Гущин, старший научный сотрудник факультета компьютерных наук НИУ ВШЭ.

Точность предложенного подхода исследователи проверили с помощью закона Литтла — фундаментального принципа теории массового обслуживания. Результаты тестов показали высокую степень соответствия предсказаний реальным наблюдениям: ошибки прогнозирования IOPS составляют всего 4–10%, а задержки — 3–16%, при этом корреляция с наблюдаемыми значениями достигает 0,99.

Азиз Темирханов

«Предложенный нами подход открывает широкие перспективы для оптимизации и планирования работы центров обработки данных. Он позволяет заранее предсказывать поведение системы при изменении нагрузки, выявлять потенциальные проблемы производительности, оптимизировать энергопотребление. Кроме того, для точного моделирования не нужно проводить дорогостоящие физические эксперименты», — отмечает Азиз Темирханов, младший научный сотрудник Научно-учебной лаборатории методов анализа больших данных.

Код экспериментов, а также данные измерений производительности системы хранения данных выложены в открытый доступ.

Исследование выполнено в рамках проекта «Зеркальные лаборатории» НИУ ВШЭ по теме «Повышение эффективности центров обработки данных и систем хранения данных методами искусственного интеллекта».