Новые пути уменьшения энергопотребления моделей искусственного интеллекта
С целью поиска новых возможностей для развития искусственного интеллекта, Лаборатория Линкольна направила свои усилия на уменьшение потребления энергии моделями ИИ. Их работа направлена на создание эффективных методов обучения моделей, уменьшение использования электроэнергии и внедрение прозрачности в сфере энергопотребления.
Авиационная промышленность начала предоставлять оценки выбросов углерода во время полетов при онлайн-поиске рейсов, поощряя пользователей учитывать влияние на окружающую среду. Однако такая прозрачность еще не распространилась в компьютерном секторе, где энергопотребление ИИ-моделей превышает энергопотребление всей авиационной отрасли. Растущий размер моделей ИИ, как в случае ChatGPT, свидетельствует о тенденции использования искусственного интеллекта большого масштаба, предполагая, что к 2030 году центры обработки данных будут потреблять до 21% мировой электроэнергии.
Суперкомпьютерный центр Лаборатории Линкольна (LLSC) Массачусетского технологического института предпринимает инновационные шаги по сокращению потребления энергии. Ученые из LLSC исследовали разные подходы: от ограничения мощности оборудования до раннего прекращения обучения искусственному интеллекту без существенного ущерба для производительности модели. Их цель заключается не только в энергоэффективности, но и в обеспечении прозрачности в этой сфере.
Одно из направлений исследований LLSC сосредоточено на ограничениях мощности графических процессоров (GPU). Изучая влияние ограничения мощности, они отметили снижение энергопотребления на 12-15% при увеличении времени выполнения задач на незначительные 3%. Внедрение этого вмешательства в их системы привело к охлаждению GPU, что способствовало стабильности и долговечности его работы, а также уменьшило нагрузку на системы охлаждения.
Кроме того, LLSC разработал программное обеспечение, которое интегрирует возможности ограничения мощности в широко используемую систему планирования задач Slurm, что позволяет пользователям без особого труда устанавливать ограничения для всей системы или для каждой задачи по отдельности.
Подход LLSC не только экономит энергию, но и уменьшает углеродный след центра, откладывая время замены оборудования и уменьшая общее влияние на окружающую среду. Их стратегическое планирование работы также минимизирует потребности в охлаждении благодаря выполнению задач в не пиковое время.
В сотрудничестве с Северо-Восточным Университетом, LLSC представил комплексную систему для анализа углеродного следа высокопроизводительных вычислительных систем. Эта инициатива позволяет специалистам оценивать устойчивость системы и эффективно планировать модификации для будущих систем.
Их усилия выходят за пределы работы центра обработки данных, углубляясь в разработку модели ИИ. LLSC исследует способы оптимизации конфигураций гиперпараметров, прогнозируя производительность модели на ранней стадии обучения, чтобы сократить энергоемкие процессы в режиме проб и ошибок.
Также LLSC вместе с Северо-Восточным университетом разработали оптимизатор для выбора наиболее энергоэффективных комбинаций аппаратного обеспечения для моделирования, что потенциально может снизить потребление энергии на 10-20%.
Несмотря на достигнутые успехи, на пути к созданию улучшенной компьютерной экосистемы все еще остаются препятствия. Команда LLSC выступает за более широкое внедрение энергосберегающих практик в промышленности и прозрачность в отчетности о потреблении энергии. Открывая доступ к вычислительным инструментам с учетом энергосбережения, LLSC позволяет разработчикам и центрам обработки данных принимать обоснованные решения и уменьшать свой углеродный след.
Их текущая работа подчеркивает необходимость этических соображений относительно влияния ИИ на окружающую среду. Новаторские инициативы LLSC прокладывают путь к созданию более сознательной и энергоэффективной сферы искусственного интеллекта, направляя внимание на развитие эколого-ориентированных практик.