Нові шляхи зменшення енергоспоживання моделей штучного інтелекту
З метою пошуку нових можливостей для розвитку штучного інтелекту, Лабораторія Лінкольна зосередила свої зусилля на зменшенні споживання енергії моделями ШІ. Їхня робота спрямована на створення ефективних методів навчання моделей, зменшення використання електроенергії та впровадження прозорості у сфері енергоспоживання.
Авіаційна промисловість почала надавати оцінки викидів вуглецю під час польотів при онлайн-пошуку рейсів, заохочуючи користувачів враховувати вплив на навколишнє середовище. Однак така прозорість ще не поширилася в комп'ютерному секторі, де енергоспоживання ШІ-моделей перевищує енергоспоживання всієї авіаційної галузі. Зростаючий розмір моделей ШІ, як у випадку ChatGPT, свідчить про тенденцію до використання штучного інтелекту великого масштабу, передбачаючи, що до 2030 року центри обробки даних споживатимуть до 21% світової електроенергії.
Суперкомп'ютерний центр Лабораторії Лінкольна (LLSC) Массачусетського технологічного інституту здійснює інноваційні кроки для скорочення споживання енергії. Вчені з LLSC досліджували різні підходи: від обмеження потужності обладнання до раннього припинення навчання штучного інтелекту без суттєвої шкоди для продуктивності моделі. Їхня мета полягає не лише в енергоефективності, а й у забезпеченні прозорості у цій сфері.
Один із напрямів досліджень LLSC зосереджений на обмеженнях потужності графічних процесорів (GPU). Вивчаючи вплив обмеження потужності, вони відзначили зниження споживання енергії на 12-15% при збільшенні часу виконання завдань на незначні 3%. Впровадження цього втручання в їхні системи призвело до охолодження GPU, що сприяло стабільності та довговічності його роботи, а також зменшило навантаження на системи охолодження.
Крім того, LLSC розробив програмне забезпечення, яке інтегрує можливості обмеження потужності в широко використовувану систему планування завдань Slurm, що дозволяє користувачам без особливих зусиль встановлювати обмеження для всієї системи або окремо для кожного завдання.
Підхід LLSC не лише економить енергію, але й зменшує вуглецевий слід центру, відтерміновуючи заміну обладнання та зменшуючи загальний вплив на навколишнє середовище. Їхнє стратегічне планування роботи також мінімізує потреби в охолодженні завдяки виконанню завдань у не піковий час.
Співпрацюючи з Північно-Східним університетом, LLSC представив комплексну систему для аналізу вуглецевого сліду високопродуктивних обчислювальних систем. Ця ініціатива дозволяє фахівцям оцінювати стійкість системи та ефективно планувати модифікації для майбутніх систем.
Їхні зусилля виходять за межі роботи центру обробки даних, заглиблюючись у розробку моделі ШІ. LLSC досліджує способи оптимізації конфігурацій гіперпараметрів, прогнозуючи продуктивність моделі на ранній стадії навчання, щоб скоротити енергоємні процеси в режимі спроб і помилок.
Також, LLSC разом із Північно-Східним університетом розробили оптимізатор для вибору найбільш енергоефективних комбінацій апаратного забезпечення для моделювання, що потенційно може зменшити споживання енергії на 10-20%.
Незважаючи на досягнуті успіхи, на шляху до створення покращеної комп’ютерної екосистеми все ще залишаються перепони. Команда LLSC виступає за ширше впровадження енергозберігаючих практик у промисловості та прозорість у звітності про споживання енергії. Відкриваючи доступ до обчислювальних інструментів з урахуванням енергозбереження, LLSC дає можливість розробникам та центрам обробки даних приймати обґрунтовані рішення та зменшувати свій вуглецевий слід.
Їхня поточна робота наголошує на необхідності етичних міркувань щодо впливу ШІ на навколишнє середовище. Новаторські ініціативи LLSC прокладають шлях до створення більш свідомої та енергоефективної сфери штучного інтелекту, спрямовуючи увагу на розвиток еколого-орієнтованих практик.