Екологія та навколишнє середовище

Новини, аналітика, статті, фото та відео

Що безпечніше для екології: навчання штучного інтелекту або п'ять автомобілів?

Що безпечніше для екології: навчання штучного інтелекту або п'ять автомобілів?

Область штучного інтелекту часто порівнюють з нафтовидобувної промисловістю: після видобутку та перероблення, дані, як і нафта, можуть стати дуже прибутковим товаром. Однак тепер стає очевидно, що ця метафора розширюється. Як і викопне паливо, процес глибокого навчання має великий вплив на навколишнє середовище. У новій роботі вчені з Массачусетського університету в Амхерсті провели оцінку життєвого циклу навчання кількох поширених великих моделей штучного інтелекту.

З'ясувалося, що в результаті цього процесу може виділятися понад 626 000 фунтів (близько 300 000 кг) в еквіваленті вуглекислого газу, що майже в п'ять разів перевищує викиди типового автомобіля за п'ять років (включаючи виробництво самого автомобіля).

Це дивовижне кількісне визначення того, що дослідники штучного інтелекту давно вже запідозрили.

«Хоча багато хто з нас думають про це на абстрактному, розмитому рівні, цифри демонструють масштаб проблеми. Ні я, ні інші дослідники, з якими я їх обговорював, не думали, що вплив на навколишнє середовище буде настільки значним», говорить Карлос Гомес-Родрігес, фахівець з інформатики в Університеті Ла-Корунья в Іспанії, який не брав участі в дослідженні.

В роботі особливо розглядається процес навчання моделі для обробки природної мови (NLP), підполя штучного інтелекту, який займається навчанням машин для роботи з людською мовою. За останні два роки спільнота NLP досягла декількох важливих етапів в області машинного перекладу, завершення пропозицій та інших стандартних завдань оцінки. Сумнозвісна модель OpenAI GPT-2, як приклад, досягла успіху в написанні переконливих підроблених новинних заміток.

Але такі досягнення потребували навчання все більших моделей на розтягнутих наборах даних з пропозицій, витягнутих з Інтернету. Цей підхід в обчислювальному відношенні є дорогим та дуже енергомістким.

Дослідники розглянули чотири моделі в області, відповідальні за найбільше стрибання в продуктивності: Transformer, ELMo, BERT та GPT-2. Вони навчали кожну з них на одному графічному процесорі протягом дня, щоб виміряти споживану потужність.

Потім вони взяли кількість годин навчання, вказану в початкових документах моделі, для розрахунку загальної енергії, спожитої за весь процес навчання. Це кількість перевели в еквівалент фунтів двоокису вуглецю, який відповідав структурі енергоспоживання AWS від Amazon, найбільшого постачальника хмарних послуг.

З'ясувалося, що обчислювальні та екологічні витрати на навчання росли пропорційно розміру моделі, а потім збільшувалися багаторазово, коли налаштовувалася кінцева точність моделі. Пошук нейронної архітектури, який намагається оптимізувати модель шляхом поступової зміни структури нейронної мережі за рахунок проб та помилок, несе надзвичайно високі витрати при невеликому виграші в продуктивності. Без нього найдорожча модель BERT залишила вуглецевий слід у 1400 фунтів (635 кг), що близько до Трансамериканського перельоту в обидва кінці.

Більш того, ці цифри слід розглядати лише як базові лінії.

«Навчання однієї моделі — це мінімальний обсяг роботи, який ви можете зробити. На практиці ж набагато більш імовірно, що дослідники штучного інтелекту розроблять нову модель з нуля або адаптують ту, що існує, що потребують ще багато циклів навчання та настройки», каже Емма Струбелл, провідний автор роботи.

В цілому, за підрахунками вчених, процес створення та тестування остаточної моделі, гідної публікації, зажадав навчання 4789 моделей за шість місяців. У перерахунку на еквівалент CO2 це близько 35 000 кг.

Значущість цих чисел колосальна, особливо якщо враховувати поточні тенденції в дослідженнях штучного інтелекту. В цілому, дослідження в галузі штучного інтелекту нехтують ефективністю, оскільки великі нейронні мережі визнані корисними для різних завдань, та компанії, що мають необмежені обчислювальні ресурси, будуть використовувати їх для отримання конкурентної переваги. Але для клімату це буде не дуже добре.

На цьому поки все. Та не забувайте поділитися прочитаним зі своїми друзями!


Останні публікації

Підпишись на новинки