Керівники провідних ШІ-лабораторій підтримали заклик Anthropic сповільнити розвиток штучного інтелекту
Голова Anthropic Даріо Амодей закликав індустрію стримати темпи нарощування можливостей ШІ-моделей. Його підтримали Сем Альтман, Ілон Маск, Деміс Гассабіс і Сатья Наделла, тоді як Meta поки не приєдналася. Експерти вбачають у цьому класичну дилему в'язня, де співпраця вигідна всім, але кожен гравець має стимул зрадити.
Керівник компанії Anthropic, розробника чат-бота Claude, Даріо Амодей опублікував есе під назвою «We Must Pace the Frontier», у якому закликав індустрію штучного інтелекту сповільнити темпи нарощування можливостей ШІ-моделей. За його словами, швидкість розробки цього літа стала «радикально вищою», що створює ризики, які потребують свідомого стримування. Есе обсягом 3815 слів викликало несподівану реакцію серед конкурентів.
Головний виконавчий директор OpenAI Сем Альтман, чия компанія розробляє ChatGPT, заявив, що згоден із Амодеєм у необхідності стримувати темп розвитку технології та взяти зобов'язання щодо доступу до моделей незалежних оцінювачів. «Це чудова ідея, і ми зробимо те саме», — сказав він. Ілон Маск, керівник SpaceXAI, яка розробляє Grok, обмежився короткою фразою: «Даріо має рацію». Деміс Гассабіс, співзасновник Google DeepMind, розробника Gemini, також підтримав ініціативу, зазначивши, що есе «вказує на правильний шлях уперед», хоча деталі ще потребують опрацювання.
Згодом до дискусії долучився Сатья Наделла, керівник Microsoft, яка розробляє Copilot і MAI. Він заявив, що вітає «свідоме стримування темпу», потрібне для того, щоб узгодженість ШІ з людськими цілями (alignment) стала метою самого дизайну. Наделла також підтримав ідею незалежних оцінювачів і ширші зусилля з розробки механізмів, які зроблять це чимось більшим за розмови. Водночас заяв від Meta AI чи Mistral не було. Марк Цукерберг, керівник Meta, у своєму серпневому есе «The Future Is for Everyone» виступав проти того, щоб кілька компаній на кшталт Anthropic вирішували за всіх, що їм робити.
Попри безпрецедентну підтримку серед лідерів галузі, ситуація нагадує класичну дилему в'язня. У цій грі двоє затриманих спільників не можуть домовитися. Якщо обидва мовчать, кожен отримує мінімальне покарання. Якщо обидва зізнаються, обидва отримують суворіше покарання. Якщо ж один зізнається, а інший мовчить, зрадник виходить на волю, а мовчазний отримує максимальний термін. Раціонально мислячій людині завжди вигідніше зрадити, тому взаємна зрада стає єдиною стійкою рівновагою, хоча вона гірша для обох, ніж співпраця.
Якщо перенести цю модель на ШІ-лабораторії, то виграє все людство, якщо всі погодяться сповільнитися. Сповільнення дає Anthropic як лідеру додаткову перевагу, адже заморожує відрив, який компанія вже має. Наздоганяти того, хто зупинився, можна лише рухаючись швидше, а саме це забороняє домовленість. Але якщо хоча б один із ключових конкурентів, наприклад Meta, не дотримає обіцянки, ті, хто послухався, відстануть. Тоді раціональна стратегія самої Anthropic полягатиме в тому, щоб не слідувати власній пораді, особливо з огляду на підготовку до великого IPO. Рівновага за Нешем буде одна: всі побіжать далі, незважаючи на ризики для суспільства.
Але це лише перший рівень гри. Над ШІ-лабораторіями ту саму партію грають держави. Навіть якщо всі американські компанії домовляться сповільнитися, китайські компанії Moonshot AI, Zhipu AI, Alibaba, High-Flyer і MiniMax можуть не піти за ними. Сам Амодей визнав, що Китай є «найважчою дилемою» його пропозиції. Він написав: «якщо ми сильно стримаємо свої можливості, вірячи, що Китай зробить те саме, а потім Китай defects (зрадить), їх рівень ШІ може бути настільки потужним, що така зрада приведе до їхнього геополітичного домінування».
Теорія ігор пропонує кілька виходів із цієї пастки. По-перше, гру повторюють багато разів, і тоді репутація спільника починає мати значення, а зрада перестає бути безкарною. По-друге, може зрости прозорість рішень, коли наміри чи ходи гравців стають видимими або передбачуваними. По-третє, у грі може з'явитися зовнішній арбітр із правом карати гравців, що змінює структуру виграшів і робить зраду невигідною. Пропозиції Амодея поєднують усі три виходи: незалежні оцінювачі роблять обман видимим, координація між лабораторіями перетворює одноразову гру на повторювану, а зовнішній арбітр має карати порушників.
