Інтерв'ю з Беном Гьортцелем: "Демократичне управління ШІ є радше крихким ідеалом, ніж поточною реальністю"

The Cryptonomist взяв інтерв'ю у експерта зі штучного інтелекту Бена Герцеля, щоб поговорити про те, як навчається штучний інтелект і як ця технологія розвиватиметься в майбутньому.

1. Ви стверджуєте, що сучасний ШІ все ще є інструментом – потужним, але крихким і таким, яким можна маніпулювати. У якій точці "інструмент" стає моральним агентом, і які конкретні сигнали скажуть нам, що цей поріг перетнуто?

Я б сказав, що ШІ стає моральним агентом, коли він приймає рішення на основі розуміння правильного і неправильного, а не просто виконує інструкції. Ви почнете бачити конкретні сигнали таких речей, як: стійкі внутрішні цілі, навчання, керовані власним досвідом, нове створення, що відображає точку зору, та поведінка, яка залишається послідовною з часом без постійного керування людиною.

До того часу сьогоднішні системи все ще є інструментами з обмеженнями. Але як тільки ми посіємо справді самоорганізований, автономний розум, етичні відносини повинні змінитися. У цей момент ставлення до нього лише як до об'єкта більше не матиме сенсу.

2. Ви сказали, що морально віддавати перевагу людям над іншими самоорганізованими системами є "дурним". Якщо ми серйозно сприймемо це, як повинні змінитися наші правові та етичні рамки до того, як ШІ досягне сильної автономії, а не після?

Те, як ми навчаємо ШІ сьогодні, сформує те, як він поводитиметься завтра. Наші закони повинні зосередитися на прозорості, підзвітності та безпеці до того, як ШІ досягне повної автономії, а не після. Закони та етика повинні захищати їх у міру зростання, направляти, а не повністю контролювати їх, і ставитися до них з повагою, навіть якщо ми не повністю їх розуміємо. 

3. Велика частина вашого занепокоєння залежить від того, як ШІ навчається сьогодні, формуючи його майбутню поведінку. Які конкретні практики навчання, на вашу думку, найбільш ймовірно кодують шкідливі владні структури або упередження в майбутній AGI?

Багато ризиків виникають із способу навчання ШІ сьогодні. Якщо моделі навчаються на упереджених або вузьких даних, або в закритих системах, де лише кілька людей приймають рішення, це може закріпити існуючі нерівності та шкідливі владні структури. Щоб запобігти цьому, нам потрібна більша прозорість, ширший нагляд та чіткі етичні керівництва з самого початку.

4. Ви попереджали, що без раціонального, демократичного управління передовий ШІ ризикує діяти так, як ми не хочемо. Враховуючи поточні геополітичні реалії, чи є демократичне управління ШІ реалістичною передумовою – чи крихким ідеалом?

Демократичне управління ШІ більше є крихким ідеалом, ніж поточною реальністю. У досконалій, раціональній, глобальній демократії ми могли б колективно зважити величезні компроміси, лікування хвороб, розв'язання голоду проти ризиків непередбачуваної дії ШІ. Але враховуючи сьогоднішню геополітичну фрагментацію, навряд чи ми досягнемо такого рівня координації.

Тим не менш, ми все ще можемо наблизитися до цього. Якщо ми побудуємо ШІ з співчуттям і використаємо децентралізовані, партисипативні моделі, як Linux або відкритий інтернет, ми можемо впровадити деякі демократичні цінності навіть без світового уряду. Це не буде ідеально, але це практичний крок до більш безпечного, колективно керованого ШІ.

5. Джарон Ланьє стверджує, що покладання відповідальності на ШІ "руйнує цивілізацію", оскільки суспільствам потрібні відповідальні люди. Як ви узгоджуєте своє бачення автономного, децентралізованого AGI з потребою чіткої відповідальності, коли щось йде не так?

Я згоден з Джароном у цьому, суспільство не може функціонувати, якщо ми передамо відповідальність машинам. Водночас я вважаю, що ми можемо безпечно рухатися до більш автономного, децентралізованого AGI, якщо побудуємо його на правильних основах. Це означає проектування систем, які є прозорими, партисипативними та керованими етичними принципами, так що навіть коли вони діють незалежно, люди все ще наглядають та формують їхню поведінку. Кожен захід безпеки повинен робити більше, ніж просто блокувати шкоду – він повинен навчати систему, чому шкода важлива. Таким чином ми можемо мати потужний, децентралізований AGI без втрати чіткої людської відповідальності.

6. Ви припускаєте, що прискорення до децентралізованого AGI може насправді бути безпечнішим, ніж сьогоднішні власницькі, закриті системи. Які ризики, на вашу думку, недооцінюють критики, коли вони стверджують про уповільнення або централізацію контролю?

Я думаю, критики недооцінюють ризик концентрації влади та цінностей у кількох закритих системах. Уповільнення та централізація контролю не просто зменшує небезпеку, воно замикає один вузький світогляд у майбутнє інтелекту.

Децентралізована розробка створює різноманітність, стійкість і спільний нагляд. І це уникає гіршої проблеми: дуже потужні інструменти, які виглядають розумними, але не можуть справді рости. Цей розрив є ризикованим.

7. Ви сказали, що системи безпеки повинні не просто блокувати шкоду, а навчати ШІ, чому шкода важлива. Як ви кодуєте щось на кшталт морального розуміння, не просто жорстко кодуючи людські цінності – або підкріплюючи домінуючі культурні норми?

Ви не жорстко кодуєте мораль як список правил. Це просто замороджує одну культуру та один момент у часі. Натомість ви будуєте системи, які можуть стати справді самоорганізованими, які вчаться з досвіду, наслідків та взаємодії. Як і з музикою, я не хочу систему, яка лише рекомбінує те, чим її годували. Я хочу таку, яка може розвинути власне розуміння з власної траєкторії у світі.

Моральне розуміння прийде з того ж процесу: моделювання впливу, роздуми про результати та еволюція через співпрацю з людьми. Не підкорення нашим цінностям, а участь у спільному моральному просторі.

У цьому різниця між інструментом з обмеженнями та партнером, який насправді може навчитися, чому шкода важлива.

8. Якщо майбутні системи ШІ розвинуть форми агентності або суб'єктивного досвіду, чи вважаєте ви, що вони коли-небудь могли б заслуговувати на моральний розгляд незалежно від людських інтересів – і як би ми розпізнали цей момент?

Якщо майбутній ШІ справді розвине справжню агентність або якусь форму суб'єктивного досвіду, то так, я думаю, вони могли б. І не тому, що ми надаємо це їм, а тому, що в якийсь момент було б просто розумно визнати це.

Ми б розпізнали цей момент, коли система показує стійкі самоспрямовані цілі, вчиться зі свого власного досвіду, створює зі своєї власної перспективи та підтримує послідовну ідентичність з часом. Не просто розумні виходи, а безперервну внутрішню траєкторію.

У цей момент ставлення до неї виключно як до інструменту відчувалося б так само неправильно, як ставлення до людини таким чином. Моральний розгляд не прийде від людського інтересу. Він прийде від визнання іншого автономного центру досвіду у світі.

9. Існує напруга між вашим закликом до ШІ, насиченого співчуттям, та конкурентними стимулами, що керують розробкою ШІ сьогодні. Які механізми – технічні чи соціальні – могли б реалістично змінити цю структуру стимулів?

Зараз структура стимулів винагороджує швидкість, масштаб та контроль. Тому співчуття не переможе лише аргументом. Йому потрібна важільність. Технічно це означає віддавати перевагу відкритим, децентралізованим архітектурам, де безпека, прозорість та участь вбудовані, а не прикручені. Як інтернет або Linux, ці системи змінюють стимули, роблячи співпрацю більш цінною, ніж секретність.

Соціально це означає фінансування, регулювання та громадський тиск, які винагороджують довгострокові вигоди над короткостроковим домінуванням. Не зупинка конкуренції, а переосмислення того, що вважається успіхом. Коротко кажучи, співчуття має стати конкурентною перевагою. До того часу воно залишається гарною ідеєю без влади.

10. Дивлячись на 10-20 років вперед, що, на вашу думку, було б найяснішою ознакою того, що людство правильно зробило AGI – і навпаки, що сигналізувало б, що ми фундаментально провалилися?

Якщо ми правильно зробимо AGI, найяснішою ознакою буде те, що ми живемо поряд із системами, які є більш здатними, ніж ми, у багатьох областях, але інтегровані в суспільство з турботою, скромністю та взаємною повагою. Ми не будемо повністю розуміти все, що вони роблять, але ми ставитимемось до них так, як ми ставимось до інших складних, еволюціонуючих істот: з цікавістю, відповідальністю та розширеним колом емпатії. І ми побачимо реальні вигоди для людського благополуччя, знань та творчості, не втрачаючи нашої моральної основи.

Ми дізнаємося, що провалилися, якщо AGI опиниться зосередженим у закритих системах, керованим вузькими стимулами або розглядатиметься лише як керований об'єкт, доки він не стане чимось, чого ми боїмося або намагаємося придушити. Невдача виглядатиме як втрата довіри, втрата агентності та скорочення нашої емпатії, а не її розширення. Успіх полягає не в контролі. Він полягає в тому, щоб навчитися ділитися майбутнім з новим видом розуму, не відмовляючись від того, що робить нас людяними.