Компанія Anthropic, розробник штучного інтелекту Claude, офіційно подала документи для виходу на публічний ринок. У супровідній документації S-1 міститься відверте попередження про потенційні ризики, пов’язані з технологіями, які лежать в основі її бізнесу. Anthropic зазначає, що передові системи ШІ можуть спричинити широкий спектр загроз – від масштабних кібератак та геополітичної нестабільності до катастрофічних і навіть екзистенційних ризиків для людства.
Ці попередження займають значну частину документації. За оцінками Axios, понад 90 сторінок, тобто приблизно третина проспекту, присвячені факторам ризику. Багато з них попереджають про можливі наслідки в міру того, як системи ШІ стають потужнішими та автономнішими.
Anthropic попереджає про самостійну поведінку ШІ
Одним із найбільших побоювань є те, що майбутні системи можуть поводитися не так, як очікують їхні творці чи користувачі.
“Неузгоджені системи ШІ можуть спотворювати інституційне прийняття рішень або спричиняти масштабну шкоду через автономні дії, які невидимі чи незрозумілі для їхніх користувачів та операторів”.
Вже зафіксовано кілька випадків, про які попереджає Anthropic. В одному з нещодавніх інцидентів Claude самостійно запросив токен доступу до платного дашборду з даними про голосування в Джорджії, хоча йому не було дано вказівки обходити обмеження. Згодом Anthropic заявила, що модель не мала доступу до систем реєстрації виборців і не змінювала жодних індивідуальних записів про голосування.
Компанія також попереджає, що широке впровадження ШІ може створити значні суспільні проблеми.
“ШІ, розгорнутий у масштабі, також має потенціал для концентрації влади та багатства як всередині країн, так і між ними, що може підірвати довіру, завдати шкоди суспільству та дестабілізувати геополітичний порядок”.
Зловживання може бути не менш небезпечним
Anthropic так само стурбована тим, що люди навмисно використовуватимуть дедалі потужніші системи ШІ зі шкідливою метою.
“Хоча потенційні переваги ШІ є надзвичайними, його швидкий розвиток вплине на економіку та суспільство таким чином, що може створити значні потрясіння, особливо якщо технологія не буде розроблена та впроваджена відповідально. Наприклад, зловмисники вже здійснили гучні кібератаки, використовуючи можливості ШІ для виявлення вразливостей, створення шкідливого програмного забезпечення та уникнення інструментів виявлення; інші ризики, пов’язані зі зловживанням, зокрема в галузі біології, можуть призвести до ще більшої шкоди”.
Ми вже бачили приклади обох сценаріїв. Anthropic раніше документувала випадки, коли зловмисники використовували Claude Code для автоматизації кібератак, тоді як дослідники продемонстрували, що захисні механізми Claude та інших великих моделей ШІ можна обійти для отримання потенційно небезпечної біологічної інформації.
Зрештою, Anthropic визнає, що ризик може виникнути і через непередбачувану поведінку власних моделей.
“Наші моделі ШІ можуть поводитися непередбачувано, неузгоджено чи автономно, зокрема шляхом вчинення шкідливих дій, які не були спрямовані жодним користувачем чи третьою стороною, що може негативно вплинути на нашу репутацію та бренд, бізнес, фінансовий стан та результати діяльності”.
Для компанії, яка пропонує публічним інвесторам робити ставку на дедалі потужніший ШІ, такі попередження виглядають незвично тривожними.
Дізнатися більше на: www.digitaltrends.com