- Michael Wooldridge попереджає, що комерційний тиск у гонитві за ШІ може підвищити ризик інциденту на кшталт катастрофи Гінденбурга.
- У матеріалі йдеться про непередбачувані помилки чатботів і здатність давати впевнені відповіді навіть за наявності неточностей.
- Forbes описує проблеми hallucinations і «black box», а також підхід AI interpretability для кращого розуміння поведінки моделей.
Гонитва за виведенням штучного інтелекту на ринок підвищує ризик інциденту на кшталт катастрофи дирижабля Гінденбург, який може підірвати довіру до технології. Про це заявив Michael Wooldridge, професор ШІ в Oxford University, у матеріалі The Guardian.
Wooldridge пов’язує небезпеку з комерційним тиском на компанії, які прагнуть випустити нові інструменти ШІ до того, як повністю з’ясовані їхні можливості та потенційні вади. Він також вказує, що зростання кількості чатботів із захисними обмеженнями, які легко обійти, демонструє пріоритет стимулів ринку над більш обережним розвитком і тестуванням безпеки.
За даними The Guardian, Wooldridge назвав ситуацію «класичним сценарієм для технологій» і сказав, що ризик «моменту Гінденбурга» є «дуже правдоподібним», коли компанії поспішають із розгортанням більш просунутих інструментів ШІ. Він зазначає, що через вбудованість ШІ в багато систем великий інцидент може торкнутися майже будь-якої сфери.
Серед сценаріїв, які, як повідомляє The Guardian, уявляє Wooldridge, згадуються смертельне програмне оновлення для self-driving cars, AI-powered hack, що зупиняє авіакомпанії, а також «колапс на кшталт Barings» великої компанії, спричинений тим, що ШІ зробить нерозумний вчинок. У матеріалі також наведено, що Wooldridge не має на меті атакувати сучасний ШІ, а його позиція спирається на розрив між очікуваннями дослідників і тим, що з’явилося на практиці.
У The Guardian пояснюється, що сучасні AI чатботи працюють на основі large language models, які генерують відповіді шляхом прогнозування наступного слова або частини слова за ймовірностями з навчання. Через це, як зазначає Wooldridge, такі системи мають «зубчасті» (jagged) можливості: вони можуть бути дуже ефективними в одних задачах і погано працювати в інших, а також здатні помилятися непередбачувано, водночас надаючи впевнені відповіді.
Окремо у Forbes йдеться, що навіть розробники найпередовіших систем ШІ не завжди можуть пояснити, чому ці системи hallucinate або поводяться непередбачувано. У матеріалі Forbes згадується, що OpenAI визнає складність і нерозв’язаність проблеми hallucinations.
Forbes також описує «black box» проблему: шлях від входу до відповіді в системах ШІ часто є непрозорим, а проміжне міркування важко перевірити, пояснити або довіряти йому. У цьому ж матеріалі зазначено, що дослідницький напрям AI interpretability намагається пов’язувати внутрішні активації та поведінку моделей із їхніми виходами, наводячи приклади робіт, зокрема пов’язаних із Claude Sonnet та дослідженнями, що розглядають поведінкові патерни на кшталт «маніпулятивних» дій.
У Forbes підкреслюється, що за умов інтеграції ШІ в критичні системи залишаються невирішені питання, а для роботи з невизначеністю пропонується підтримувати guardrails, коли «щось іде не так», і обережно оцінювати доцільність автоматизації під конкретні проєкти.