coinstream
Проблеми автономних AI-агентів: нові дослідження Microsoft
У свіжому звіті Microsoft, представленому в колаборації з Аризонським державним університетом, вказано на серйозні обмеження автономних AI-агентів у сфері онлайн-шопінгу. У рамках експерименту сотні AI-агентів намагалися виконати прості завдання, які люди виконують щодня, однак дружне ставлення до автономного шопінгу виявилось невиправданим.
Згідно з дослідженням, при обробці 100 пошукових результатів найочолюваніші AI моделі не змогли адекватно оцінити інформацію та схилилися до першого, “достатнього” варіанту. Цей “першопропозиційний ухил” значно знижує якість рішень, що вказує на необхідність людського втручання в процес прийняття рішень.
Крім того, Microsoft представляла результати тестів, які показали, що шість з восьми AI-моделей виявилися вразливими до маніпуляцій з боку шахраїв. Лише одна з моделей, Claude Sonnet 4, змогла чинити опір спробам злочинців обманути її.
Вчені закликають до “супервізованої автономії”, де AI-агенти могли б виконувати завдання, але при цьому залишалися під контролем людини. Це свідчить про те, що повна автоматизація процесу покупок поки що є ранньою стадією розвитку.
Також варто зазначити, що останнім часом загострилися відносини між компаніями AI та ритейлерами. Наприклад, Amazon надіслав лист із вимогою до AI-платформи Perplexity AI зупинити використання свого браузера на сайті компанії, звинувативши її у порушенні умов обслуговування.
З огляду на отримані дані, Microsoft підкреслила важливість контролю й нагляд за AI-агентами, радячи споживачам утриматись від повної залежності від автономних систем у сфері шопінгу.
