Грешките на съвременните системи за изкуствен интелект (ИИ), базирани на машинното обучение (ML), не са случайни сривания, а закономерни следствия на тяхната архитектура, начин на обучение и основно различие от човешкото разбиране. Възпротивно на човека, ИИ не «разбира» света в семантически смисъл; той открива статистически корелации в данните. Грешките му възникват там, където тези корелации се разрушават, където се изискват абстрактни размишления, здравият разум или разбирането на контекста. Анализ на тези грешки е критически важен за оценката на надежността на ИИ и определянето на границите на неговото приложение.
Най-честият и социално опасен източник на грешки е смещението в обучителните данни. ИИ усвaja и засилва предразсъдъците, съществуващи в данните.
Демографски изкривявания: Известният случай с системата за разпознаване на лица, която показва значително по-висока точност за светлокожи мъже, отколкото за тъмнокожи жени, тъй като беше обучена на непропорционален набор данни. В този случай ИИ не «греши», а точно възпроизвежда дисбаланса на реалния свят, което доведе до грешка в приложението в разнородна среда.
Семантични изкривявания: Ако в данните за обучение словосъчетанието «медсестра» често е свързано с местоимението «она», а «програмист» — с «он», моделът ще генерира текстове, възпроизвеждащи тези полови стереотипи, дори ако в заявката не е указан пол. Това е грешка на ниво социален контекст, който моделът не осъзнава.
Интересен факт: В компютърните науки действа принцип «Garbage In, Garbage Out» (GIGO) — «мусор на входа, мусор на изхода». За ИИ той се трансформира в по-дълбок принцип «Bias In, Bias Out» — «смещение на входа, смещение на изхода». Системата не може да надвиши ограниченията на данните, на които е обучена.
Това са преднамерени, често незабележими за човека промени в входните данни, които водят до категорично невярни изводи на ИИ.
Пример с изображение: Наклейка на няколко пиксела от определен цвят и форма на знака «СТОП» може да направи автономната система за компютърно зрение да го класифицира като знак «ограничение на скоростта». За човека знакът остава очевидно разпознаваем.
Механизъм: Адверсарните примери експлоатират «слепите зони» във високоразмерното пространство на признаките на модела. ИИ възприема света не като цялостни обекти, а като набор от статистически шаблони. Минималната, но стратегически верна «помеха» премества точката данни в пространството на признаките през границата на решението на модела, променяйки класификацията.
ИИ, особено дълбоките нейронни мрежи, са склонни към переобучение (overfitting) — те запомнят не общите закономерности, а конкретните примери от обучителната выборка, включително шума.
Грешки на данни «из различно разпределение»: Модел, обучен на фотографии на кучета и котки, направени през деня в домашни условия, може да загуби напълно точността си, ако му се даде нощно инфрачервено изображение или анимационен рисунк. Той не е идентифицирал абстрактното понятие «кошачество», а е научил да реагира на конкретни шаблони на пикселите.
Липса на «здрав разум»: Класически пример: ИИ може да описва коректно сцена «човек седи на кон в пустинята», но при това да генерира предложение «човек държи в ръце бейсболна бита», като е на кон, защото в данните статистически е възможно да се срещне бита в контекста на спорт на открито. Той не разполага с физическа и причинно-следствена логика на света.
Языковите модели (като GPT) показват впечатляващи резултати, но грубо грешат в задачите, изискващи разбиране на дълбок контекст или небуквални смисли.
Ирония и сарказъм: Фразата «Ну, чудесна погода!» казана по време на ураган, ще бъде интерпретирана от модела буквално като положителна оценка, тъй като в данните положителните думи («чудесна», «погода») статистически са свързани с положителни контексти.
Многошагови логически размишления: Задачите в стил «Ако сложа яйце в хладилника, а след това преместя хладилника в гараж, където ще бъде яйцето?», изискват изграждане и обновяване на менталната модель на света. ИИ, работещ на предсказване на следващото слово, често «изгубва» обекти в средата на сложен разказ или прави нелогични изводи.
ИИ не се справя добре с ситуации, които излизат извън рамките на неговия опит, особено когато се изисква признаване на недостатъчността на данните.
Проблемът с откриването на «out-of-distribution» detection: Медицинският ИИ, обучен да диагностицира пневмония по рентгенови снимки на гръдната кост, може да даде висока, но лъжлива увереност в диагнозата, ако му се покаже снимка на колена. Той не разбира, че това е безсмислено, тъй като не разполага с мета-знание за границите на неговата компетентност.
Креативни и отворени задачи: ИИ може да генерира правдоподобен, но напълно невъзможен или опасен рецепт за химическо съединение, план за строителство на мост, нарушаващ законите на физиката, или юридически документ с връзки към несъществуващи закони. Той не разполага с критичен вътрешен цензор, основан на разбирането на същността на явленията.
Пример от реалността: В 2016 година Microsoft стартира чат-бота Tay в Twitter. Бот се обучава на взаимодействие с потребители. За 24 часа той се превърна в машина, генерираща расистки, сексистки и оскърбителни изрази, защото статистически усвои най-честите и емоционално заредени реакции от новото, враждебно околностоещо му среда. Това не беше «грешка» на алгоритъма, а негова точна работа, довела до катастрофичен резултат в непредсказуемата социална среда.
Тези грешки не са временно технически несовершенства, а следствие на фундаменталното различие между статистическата апроксимация и човешкото разбиране. Те показват, че съвременният ИИ е мощен инструмент за решаване на задачи в рамките на ясно очертани, стабилни и добре описани данни домени, но той остава «идиот-савант»: гений в тясна област и безпомощен в ситуации, изискващи гъвкавост, контекстуално съждение и осъзнаване. Затова бъдещето на разумното приложение на ИИ е в създаването на хибридни системи «човек-ИИ», където човекът осигурява здрав разум, етика и работа с изключения, а ИИ — скорост, мащаб и откриване на скрити шаблони в данните.
Новые публикации: |
Популярные у читателей: |
Новинки из других стран: |
![]() |
Контакты редакции |
О проекте · Новости · Реклама |
|
Либмонстр Россия ® Все права защищены.
2014-2026, LIBMONSTER.RU - составная часть международной библиотечной сети Либмонстр (открыть карту) Сохраняя наследие России |
Россия
Беларусь
Украина
Казахстан
Молдова
Таджикистан
Эстония
Россия-2
Беларусь-2
США-Великобритания
Швеция
Сербия