Генеративните AI инструменти станаха много популярни през последните 12 месеца и доминират новите истории по целия свят. Приложения с големи имена като ChatGPT, Google Bard и DALL-E 2 отбелязаха огромен подем в обществения интерес и увеличаване на употребата. Хората от цял свят осъзнаха големия потенциал, който притежават тези приложения и какво могат да предложат, и вече се възползваха от възможността да се възползват от тази сила. Някои дори са отишли достатъчно далеч, за да кажат, че генеративният ИИ може потенциално да „добави трилиони долари в глобалната икономика...“. може да добави еквивалента на $2,6–4,4 трилиона годишно” (McKinsey). Случаите му на използване наистина са безкрайни и могат да се разширят толкова надалеч, колкото човешкият ум позволява. Видяхме творческия му потенциал в изкуствата и възможностите му да произвежда повече математически и научни резултати, които да бъдат използвани в множество индустрии, например изследвания в здравеопазването, финанси и технологии. Има обаче един капан, който идва с цялото вълнение. Понякога (до 20% от времето) генеративните AI инструменти могат да дадат на потребителя фалшив или неправилен отговор, предшествайки го и цитирайки го от реални източници, което го прави да изглежда легитимен. Това е, което наричаме халюцинация. Тези халюцинации могат да възникнат поради различни причини, които ще бъдат разгледани по-долу.
В тази статия се стремя да обясня какво е LLM и как функционира и да изследвам различните причини за възникването на халюцинации. Най-важното е да проучим как можем да подобрим LLMs, за да сведем до минимум грешните резултати и да се стремим да постигнем 100% точност. Този проблем вече е идентифициран от различни играчи на пазара на ИИ и има големи усилия за намиране на решение.
И така, какво е голям езиков модел (LLM)?
LLM в най-основната си форма е сложен алгоритъм за дълбоко обучение, състоящ се от десетки милиони или трилиони изкуствени невронни мрежи. Алгоритъмът има за цел да открие връзки и модели между входните и изходните променливи, без да приема ръчни инструкции, т.е. оставен е да функционира сам. Невронната мрежа се състои от входен слой, скрит слой и накрая изходен слой.
На алгоритъма се подават данни за обучение, за да може да се учи и след това използва знанията си за прогнози на тестващите даннита. Важна характеристика, която трябва да се подчертае, е, че той работи в неконтролирана среда, което означава, че входовете и изходите на данните за обучение са неозначени, което позволява на алгоритъма да вземе независимо (или полунезависимо) решение за това кои точки от данни са входове срещу изходи, в крайна сметка откривайки връзки между двете променливи. Можем да се сблъскаме с грешка на отклонениеи грешка на отклонение, когато работим с тези алгоритми. Наблюдавамегрешки с ниско отклонение, когато данните за обучението пасват много добре на алгоритъма, но се представят лошо, когато се въвеждат нови данни от тестване, което води до голяма грешка на дисперсията, което предполага, че моделът е overfit. От друга страна, грешката с ниска дисперсия, съчетана с грешка с голямо отклонение, предполага недостатъчно приспособяване. Учените от ML се опитват да намерят най-подходящото място, където отклонението и грешката на дисперсията са сведени до минимум, за да се създаде най-точният алгоритъм, който не е нито над, нито недостатъчен. Друга грешка, която си струва да се спомене, е отклонението на основната грешка, което е продукт на случайност.
Какво е халюцинация?
Сега, след като обяснихме какво представляват LLM моделите и как работят, ще се потопим по-дълбоко в халюцинациите. Халюцинациите са просто лъжи или статистически грешки, произведени от алгоритъма за задълбочено обучение въз основа на данните за обучение, които е бил подаден преди това. Тези данни за обучение могат да бъдат посочени като корпус. Той идва в резултат на компилиране и включване на милиони части от данни от текст до изображения. Сега качеството на корпуса се извлича от качеството на данните. Например корпусите на някои AI модели са извлечени от данни на Wikipedia. Знаем, че не всичко, публикувано в Wikipedia, е 100% фактическо и следователно това може да бъде източник на грешка. Друга халюцинация може да възникне, когато моделът ви даде фактическа информация, но не е подходяща за вашите въпроси или подкана.
Пример
Йордания е държава, разположена в Близкия изток. Джордан също е известен баскетболист.
В този пример представената информация е фактическа и точна, но може да не е напълно подходяща за това, което търсим. Това се случва, защото AI моделите генерират отговори въз основа на модели и предвидимост и нямат собствен ум. Продължавайки, трети пример за халюцинация може да дойде в резултат на свръхоптимизиране и пристрастие в данните за обучение.
Както бе споменато по-горе, разработчиците на AI модели се стремят да сведат до минимум отклонението и грешката на дисперсията, стремейки се да изградят модел, който не е нито прекомерно, нито недостатъчно оборудван и по този начин може да се използва за прогнозиране на изход въз основа на входа. Това може да представлява сериозен проблем, тъй като понякога, когато моделът не може да произведе изход към подкана, той може да състави отговор, като го цитира изцяло, което го прави да изглежда като правилен. И накрая, отклонението в самите данни също е основен проблем, когато се работи с всякакъв вид модел. Обикновено има набор от допускания, които учените изрично излагат, когато изграждат модел, т.е. данните са нормално разпределени, възвръщаемостта на цените на акциите във времето е логаритмично разпределена и т.н. да наблюдаваме нарушения, т.е. отрицателни (по-забележими при преносни сделки например) или положително изкривени данни, данни с прекомерен ексцес. Тези нарушения в данните, представени като данни за обучение, могат да доведат до изход, който също е изкривен в него и сам по себе си.
Потенциални рискови фактори
Когато разговаряте с чат бот за поддръжка на клиенти, задавайки прости въпроси, общото ниво на риск или възприеман риск може да е сравнително ниско. Въпреки това, когато разширим тези AI модели в други области като медицината например, грешките или халюцинациите, които моделът прави, могат да бъдат пагубни и сериозни. Някои модели на изкуствен интелект вече се използват за тестване на качеството на компютърна томография например. Ако AI модел халюцинира и направи грешка при оценката на качеството на изображението, потенциалните последствия и резултати могат да изложат живота на човек на риск и опасност. С това идват и много въпроси, свързани с етичните последици и прехвърлянето на отговорност, но не искам да засягам това. Друг пример, който вероятно вече сте виждали в действие, е AI моделът на Tesla, управляващ автономни превозни средства. Отново, всяка малка халюцинация, която моделът прави, може да доведе до животозастрашаващ инцидент. Досега самоуправляващите се превозни средства на Tesla са отговорни за 17 „смъртни случая“.
Решения
Има няколко решения за справяне с проблема с халюцинациите. Първо, уверете се, че източникът на данни, от който извличате своя корпус, е легитимен, т.е. не е Wikipedia или Reddit. Увеличаването на данните за обучение чрез въвеждане на по-разнообразен набор от ресурси също със сигурност ще спомогне за повишаване на точността и припомнянето (съотношението на истински положителни резултати към сбора на истински положителни и фалшиви отрицателни). Връщайки се към статистика 101, намаляваме вероятността от грешка от тип 2, когато увеличим припомнянето, тъй като грешка от тип 2 може да се разбира като (1 — припомняне). Това може да бъде особено важно в случай на медицински диагнози или както беше споменато по-горе, идентифициране на качеството на компютърната томография.
Второ, ние сме в състояние да настроим фино и калибрираме нашите модели за конкретни задачи и домейни. Стесняването на задачите или това, което се изисква от модела, определено може да намали халюцинациите. В предишния пример, AI ботът идентифицира Йордания като страна в Близкия изток, като същевременно идентифицира Майкъл Джордан като баскетболист. Ако трябваше да обучим модела и да му позволим да разпознае отговора си като грешка, бихме могли да заобиколим тази халюцинация.
И накрая, като се върнем отново към статистиката, можем да си поиграем и да коригираме доверителните интервали, за които се чувстваме уверени в използвания модел. Използването на 90% (1,65) доверителен интервал може да бъде точен и достатъчно добър, когато прилагаме модела към някои индустрии, но може да се нуждаем от по-висок доверителен интервал като 95% или 99%, когато работим в по-рискови индустрии като медицината. Отново, това в никакъв случай не е лесна задача, тъй като коригирането на доверителните интервали носи имплицитни предположения и промени по отношение например на грешки от тип I и II. Следователно специалистът по данни или инженерът по ML трябва да вземе предвид множество фактори, когато определя нивото на желаната точност. Оценяването на Human in Loop също може да представлява интерес тук, но както подсказва името, това ще включва повече ръчни задачи, които отнемат повече време, пари и енергия.
В заключение, генеративните AI алгоритми без съмнение революционизираха към по-добро начина, по който гледаме, използваме и взаимодействаме с технологиите. Въпреки това, както с всичко друго на този свят, нищо не е перфектно и винаги трябва да вземаме предпазни мерки и да имаме интуитивен и критичен ум, когато ни бъде представена нова информация.
ресурси:
1. https://www.washingtonpost.com/technology/2023/06/10/tesla-autopilot-crashes-elon-musk/
2. https://analystprep.com/study-notes/cfa-level-2/quantitative-method/overfitting-methods-addressing/
4. https://www.artificialintelligence-news.com/2023/03/15/hallucinations-plagiarism-and-chatgpt/
