Изкуственият интелект често се нарича „следващото голямо нещо“, но е важно да се разбират различните части на изкуствения интелект. Настоящата модна дума „Машинно обучение“ не обяснява напълно какво всъщност представлява AI. Тази публикация в блога има за цел да обясни различните части на изкуствения интелект с прости думи, които всеки може да разбере.
Машинното обучение (ML) е мощно. Неговите модели и тяхната интерпретируемост бяха обект на нарастващо внимание през последните няколко години, тъй като те станаха по-мощни и широко използвани. С правилните данни моделите за машинно обучение могат да предскажат нови данни изключително добре с малка или никаква интерпретируемост, но интерпретируемостта е важна по много причини.
Интерпретируемостта на модела ни позволява да отговорим на някои от нашите най-фундаментални въпроси относно прогнозите, които моделът прави: Какви функции научихте? Защо направи тази прогноза? Какви са вашите предположения? Какво ни казват вашите резултати за света и какви заключения можем да направим от тях? Защо това решение е по-добро от друго?
Интерпретируеми модели на машинно обучение — методи на „черна кутия“
Как работи интерпретируемостта на практика, особено когато става въпрос за дълбоки невронни мрежи (DNN)? Има няколко категории методи за интерпретируемост, всяка от които има компромиси. Започваме с изследване на първия подход за интерпретация на „черна кутия“, възприет за всеки проблем: визуализиране на границите на решение на модела!
Моделно-агностични методи за интерпретация
Терминът „моделно-агностична интерпретируемост“ се отнася до подходи, които не са специфични за определен алгоритъм или мрежова архитектура. Това е чадър, под който попадат няколко техники за интерпретируемост, включително напр. Локални интерпретируеми модели-агностични обяснения (LIME) и графики на частични зависимости (PDP).
Дефиниране на проблема: Колко интерпретируеми са нашите модели?
1. Кои методи са интерпретируеми методи за агностика на модела, които могат да осигурят представа за даден модел, независимо кой алгоритъм използва?
2. Как да тълкуваме резултатите от методите за оценка на интерпретируемостта (напр. ROC крива)?
Инструментите за интерпретация на модела работят чрез извличане на функции от данните за обучение, свързани с прогнозите на модела. Проблемът е, че повечето задачи нямат интерпретируеми набори от функции! Например, помислете за проблем с разпознаването на изображения, при който не съществуват интерпретируеми характеристики за етикетиране на обекти в изображения, тъй като има твърде много класове, за да се опише смислено всеки един. Интерпретируемостта на модела би била възможна само чрез добавяне на интерпретируеми функции, което често е доста скъпо.
Различни методи за тълкуване
Най-често срещаните методи за интерпретируемост са локални интерпретируеми моделно-агностични обяснения (LIME) и графики на частични зависимости (PDP). Въпреки че и двете са модели-агностични техники, които работят върху всеки интерпретируем модел, те се различават по видовете прозрения, които предоставят.
Метод 1: Графики на частична зависимост (PDP)
Идеята зад PDPs е сравнително проста: дадена точка от данни, бихме искали да знаем кои характеристики на тази точка от данни (или какви други данни в набора за обучение) влияят най-много на отговора на модела, когато е дадено само подмножество. За да тълкуваме „най-голямо влияние“, трябва да го дефинираме математически. Това ни води до частични производни! Частичните производни ни позволяват да измерим доколко една промяна в някои входни данни влияе върху параметъра или изхода на модела. По този начин PDP предоставят представа за това кои променливи в нашите данни са най-полезни за правене на прогнози - те просто ни показват къде и доколко някои характеристики имат значение.
Инструментите за интерпретация на модела работят чрез извличане на функции от данните за обучение, свързани с прогнозите на модела. Проблемът е, че повечето задачи нямат интерпретируеми набори от функции! Например, помислете за проблем с разпознаването на изображения, при който не съществуват интерпретируеми характеристики за етикетиране на обекти в изображения, тъй като има твърде много класове, за да се опише смислено всеки един. Интерпретируемостта на модела би била възможна само чрез добавяне на интерпретируеми функции, което често е доста скъпо.
Метод 2: Индивидуално условно очакване (ICE)
ICE е подобен на LIME по някои начини: и двата интерпретират функции около нови входни данни и изискват интерпретируеми версии на модели за задълбочено обучение. Въпреки това, ICE ни позволява да интерпретираме всеки отделен изход, произведен от модел на черна кутия поотделно - не само една интерпретация за целия изход. Това означава, че може да получите различни обяснения за различните резултати, произведени от вашия модел!
Метод 3: Пермутирана важност на характеристиките
Подходът за пермутирана важност на характеристиките произволно претегля функцията на всяка характеристика във входен вектор. След това преизчислява загубата на модел върху повторно претегления пример, който се интерпретира с пермутирана интерпретируемост. Този подход може да бъде полезен за разделяне на интерпретируеми и неинтерпретируеми характеристики.
Метод 4: Глобален сурогат
Глобалните сурогатни модели (GS) използват локален регион около всеки вход за интерпретируемост — за разлика от LIME и ICE, които интерпретират само 1 нов вход наведнъж. GS изгражда интерпретируеми линейни модели за всеки изход от модел на черна кутия, като оптимизира тяхната предсказваща точност за всички местоположения в набора за обучение, за да обясни най-добре прогнозите от черната кутия. Интерпретируемостта на тези линейни модели може също да бъде представена като ROC крива, чиято площ под кривата (AUC) представя колко добре се представят! GS изчислява интерпретируем модел за всеки изход от модел на черна кутия, така че осигурява интерпретируемост за всяка прогноза от оригиналния модел.
Това е мощно, защото резултатите с интерпретируем линеен модел могат да бъдат разложени на линейни комбинации от характеристики, които ги обясняват - точно както може би сте научили в часовете по математика в гимназията. По-специално интерпретируемите модели ни предоставят индивидуални условни очаквания, но без да се нуждаем от достъп до код или тегла. Това означава, че можем да интерпретираме и дори да оптимизираме нашите модели на черна кутия, като добавяме нови интерпретируеми функции, без да се налага да модифицираме самата черна кутия.
GS изисква по-малко инженерни усилия от другите подходи, защото не се нуждаем от интерпретируеми версии на модели за задълбочено обучение; имаме нужда само от черната кутия (напр. xgboost). Интерпретируемостта на получения интерпретируем модел обаче е толкова добра, колкото и самата черна кутия.
Метод 5: Локални интерпретируеми моделно-агностични обяснения (LIME)
LIME е подход, който ви позволява да обясните всяка прогноза, направена от модел на черна кутия, върху нов пример, базиран на локални региони около този пример в оригиналното пространство на характеристиките. Целта е да се обясни всяка прогноза за нов вход, като се използват само етикетите и стойностите на локалните региони на пространството на характеристиките на този вход. LIME изисква достъп до интерпретируеми версии на модели за задълбочено обучение, по-специално всички вече споменати техники за интерпретация на модели (Pacman, PDP). Въпреки това, той може да се използва върху всеки модел, обучен с регуляризация.
Метод 6: Стойност на Шепли [SHAP]
Стойностите на SHAP (добавени обяснения на SHapley) са подобни на GS, защото използват интерпретируеми линейни модели за всеки изход. SHAP изгражда интерпретируеми линейни модели, базирани на декомпозиране на резултати от задълбочено обучение, използвайки взаимодействия на функции (т.е. как отделните функции взаимодействат с други отделни характеристики).
SHAP изчислява интерпретируем модел за всеки изход от модел на черна кутия, така че осигурява интерпретируемост за всяка прогноза от оригиналния модел. Това означава, че можем също да оптимизираме нашите модели на черна кутия, като добавим нови интерпретируеми функции, без да се налага да променяме черната кутия!
И GS, и SHAP дават информативни обяснения, но може да са трудни за тълкуване в началото. Много по-лесно е да се интерпретират индивидуалните условни очаквания, тъй като те могат да се интерпретират, но не са толкова информативни за различните изходи на модела.
ICE (Индивидуални условни очаквания) определя интерпретируемостта, като определя как всяка функция допринася за всеки изход на модел на черна кутия — без да са необходими интерпретируеми версии на модели за дълбоко обучение. ICE изчислява интерпретируеми модели за всеки изход от ръководен модел на черна кутия, така че осигурява интерпретируемост за всяка прогноза от оригиналния модел. Това означава, че можем също да оптимизираме нашите модели на черна кутия, като добавим нови интерпретируеми функции, без да се налага да променяме черната кутия! ICE предоставя графики на частични зависимости и локални линейни модели за интерпретируемост.
Глобален сурогат срещу Шепли: Кое е по-добро?
Shapley може да се интерпретира, но GS има повече мощност, тъй като отчита взаимодействията между характеристиките. Освен това не изисква интерпретируеми модели за дълбоко обучение, както ICE. Shapley може да бъде ограничен от това колко взаимодействия на функции съществуват - по-конкретно, броят на възможните взаимодействия бързо ще нарасне експоненциално (т.е. 2^n). Можем да направим този проблем разрешим, като първо изградим интерпретируем модел, който да ни даде разумни първоначални тегла за глобалния сурогат, преди да преместим фокуса върху интерпретируемостта.
И GS, и SHAP дават информативни обяснения, но може да са трудни за тълкуване в началото, тъй като се основават на линейни комбинации (въпреки че GS поне има интерпретируеми локални линейни модели). Много по-лесно е да се интерпретират индивидуалните условни очаквания, тъй като те могат да се интерпретират, но не са толкова информативни за различните изходи на модела.
Стойността на Shapley е начин да се прецени колко важна е била дадена характеристика при обяснението на определена прогноза, направена от интерпретируем модел, като същевременно се вземат предвид взаимодействията между характеристиките. Подобно на Global Surrogate, стойността на Shapley има интерпретируеми локални линейни модели — което я прави по-интерпретируема от ICE. LIME (Local Interpretable Model-Agnostic Explanations) използва малки интерпретируеми модели, за да обясни индивидуалните прогнози на модел на черна кутия чрез приближаване на начина, по който е генериран изходът.
Този метод може да се използва и за подпомагане на интерпретирането на всеки елемент в ансамбъл от интерпретируеми модели. За разлика от GS и SHAP, LIME изисква оценки за важност на интерпретируемите характеристики за всички входове, така че интерпретируемостта да се изчислява само в оригиналното входно пространство (докато GS и SHAP изчисляват интерпретация по време на теста, където са дадени входове).
Методи за оценка на тълкуемостта
Има два широки метода за оценка на интерпретируемостта, които са:
- човешка анотация на интерпретируеми модели
- прогнозиране на възможността за интерпретация на набор от тестове, независимо от данните за изграждане на модел
Първият вариант е най-добър за оперативна съвместимост, вторият, но е по-добър при демонстриране на цялостна мощност. Това може да се докаже, като се покаже, че интерпретируемостта намалява, тъй като се дават повече данни за обучение на модел на черна кутия.
Интерпретируемостта обаче не винаги е недостатъчна – понякога тя не е достатъчно мощна, тъй като хората често интерпретират неща, които се случват в маргиналното разпределение само по една функция в даден момент.
Завършване
Критична част от използването на машинно обучение за корпоративни или потребителски приложения е интерпретируемостта. Най-интерпретируемите модели са тези, които се основават директно върху добре обосновани, мащабируеми форми на човешки изводи.
Излишно е да казвам, че интерпретируемостта се е превърнала в основен фактор при проектирането и прилагането на системи за машинно обучение. И все пак, въпреки че интересът към интерпретируемостта нараства експоненциално, има и опасения относно това какво точно означава интерпретируемостта - и как може да бъде измерена. Тази статия имаше за цел да предостави насоки относно някои ключови съображения относно интерпретируемостта въз основа на различни експерименти с различни подходи.
Първоначално публикувано на адрес https://www.cliently.com.
