В традиционните домейни на машинното обучение обикновено вземаме огромен набор от данни, който е специфичен за конкретна задача, и искаме да обучим модел за целите на регресия/класификация, използвайки този набор от данни. Което е коренно далеч от начина, по който хората се възползват от миналия си опит, за да научат много бързо нова задача само от набор от примери.

Това е много ангажиращ процес. Това контрастира с начина, по който хората приемат нова информация и усвояват нови умения. Човешките същества не се нуждаят от голям набор от примери, за да знаят, ние се учим много бързо и ефективно от шепа примери. Вдъхновявайки се от начина, по който хората учат, мета-обучението се опитва да автоматизира традиционните предизвикателства за машинно обучение. Той се стреми да приложи машинно обучение, за да научи най-подходящите параметри и алгоритми за дадена задача.

Той разпределя свързани задачи — и използва този опит, за да подобри бъдещото си обучение. Това „обучение за учене може да доведе до различни ползи, като данни и изчислителна ефективност, и е по-добре съгласувано с ученето на хора и животни, където стратегиите за учене се подобряват както през целия живот, така и в еволюционен период от време.

Ефективността на модел за обучение зависи от неговия набор от данни за обучение - алгоритъма и параметрите на алгоритъма. Необходими са много експерименти, за да се намери най-добрият алгоритъм и параметри на алгоритъма. Подходите за мета-обучение помагат да ги намерите и оптимизирате броя на експериментите. Това накратко води до по-добра прогноза.

Какво е Meta?

Мета се отнася до ниво по-горе.

Мета обикновено означава повишаване на нивото на абстракция с една стъпка и често се отнася до информация за нещо друго.

Например, вероятно сте запознати с „мета-данни“, които са данни за данни.

Вие съхранявате данни във файл и често срещан пример за метаданни са данни за данните, съхранени във файла, като например:

  • Името на файла.
  • Размерът на файла.
  • Датата на създаване на файла.
  • Датата на последната промяна на файла.
  • Типът файл.
  • Пътят до файла.

След като вече сме запознати с идеята за „мета“, нека разгледаме използването на термина в машинното обучение, като „метаобучение“.

Какво е метаобучение?

Формално може да се дефинира като използване на метаданни на алгоритъм или модел, за да се разбере как автоматичното обучение може да стане гъвкаво при решаване на проблеми с обучението, следователно подобряване на ефективността на съществуващите алгоритми за обучение или за научаване (индуциране) на самите алгоритми за обучение.

Метаобучението е усъвършенствана област на изкуствения интелект, където алгоритмите за автоматично обучение се прилагат за придобиване на учебен опит за набор от алгоритми за обучение за подобряване на ефективността на обучението. Една от популярните методологии за мета-обучение се основава на кръстосано валидиране, особено за процеси на подбор сред различни модели на машинно обучение. Предизвикателството обаче е, че е много времеемко да се направи кръстосано валидиране между модели в големи набори от данни, особено във финансови големи данни с висок шум.

Метаобучението оказва влияние върху пространството на хипотезите (набор от всички хипотези, които могат да бъдат върнати от модел на машинно обучение) за алгоритми за обучение. Това може да стане чрез настройка на хиперпараметри или избор на функции. Може също така да промени правилата за обучение на алгоритъма, като промени начина, по който алгоритъмът търси в пространството на хипотезата.

Метаобучението предоставя алтернативна парадигма, при която моделът на машинно обучение придобива опит в множество епизоди на обучение. Много просто дефинирано, метаобучението означава да се научиш да учиш. Това е процес на обучение, който се прилага за разбиране на алгоритми към метаданни. Метаданните са данни, които описват други данни.

Той се възползва от метаданните като свойства на алгоритъма (мерки за ефективност и точност) или модели, получени преди това от данните, за да научи, избере, промени или комбинира различни алгоритми за обучение за ефективно решаване на даден учебен проблем.

Всеки алгоритъм за обучение се основава на набор от предположения за данните, които се наричат ​​негови индуктивни отклонения.

Процесът на обучение за учене или процесът на мета-обучение може грубо да се обобщи в следната диаграма.

Трите основни стъпки в метаобучението.

  • Динамично индуктивно отклонение: Индуктивното отклонение е наборът от допускания, които алгоритъмът за обучение използва, за да прави прогнози. Това е, когато алгоритъмът получава входни данни, на които никога не е попадал. Динамичната индукция на отклонение се отнася до това, когато отклонението е конструирано като функция на учебната задача. Това просто означава, че индуктивното отклонение на обучаемия се променя, за да съответства на дадена задача. Съществените аспекти на обучаемия могат да бъдат променени, за да се постигне динамично индуктивно отклонение. Тези аспекти включват представянето на хипотезата или параметрите.
  • Извличане на полезни знания и опит от метаданните на модела: Метаданните се състоят от знания за предишни учебни епизоди и се използват за ефективно разработване на ефективна хипотеза за нова задача. Това също е форма на индуктивен трансфер.
    AI може да овладее някои наистина сложни задачи, но те изискват огромно количество данни и са ужасни при многозадачност. Така че е важно агентите с изкуствен интелект да се „научат как да учат“, за да съберат повече знания и да станат хитри.
  • Включване на подмодел за обучение.

Подходи към алгоритми за мета-обучение

Оптимизирано мета-обучение

„Хиперпараметър“ е параметър, чиято стойност се използва за контрол на процеса на обучение. Това е параметър, който се определя преди началото на учебния процес. Хиперпараметрите имат пряко влияние върху качеството на тренировъчния процес. Хиперпараметрите могат да се настройват. Пример за хиперпараметър е броят на клоновете в дървото на решенията.

Голям брой модели за машинно обучение имат много хиперпараметри, които могат да се оптимизират. Споменахме, че хиперпараметрите имат голямо влияние върху тренировъчния процес. Това означава, че процесът на избор на хиперпараметри драматично влияе върху това колко добре се учи алгоритъмът.

Въпреки това, с непрекъснато нарастващата сложност на моделите, още повече на невронните мрежи, възниква предизвикателство. Сложността на моделите ги прави все по-трудни за конфигуриране. Помислете за невронна мрежа. Човешките инженери могат да оптимизират няколко параметъра за конфигурация. Това става чрез експериментиране. И все пак дълбоките невронни мрежи имат стотици хиперпараметри. Такава система е станала твърде сложна за хората, за да се оптимизира напълно.

Съществуват много начини за оптимизиране на хиперпараметрите. Ще дадем проста дефиниция на няколко метода и ще ги разгледаме подробно в бъдеща статия.

Търсене в решетка: Този метод използва ръчно зададени хиперпараметри. Групата от предварително зададени параметри се търси за най-добре представящия се. Търсенето в мрежата включва изпробване на всички възможни комбинации от стойности на хиперпараметър. След това моделът определя най-подходящата стойност на хиперпараметъра. Този метод обаче се нарича традиционен, тъй като отнема много време и е неефективен.

Произволно търсене: Търсенето в мрежата е изчерпателен метод. Това включва обвързване на всички възможни комбинации от стойности. Методът на произволно търсене заменя този изчерпателен процес с произволно търсене. Моделът прави произволни комбинации и се опитва да напасне набора от данни, за да тества точността. Тъй като търсенето е на случаен принцип, има възможност моделът да пропусне няколко потенциално оптимални комбинации. От друга страна, той използва много по-малко време в сравнение с търсенето в мрежата и често дава идеални решения. Произволното търсене може да надмине търсенето в мрежата. Това е при условие, че са необходими няколко хиперпараметъра за оптимизиране на алгоритъма.

Ще разгледаме тези два и други методи за оптимизация в друга статия. Но засега, за да научите повече за търсенето в мрежата и произволното търсене, вижте това концептуално ръководство за настройка на хиперпараметър.

Мета-обучение с няколко изстрела

Алгоритмите за задълбочено обучение са страхотни при изпълнението на една задача чрез използване на значителен набор от данни. Въпреки това е желателно да можете да обучите невронна мрежа да научи множество задачи, като използвате шепа примери за данни за задача. Малкократните алгоритми за мета-обучение ни помагат да изпълним това желание.

Целта на метаобучението с няколко изстрела е да се обучи модел, който може бързо да се адаптира към нова задача. Това трябва да се постигне с помощта на няколко точки от данни и повторения в обучението. Етапът на метаобучение се използва за обучение на модел на даден брой задачи. Очаква се обученият модел бързо да се адаптира към нови задачи с няколко опита или примери за обучение. Целите задачи се приемат като примери за обучение в метаобучението.

Пример за мета-обучение с няколко изстрела е използването на „невронни мрежи с подобрена памет“.

Градиентното спускане минимизира дадена функция чрез придвижване към посоката на най-стръмното спускане итеративно. Използва се за актуализиране на параметрите на модел. Традиционните мрежи с градиентно спускане се нуждаят от тонове данни, за да се научат. Процесът на обучение е обширен и итеративен. Моделите трябва да научат отново параметрите си, за да добавят бързо нова информация, когато са изложени на нови данни. Това е много неефективен процес.

В сравнение с конвенционалните модели, невронните мрежи с увеличен капацитет на паметта могат бързо да кодират и получават нова информация. Невронните мрежи с разширена памет могат да осмислят нови данни. Те могат да използват данните, за да произвеждат много точни прогнози. Това използва само няколко примера за обучение. Пример за архитектура с разширена памет е „Машината за невронна настройка“. Машината за невронна настройка се отнася до алгоритъм със способността да съхранява и получава информация от паметта. NTM допълва невронна мрежа с външна памет. Връзката по-горе предоставя подробно описание на NTM архитектурата.

Модел на агностично метаобучение

Моделно агностично метаобучение (MAML) се отнася до рамка, която се прилага към всеки модел, който се обучава с помощта на градиентно спускане. Можем да твърдим, че това е подобно или вариация на мета-обучение с няколко изстрела. Подобно на метаобучението с няколко изстрела, целта е да се научи общ модел, който може просто да бъде подложен на фина настройка за няколко различни задачи. Това включва сценарий, при който данните за обучение са недостатъчни. Нека визуализираме MAML рамката.

MAML подход

От изображението символът тета представлява параметрите на модела. Дебелата черна линия представлява етапа на метаобучение. Ако имаме задачи 1, 2 и 3, които се различават една от друга, се предприема градиентна стъпка за трите. Сивите линии представляват това.

MAML дава добра инициализация на параметрите на модела. В резултат на това постигане на бързо и оптимално обучение на нова задача с шепа градиентни стъпки. Повече за моделно-агностичното метаобучение можете да намерите в този документ. Документът също така предлага задълбочено обяснение на изображението по-горе.

MetaFraud: Метаобучение за откриване на измами

Измамата е значителен бизнес риск, който трябва да бъде смекчен. Една добре проектирана и внедрена система за откриване на измами, базирана на транзакционния модел на данни на операционните системи, може значително да намали шанса за възникване на измами в организацията. Колкото по-рано са налични индикаторите за измама, толкова по-голям е шансът загубите да бъдат възстановени и слабостите в контрола да бъдат отстранени. Навременното откриване на измами пряко влияе върху крайния резултат, намалявайки загубите за организацията. А ефективните техники за откриване служат като възпиращ фактор за потенциалните измамници.

Финансовите измами могат да имат сериозни последици за дългосрочната устойчивост на една организация, както и неблагоприятни ефекти върху нейните служители и инвеститори, както и върху икономиката като цяло. Няколко от най-големите фалити в историята на САЩ включват фирми, участващи в големи измами. Съответно беше поставен значителен акцент върху разработването на автоматизирани подходи за откриване на финансови измами. Повечето методи обаче са дали резултати, които не са идеални. В резултат на това разкриването на финансови измами продължава да бъде важно предизвикателство за технологиите за бизнес разузнаване.

Като се имат предвид увеличените регулаторни изисквания и изисквания за съответствие, решението вече не е дали една организация трябва да внедри пълна програма за откриване и предотвратяване на измами, а по-скоро колко бързо технологията може да бъде използвана за откриване на финансови измами. Използването на технология е от съществено значение за максимизиране на ефикасността и ефективността на откриването на измами и Meta-Learning е тук като промяна на играта.

В друга статия ще проучим рамката за откриване на финансови измами с обучение за учене.

Останете на линия!

Свържете се с мен в LinkedIn: https://www.linkedin.com/in/grace-kolawole/ и Twitter: https://twitter.com/Graceblarc_