През последните години изследователи и специалисти по данни хвърлиха много подобни термини в пространството на компютърната система. Може да сте чували за изкуствен интелект, машинно обучение, наука за данни и т.н. Но едно общо нещо, което всички тези неща имат, са данните. Всички те изискват данни, за да работят, и за тях е трудно да работят прецизно и ефективно без достъп до чисти и надеждни данни. Въпреки това се сблъскваме с много етични проблеми, тъй като хората са тези, които генерират данни… така че как да гарантираме, че не нарушаваме правата и поверителността на други хора?

Отговорът се крие във федеративното обучение, нов подход.

Едно от по-новите подмножества на изкуствения интелект и машинното обучение е нещо, наречено Федерирано обучениеилиFL. Простото и ясно определение на федеративното обучение е, че това е подход, използван за обучение на децентрализиран модел на машинно обучение в много крайни устройства, вариращи от телефони до медицинско оборудване до автомобили/превозни средства до IoT устройства. Всички тези устройства обучават споделен модел, като същевременно съхраняват данните, които събират локално, без да ги споделят с други устройства. За разлика от традиционния централизиран подход за създаване на модели на машинно обучение, това е напълно различен подход. В традиционните модели за машинно обучение всички данни се събират от различни източници и всички се съхраняват на отделен сървър и след това моделът се обучава на същия сървър.

Уау, това беше много... нека разбием това

С прости думи, във Федеративното обучение данните не се движат от модел към модел, а по-скоро моделът се движи към данните; това е напълно различен подход от това, с което компютрите са били свикнали преди. Сега обучението на модела се извършва от взаимодействието на потребителя с крайните устройства вместо локалния сървър, който някога е бил използван.

Федералното обучение е ново подмножество на AI, което се проучва в момента, първоначално беше открито преди няколко години, през 2017 г. Учените по данни от Google проучват и работят върху внедряването на федеративно обучение в своите устройства; съвсем наскоро те приложиха този децентрализиран подход за машинно обучение към своя модел за предсказване на думи в Gboard на устройства с Android.

Това предоставя изцяло нов облик на използването на данни за компаниите. Компаниите вече имат достъп до данни от милиони смартфони, като същевременно пазят личната си информация в безопасност, тъй като техният модел за прогнозиране на думи се генерира от историята, която е на устройството.

Сега, след като имаме основно разбиране за федеративното обучение, нека го разбием по-подробно 😁

Централизирано машинно обучение 🤖

Преди да преминем направо към спецификата на това как работят федеративното обучение и неговият децентрализиран модел, нека разбием статуквото и как работят настоящите централизирани модели за машинно обучение. В момента живеем в 4-та индустриална революция; революция, движена от иновациите, характеризираща се с напредък в технологиите. Като се има предвид това, има милиарди устройства, които се използват в света, ако четете това, вие вероятно също използвате устройство. Тъй като броят на устройствата в света се увеличава, има огромен скок в обема на генерираните данни - средно всеки човек генерира 1,7 мегабайта нови данни в секунда. Очаква се този процент да нарасне експоненциално. Тъй като този брой се увеличава, той отвори цял нов свят, пълен с възможности и възможности за предоставяне на точни и персонализирани модели за машинно обучение, които имат потенциала да подобрят процеса на вземане на решения. Настоящите системи имат много централизиран подход; данните за тези модели на машинно обучение се събират от различни източници и се съхраняват в едно централно хранилище.

Помислете за магазини за обувки, които продават обувки от различни марки; купуват обувки от различни източници, но ги имат на едно централно място (географско).

Тези централни местоположения за модели на машинно обучение са склад за данни или огромен набор от данни — основната функция на това централно местоположение е да съхранява данни и да ги поддържа защитени. С тези данни се избира алгоритъм за обучение на събраните данни; примерите включват дърво на решенията, K-средни (клъстери), невронни мрежи (градиент, Нютон, конюгат, квази-Нютон, Левенберг-Марквард). След избора на алгоритъм моделът се обучава на централния сървър и след това обученият модел се разпространява между всички устройства.

Машинното обучение за Интернет на нещата (IoT) винаги се е извършвало чрез този централизиран модел; данните се качват от свързаното устройство в облака, за да се обучи модел, който се разпространява до всички свързани устройства. Има 5 ключови стъпки в този процес:

  1. Идентифициране на проблема
  2. Подготовка на данни
  3. Обучение на ML алгоритъм/модел на централизиран сървър или машина
  4. Изпращане на обучен модел към свързани системи/устройства
  5. Прогноза за резултат

Моделът е обучен да решава конкретен проблем, който е пряко свързан с данните; например консумацията на батерията на оборудването. Този модел има много предимства в смисъл, че централизираното машинно обучение може да обобщава въз основа на много данни от група устройства. Това позволява на модела да работи и с други съвместими устройства. Друго нещо, което трябва да имате предвид е, че централизираното машинно обучение е, че данните трябва да обясняват всички вариации в устройствата и техните виртуални среди. Това е изключително трудно за централизирани модели за машинно обучение, тъй като е трудно да се гарантира, че има разнообразна гама от операционни среди.

Говорейки за недостатъци, традиционните модели за машинно обучение също имат някои недостатъци/ограничения — особено за съвременните IoT инфраструктури. Тъй като непрекъснато се генерират нови данни, има предизвикателства, които идват заедно с тях:

Забавяне на мрежата. Приложенията в реално време изискват незабавни отговори от модела, но при централизираните модели съществува риск да има забавяне на данните при прехвърляне на информацията от сървъра.

Проблеми със свързването. Тъй като всички данни и модел се обучават на централно място, има изискване за стабилна интернет връзка, за да се осигури безпроблемен трансфер на данни между устройствата.

Притеснения относно поверителността на данните. Някои данни са изключително ценни в общата картина, но съдържат лична информация, която не може да бъде открито използвана или споделяна.

Децентрализирано машинно обучение

Изследователите обмислят от много години как да заобиколят тези ограничения, поставени от централизираното машинно обучение; потенциална идея, която се появи, е децентрализиране на моделите за машинно обучение. Термин, който се използва е Edge Machine Learning; машинно обучение, което се изпълнява на място, на всяко свързано устройство. Точната дефиниция на Edge Machine Learning е машинно обучение в края на мрежата. Това основно означава, че всяко устройство/локален сървър ще обучи модела на свои собствени данни и в собствена виртуална среда без никакви комуникации с централното местоположение. По този начин задачата сега е опростена, тъй като моделът трябва само да може да обясни какво е нормално за локалното устройство. Много по-добре, отколкото да сравнявате как варира спрямо милионите устройства, свързани към облака. Като такъв моделът ML е независим от всяко устройство и информацията остава защитена и поверителна. Освен това, с децентрализирано постепенно обучение, моделът се адаптира към нови параметри с течение на времето и тъй като ML моделът е локален за всяко устройство, той не е ограничен от интернет връзката на всяко устройство.

Тъй като тези модели са персонализирани за всяко устройство, моделите са не само по-персонализирани, но имат по-голяма точност и са значително по-адаптивни. Заедно с това вече имаме възможност да сравняваме различни модели. За да направите това, само моделът трябва да бъде качен в облака вместо данните. За да сравним това, моделът е само малка част от размера в сравнение с големите количества данни. Освен това осигурява сигурност и поверителност на поверителната информация. Децентрализираните модели позволяват създаването на някои интересни функции:

Идентифициране на отклонения. Помага за лесното идентифициране на аномалии, тъй като моделът се изпълнява локално, а не на споделен сървър.

Анализ на общото обучение. Сравняване на модели, за да видите подобни тенденции.

Предварително зареждане на устройство с модел. Позволява бъдещето на трансферното обучение, където моделът е ковък за локалното устройство.

Въпреки това има един значителен недостатък, който го прави не най-ефективния. Ако дадено устройство няма достатъчно данни, моделът ще бъде изключително неточен и тъй като е децентрализиран, други източници не могат да допринесат. Но има начин да се заобиколи този проблем и той е с...Федерирано обучение.

Обединено машинно обучение

Основният недостатък на децентрализираното обучение е, че резултатите не могат да бъдат обобщени, тъй като отделните модели се обучават на всяко устройство. Преодоляването на недостатъците както в централизирания ML, така и в децентрализирания ML е сложно и би изисквало различни аспекти и от двете. Въпреки това, както беше споменато по-рано, федеративното обучение е нов клон в пространството на AI и предоставя чисто нов облик на машинното обучение. Той има потенциала да използва децентрализираните данни и децентрализираната изчислителна мощност— осигурявайки по-персонализирано изживяване, като същевременно запазва поверителността на потребителските данни.

С други думи, федеративното обучение е метод на машинно обучение, който се използва за обучение на алгоритми на децентрализирани крайни устройства, като същевременно запазва данните локални за всяко устройство.

По този начин Federated Learning позволява споделяне на информация между клиент и сървър, като същевременно запазва поверителността на информацията чрез хомоморфна система за криптиране. Хомоморфното криптиране дава възможност за извършване на сложни изчисления върху криптирани данни в местоположението на отдалечения сървър; резултатите от това изчисление (резултатите са криптирани) се изпращат обратно на клиентите. Клиентите вече могат да дешифрират данните, премахвайки заплахата от манипулиране на данни.

И така, как работи FL?

Моделите на федеративно обучение започват като всеки друг модел на машинно обучение, той започва с обучение на общ ML модел в централен сървър. Важно е да се отбележи, че този модел не е персонализиран, а по-скоро се използва като контейнер за създаване на основата. След това сървърът изпраща този модел до всички потребителски устройства (клиенти). В настоящата среда клиентските системи генерират данни, което води до обучение, адаптиране и подобряване на локалните модели с течение на времето.

След това потребителските устройства изпращат своите знания/модели до централния сървър чрез криптиран комуникационен канал. Този криптиран канал за комуникация използва хомоморфно криптиране, което гарантира, че личните данни на потребителя не се разкриват. Следващата стъпка включва вземане на новите модели от всеки клиент и агрегирането им към първоначалния модел; първоначалният модел вече е подобрен и по-точен. Този подобрен модел се споделя отново с останалите клиенти и този цикъл се повтаря отново и отново, докато точността и персонализирането на модела се оптимизират.

Федералното обучение е една от най-новите и горещи теми в изследователската област на AI/ML, като Google играе решаваща роля в нейното развитие. Понастоящем основният фокус на изследванията е върху обединеното обучение между устройства. Това се фокусира върху решаването на проблема с обучението на модели за машинно обучение на устройствата на милиони клиенти, като същевременно се гарантира поверителността на данните. Решаващ аспект за това е изпращането само на част от резултатите от обучението (обучителни производни) в облака. След като тези данни бъдат събрани в облака, вземането на частични резултати от обучение от милион клиенти помага за създаването на нов супермодел, който може да бъде по-точен. Това е основният фокус на Googleи е предоставено чрез тяхната рамка с отворен код, Tensorflow Federated.

Обединени рамки за обучение

Подобно на начина, по който другите ML модели/проекти имат рамки и библиотеки, обединеното обучение има няколко рамки и библиотеки, които се използват за обучение на тези алгоритми и позволяват плавен и работещ тръбопровод за данни (между сървър и клиент).

Странична бележка: това са само няколко ръчно подбрани рамки, има още за използване и изследване!

Tensorflow Федеративен

Тази рамка е разработена от Google; Tensorflow Federated (TFF) е рамка с отворен код, която се използва за обучение на ML модели с децентрализирани данни. Освен това е базирана на Python рамка; по отношение на експериментирането с обединено обучение, той е на преден план.

OpenFL

Тази рамка е разработена от intel; Open Federated Learning е рамка с отворен код, която се фокусира върху частната FL парадигма за данни за обучение на ML алгоритми. Тази рамка използва интерфейс на командния ред и API на Python. Open FL работи с конвейери за обучение, главно такива, изградени от PyTorch и TensorFlow.

IBM федеративно обучение

IBM Federated Learning е рамка, използвана от специалисти по данни и ML инженери; използвани за интегриране на обединени работни потоци за обучение в корпоративната среда. FL рамката е разнообразна и поддържа много алгоритми, топологии и протоколи:

  • Линейни регресии
  • Алгоритми за дълбоко укрепване на обучението
  • Наивен Байес
  • Дървета на решенията
  • Модели на Keras, PyTorch и Tensorflow

Приложения на федеративно обучение

Федерираното обучение има голям потенциал за премахване на логистичните проблеми, които съществуват в нашия свят. Когато става въпрос за внедряване на модели за машинно обучение в реалния свят, има проблеми, с които се сблъскваме по отношение на местоположението на данните и поверителността на данните. Въпреки че федеративното обучение е сравнително ново подмножество на машинното обучение, то има някои приложения в реалния свят, които се считат за ефективни и въздействащи:

Здравеопазване 🏥

Има много дискусии относно изкуствения интелект и машинното обучение в областта на здравеопазването от доста години, но бъдещето на здравеопазването е в ръцете на федеративното обучение. Един от най-големите проблеми с компютърните системи в здравното пространство е поверителността на данните, по-специално защитената здравна информация. Има много закони, които не позволяват споделянето на тези данни. Въпреки това, с децентрализирания модел на обединено обучение, различни данни могат да се използват от бази данни за усъвършенстване на тези FL модели, като същевременно се спазват разпоредбите.

Много специфичен пример за това би било използването на федеративно обучение за прогнозиране на клинични резултати при пациенти с covid-19. Учените са приложили данни от 20 различни източника, за да обучат модел на обединено обучение, като същевременно са запазили анонимността на пациентите. Моделът се нарича EXAM (модел с изкуствен интелект на рентгенови лъчи на гръден кош с електронен медицински запис) и целта на модела е да предскаже нуждите от кислород на пациенти с COVID-19. Входните данни, които бяха използвани, бяха жизнени показатели, лабораторни данни и рентгенови снимки на гръдния кош.

Маркетинг 📈

Традиционно в миналото рекламата и маркетингът са имали универсален модел за всички. Но този модел не гарантира успех, тъй като различните аспекти и характеристики резонират по различен начин с всеки потребител. Като такава персонализацията е жизненоважна в маркетинговото и рекламното пространство. Персонализирането обаче изисква много индивидуални потребителски данни, но има опасения колко данни се споделят. Социалните медии, платформите за електронна търговия и други уебсайтове са имали история на достъп до лична информация и данни от потребители. Като каза това, федеративното обучение адресира тези проблеми и запазва данните анонимни, докато обучава модела.

В момента Facebook възстановява начина, по който работят своите реклами, като оценява поверителността на потребителите. Компанията експериментира с обучение на устройствотокато изпълнява тези алгоритми локално на телефона на клиента. Вместо да се прехвърлят данни, обученият модел се изпраща обратно в облака в криптиран формат, за да може маркетинговият екип да анализира и прегледа.

Автономни превозни средства 🚗

Федералното обучение също е в състояние да предоставя прогнози и информация в реално време; като каза това, данните в реално време са от решаващо значение за автономните превозни средства. Тези превозни средства трябва да могат да разбират пътните знаци, движещите се коли, пешеходците и други фактори в реално време. Всичко това изисква непрекъснато обучение и по-бързо вземане на решения. Транспортната индустрия е страхотна индустрия за обединено обучение, в която да се стремите; „изследователски“ проект, проведен през 2021 г., доказа, че федеративното обучение може да намали времето за обучение, необходимо за автономните превозни средства, и да ги пусне на пътя по-бързо!

Бъдещето на федеративното обучение

Като се има предвид всичко това, бъдещето на машинното обучение е много обещаващо. Обединеното обучение ще създаде нови възможности за нови приложения. По този начин опитът на потребителя само ще се подобри по начин, който не е виждан досега. Ще бъдат разработени повече рамки, моделите ще станат по-точни и новите компании ще помогнат да се осигури платформа за ускоряване на растежа на приложенията за обединено обучение. Бъдещето на машинното обучение е децентрализирано.

Ако ви е харесала тази статия, не се колебайте да я поздравите и да я споделите! Можете да ме намерите в LinkedIn и ако искате да разгледате някои от другите ми работи, ето моя личен уебсайт :)