Свързани публикации 'overfitting'


4 ефективни начина за предотвратяване на прекомерното оборудване и защо работят
Изграждане на полезни модели за машинно обучение Въведение В тази публикация ще споделя четири практически начина, по които можете да избегнете пренастройването при изграждане на модели за машинно обучение (ML) и защо те са ефективни. Пренастройването е нежелано състояние, което възниква, когато моделът е монтиран твърде близо до данните за обучение, така че не може да се обобщи добре към нови примери, тоест не може да даде точни прогнози за невиждани преди набори от данни. Нека..
Решение на упражненията [Глава-4: Модели на обучение]…
Глава-4: Модели на обучение 1. Какъв алгоритъм за обучение на линейна регресия можете да използвате, ако имате набор за обучение с милиони функции? Както подходът на нормалното уравнение, така и подходът на декомпозиция на единична стойност (SVD) стават много бавни, когато броят на характеристиките нараства (напр. 100 000). Въпреки това, Gradient Descent се мащабира добре с броя на функциите; обучението на модел на линейна регресия, когато има стотици хиляди характеристики, е..
Може ли дървото на решенията да се използва за регресионни проблеми?
Регресионното дърво е основно дърво на решенията, което се използва за прогнозиране на непрекъснато оценени резултати. В дърветата на решенията за класификация дървото се разделя на базата на ентропия и придобиване на информация. Въпреки това, тъй като предвиждаме непрекъснатите променливи, ентропията не може да не се използва вместо това се използва средна квадратична грешка. Средната квадратична грешка (mse) ни казва колко нашите прогнози се отклоняват от първоначалната цел. В..
Проблемът с индукцията и неговите последици за машинното обучение
Машинното обучение става все по-важно в широк спектър от области, от здравеопазването през финансите до развлеченията. Тези алгоритми са предназначени да научават модели от данни и да правят прогнози въз основа на тези модели. Въпреки това допусканията, които са в основата на алгоритмите за машинно обучение, не винаги са добре разбрани и в някои случаи могат да бъдат проблематични. Едно такова предположение е проблемът с индукцията, който поставя под въпрос валидността на индуктивните..
Решаване на бизнес казус от реалния живот с помощта на контролирано обучение с Tensorflow 2.0
Задача: Създаване на алгоритъм за машинно обучение, който може да предвиди дали клиент ще купи отново Бизнес казус: Имаме данни от компания за приложения за електронни книги. Предвид данни от тяхната база данни. В набора от данни всеки клиент е закупил книга веднъж, това е условието да бъде включена. Сега искаме да създадем алгоритъм за машинно обучение, базиран на нашия набор от данни, който може да предвиди дали клиентът ще купи електронна книга отново или не. Основната идея е,..
Първият и най-разочароващ капан на машинното обучение — Пренастройване!
В предишната статия обсъдихме две важни концепции, които искахме да проучим по-нататък, когато оценявахме данните за обучението и определяхме дали моделът е подходящ: Пренастройване и Недостатъчно монтиране . Нека започнем, като дефинираме тези термини по по-лицевиден начин: Преоборудване Пренастройването възниква, когато нашият модел стане твърде „привързан“ към данните за обучение. По принцип той запомня примерите за обучение толкова добре, че се бори да обобщи нови,..
Обобщаване, пренастройване и недостатъчно приспособяване в контролираното обучение
Една от задачите при изграждането на модел на контролирано обучение, независимо дали е за класификация или регресия, е да се създаде модел, който ще прави правилни прогнози, учейки се от данните за обучение. Но моделът ще бъде безполезен, ако не можем да направим правилни прогнози и върху невидим набор от данни. Тази способност да се представя добре на издържан тестов набор е способността на алгоритъма да обобщава. Но как да разберем дали обученият модел ще обобщи добре или ще бъде точен..