Роден във Франция, но живее в Канада → той работи в Монреал → новаторска работа в областта на дълбокото обучение.
Лекцията на Тюринг → сега е негов ред да изнесе своята лекция.
Той започна да се занимава със задълбочено обучение → защото → просто разглеждаше изследователска тема → и смяташе, че малко принципи → могат да обяснят интелигентността.
Нашата интелигентност е огромна торба с трикове. (друга теория).
По негово време → класическите системи, базирани на правила, са били много популярни → но има проблем → много неща, които знаем. Познаваме ги по интуитивен начин. (трудно за обяснение → също липса на основни познания).
Невронните мрежи са вдъхновени от мозъка и повече → и има една идея → как мозъците учат → също така, това не е символ, а някакъв вектор.
А оптимизацията е друга област, върху която нещата трябва да се работят → обучение от край до край.
Той работеше в дълбокото обучение → успя да обучи мрежа, която имаше повече от два слоя. (след това → методи за обучение без надзор → напоследък → генеративните мрежи поемат).
Сега метаобучението и вниманието поемат → това може да е тайната за обобщение. (дори обобщете извън разпределението!).
Данните с големи размери са проблематични → правенето на апроксимация на функция е трудно за този вид данни → никога няма да имаме достатъчно данни → за покриване на всички измерения. (за изображение, което е).
Така че трябва да отвърнем на удара с високоразмерни модели → много параметри, както и да имаме добро предишно.
По-високото представяне → представлява по-абстрактни фигури → това е много интересна мисъл → и те разплитат представянето. (и това би било много подобно на начина на мислене на хората).
Локалните минимуми → може да не са нещо лошо → локалните минимуми → са възникнали в 2D или 3D → но в пространството с високи параметри е малко по-различно.
По-високото измерение → имаме много седловини → и локалните минимуми всъщност са добри.
Векторите → могат да бъдат представяне на думи → и 15 години по-късно → тези вграждания на думи се използват всеки ден.
Думи с подобни значения → са затворени една с друга.
И можем да използваме класификатор → за оценка на разпределения → точки с висока плътност. (след като опитах много неща → GANS започнаха да превземат) → игра мин-макс.
Генеративната мрежа → представлява разпределение → и друга мрежа → е класификаторът → това също е невероятно → и това също представлява разпределение.
Сега тези изображения → изглеждат много реални и можем да генерираме фалшиви медии.
Но трябва да комбинираме и двата изследователски маршрута → така че комбинацията от двете части би била огромна печалба. (и вниманието е друг огромен компонент).
Google translate → получи ОГРОМНО подобрение на производителността. (но това може да се приложи към общи проблеми като памет → и други).
Къде да насочим вниманието е ключовата идея → можем да се уверим, че това може да се научи. (това внимание се използва в много приложения).
Все пак трябва да свършим много работа → не е стабилна и съществуват много повече проблеми. (хората все още са много по-добри в ученето без надзор).
Взаимодействието с околната среда и самото учене → хората са много по-добри.
Как можем да открием правилния вид добро представяне? → една единствена цел не е добра идея → множество целеви функции изглеждат по-добра идея. (разредността също е важна).
Ние решаваме какво е съзнанието. (представителства на високо ниво).
Последователното представяне на ума и случващото се в реалния свят е свързано.
Работата, която върши д-р Бенджио → също тъй като AI се измества от лабораторията, трябва да вземем предвид кои са някои от приемливите начини, по които технологията може да се използва → от НПО и др. (AI Commons е нова организация).