Как Fung Fellows, Blue Goji и Microsoft създадоха виртуален преподавател

Разработването на виртуален преподавател за игра за виртуална реалност (VR) произхожда от проекта за активно обучение на програмата Fung Fellowship for Wellness and Technology Innovations. Стипендията Fung е уникална програма за предприемачество и иновации, която свързва различни студенти – 1/3 инженерство/компютърни науки, 1/3 обществено здраве и 1/3 други специалности, включително изкуства и архитектура – ​​с партньори от общността и индустрията за устойчиво здравен и технологичен опит. Поради интердисциплинарния си характер и фокуса върху реални проблеми в здравеопазването, програмата привлича разнообразен студентски профил, включително по-големи кохорти от жени (64%) и първо поколение студенти (38%).

Blue Goji, технологична стартираща компания, фокусирана върху геймификацията на здравето, е един от поддръжниците на програмата за стипендии и е корпоративен спонсор на този проект за активно обучение. Целта на проекта е да проучи потенциалната ефективност от използването на технологията „Active Gaming“, разработена от Blue Goji, като стимули за мотивиране на учениците в началните и средните училища в общностите на Ийст Бей с недостатъчно обслужване за подобрено поведение в класната стая и да им помогне да се развиват по-добри умения за фокус и концентрация. Технологията Active Gaming включва среда за игри, базирана на Microsoft Windows, поддържаща активни 2D и VR игри и персонализирани стационарни велосипеди, модифицирани от Blue Goji за млади ученици.

Виртуалният преподавател е ключов компонент на този проект за активно обучение. Работейки с разработчици на игри Blue Goji и доброволци от Microsoft, включително възпитаник на магистърска степен по инженерство на UC Berkeley, Chun Ming Chin (програмен мениджър на Microsoft Search и AI), студентите от Fellowship създават специална версия за активно обучение на съществуваща игра Blue Goji VR, GoWings Safari.

Този екземпляр включва виртуален учител под формата на мъдра сова на име Мерлин. Летейки с „Wing Pack“, всеки ученик ще обиколи африканското сафари във въздуха. Мерлин ще напътства всеки ученик със забавни факти за сафари животни, докато летят. Мерлин също така ще помогне на учениците да упражняват своите математически умения, докато провеждат проучвания върху животни. За да направи това уникално изживяване наистина завладяващо, екипът на Fellowship се стреми да приеме технология за разпознаване на реч за по-естествено, базирано на глас взаимодействие между Мерлин и младите ученици.

Избор на правилния инструмент за разпознаване на реч

Под ръководството на Chun Ming екипът тества и експериментира с набор от технологии за разпознаване на реч от университета Карнеги Мелън (CMU), Google, Amazon и Microsoft. След първоначалното тестване и експериментиране, екипът избра да се съсредоточи върху използването на API на Microsoft Bing за разпознаване на реч.

Луис Хуанг, студент от EECS, който ръководи работата по програмиране, коментира: „В сравнение с моите типични задания за кодиране на клас, които използват инструменти с отворен код и общи публични данни, този проект наистина разширява моите познания и опит в работата с тези комерсиални инструменти. По-важното е, че знам как моята работа ще бъде използвана, за да помагам на деца от необслужвани общности, ми дава крайната мотивация да преодолея каквито и предизвикателства да се сблъскаме. Заедно преодоляхме много технически предизвикателства!“

Никълъс Као, студент по приложна математика, фокусиран върху работата по анализа и събирането на данни, потвърждава: „Базираният в облака инструмент за разпознаване на реч на Bing има висока точност на разпознаване! Следващото предизвикателство обаче, пред което сме изправени, е забавянето от 3 секунди при връщането на резултата от облака.“

За щастие Chun Ming успява да свърже студентите с друга група изследователи на Microsoft от базирания в Бостън екип на Azure в Центъра за изследване и развитие на Нова Англия (NERD). С достъп до работата на NERD върху продукт на Azure AI, известен като преносим компютър за виртуална машина за наука за данни, студентите от Fellowship успяха да постигнат точност на разпознаване на реч от виртуален преподавател от 91,9%.

Това е подобрение в сравнение с 85% точност при сравняване с модела за разпознаване на реч с отворен код на CMU. Освен това, средното време за изпълнение на модела е еднакво при 0,5 секунди на входен говорен файл между моделите на NERD и CMU.

Допълнителен прототип на модел за дълбоко обучение беше разработен от NERD въз основа на печелившо решение на предизвикателството за откриване и класификация на акустични сцени и събития (DCASE) 2017. Този модел може да повиши още повече точността на класификацията и да се мащабира до по-големи набори от данни за обучение.

Последната фаза на Fellows в основното училище включваше събиране на данни за гласово обучение от ученици от средното училище и калибриране на модела. Макс Казнади, старши учен по данни от NERD, сподели: „Това сътрудничество е удобен начин за тестване на инкубиране на AI инструменти от Azure и персонализиране на такива инструменти, за да осигурят по-голямо евангелско въздействие на необслужвани общности и компании като Blue Goji.“

Следващи стъпки

Екипът планира да приключи работата си по разработване на Virtual Tutor до края на лятото и да внедри тази активирана за Virtual Tutor версия на GoWings Safari като пилотна VR игра в средно училище през есента на 2018 г. Екипът се надява да наблюдава как учениците взаимодействайки с Мерлин, учителя, и съответно прецизирайте играта. Луис завършва Калифорнийския университет в Бъркли през май 2018 г. и ще следва своята магистърска степен по инженерство в Fung Institute през есента на 2018 г. Ник ще се дипломира през май 2019 г. и ще продължи да управлява този проект и да подкрепя средното училище през следващата учебна година.

Джеймс Таяли, продуцентът на GoWings Safari на Blue Goji, ще продължи да управлява проекта. Като възпитаник на Fung Fellowship със степен по обществено здраве, Джеймс е особено заинтересован от този изследователски проект. Израснал в Малави като сирак, Джеймс може да се идентифицира с деца от необслужвани общности. Той коментира: „Знам, че този проект може да помогне на деца, които са преживели много житейски предизвикателства в ранна възраст. Нямам търпение да видя резултатите!“

Това е печеливш проект за Blue Goji, студентите, университета и Microsoft. Коулман Фунг, главен изпълнителен директор на Blue Goji, коментира: „Студентите свършиха отлична работа, изследвайки тази технология за нас. В същото време те научават много за приложение в реалния свят за тази нововъзникваща технология, както и имат действителния опит в работата със своите клиенти - децата от тези общности, които не са добре обслужвани." Той продължава: „След пилотното тестване през следващата учебна година ще вземем окончателно решение дали ще приемем тази технология или не. Но аз съм много предпазлив оптимист.“