Миналия декември Google започна да използва BERT (Bidirectional Encoder Representations from Transformers), нов алгоритъм в своята търсачка. Предлага се в три дистрибуции от глобалната компания (обучена на английски, китайски, а също и многоезична), решението се състои в модел за обработка на естествен език, който позволява на Google да разбира по-добре какво се търси от потребителите, предоставяйки по-настоятелни резултати.
С цел да демократизира използването на алгоритъма на португалски, NeuralMind, стартираща компания, фокусирана върху продукти за анализ на текст и изображения с помощта на изкуствен интелект, обучи алгоритъма с помощта на BrWaC (Бразилска мрежа като корпус) и го публикува в GitHub. Компанията е първата, която предоставя решението на португалски език.
„Обучихме BERT да разбира португалски език. Това беше огромна работа, от няколко дни на Google Cloud машини, в допълнение към няколко седмици подготовка на данни“, казва техническият директор на NeuralMind, професор Роберто Лотуфо, който координира работата с изследователите на NeuralMind.
Изчислено е, че 15% от търсенията, извършвани ежедневно в платформата на Google, са формулирани по безпрецедентен начин. Следователно е необходимо да се разбере истинското значение на изречението, за да се гарантира идеалният резултат. „BERT позволява практически всички задачи, използващи естествен език, да бъдат решени по-добре с помощта на технологията. По този начин надвишава човешката производителност“, казва Лотуфо.
Решението е смущение за компаниите, както и за разработчиците и цялата технологична общност. Ако се интересувате, отворете GitHub на NeuralMind или страницата HuggingFaces, за да намерите хранилището. Повече информация: www.github.com/neuralmind-ai/portuguese-bert.
