Какие модели NN на самом деле реализует spaCy? От чего зависит их размер в памяти?

Я видел, что существует статья, в которой изложена идея, лежащая в основе Sense2Vec, но как изначально создавались / создавались стандартные модели spaCy? Когда я загружаю что-то вроде стандартной модели "en_core_web_md" из подборки моделей, как это было? на самом деле создано? Могу ли я прочитать какие-нибудь статьи или написать сообщения в блоге?

Бонусный вопрос:

Почему новые модели грядущего spaCy 2.0 стали намного меньше по размеру?

Из обзора версии 2:

В этом выпуске представлены совершенно новые модели, основанные на глубоком обучении, для тегировщика, парсера и распознавателя объектов spaCy. Новые модели в 20 раз меньше линейных моделей, на которых до сих пор работал spaCy: с 300 МБ до всего 15 МБ.

единственная реальная ссылка, которая идет в этом направлении, - это здесь о выпуске резюме. Сводку по всем образцам, занимаемым памятью, можно найти здесь.

Предоставляются ли веса модели и каждый ли вызов для получения соответствующих атрибутов вычисляется на лету? Это объясняет более низкую пропускную способность, показанную в тестах на этой странице.


person n1k31t4    schedule 25.08.2017    source источник


Ответы (1)


Если вы посмотрите релизы в моделях репозитория github https://github.com/explosion/spacy-models/releases, есть подробности по каждой части модели, например теггер или парсер, указав, на каких данных он был обучен и какова точность полученной модели:

Парсер: OntoNotes 5, точность 91,5%

Tagger: OntoNotes 5, точность 96,9%

NER: OntoNotes 5, точность 84,7%

Векторы слов: обычное сканирование

Более подробную информацию о коде, необходимом для обучения модели, можно найти здесь: http://spacy.io/docs/usage/training. К упомянутым выше выпускам также прилагается исходный код, но я не проверял, что это за код.


Редактировать:

Прочитав обсуждение после анонса версии 2.0, я столкнулся с проблемой это объясняет, как новые модели NN работают внутри.

Вы можете найти его здесь: https://github.com/explosion/spaCy/issues/1057 < / а>

person Tobias    schedule 27.08.2017
comment
Отлично, спасибо - ваша редакция предоставляет большую часть информации, которую я искал! - person n1k31t4; 27.08.2017