Я пытаюсь получить вложения предложений для Берта, но я не совсем уверен, правильно ли я делаю это ... и да, я знаю, что такие инструменты уже существуют, такие как bert-as-service, но я хочу сделать это сам и понять, как это работает.
Допустим, я хочу извлечь вложение предложения из вложений слов из следующего предложения «Я есть.». Как я понял Берт выводит в виде (12, seq_lenght, 768). Я извлек каждое вложение слова из последнего слоя кодировщика в виде (1, 768). Теперь я сомневаюсь в том, чтобы извлечь предложение из этих двух векторов слов. Если у меня (2,768), должен ли я суммировать dim = 1 и получить вектор (1,768)? Или, возможно, объедините два слова (1, 1536) и примените (среднее) объединение и получите вектор предложения в форме (1, 768). Я не уверен, что это правильный подход к получению вектора предложения для данного примера.
