Я дорабатываю модель берта из huggingface . Есть ли способ вручную установить начальное встраивание определенного фрагмента слова? например имеющий начальное вложение слова «собака», равное torch.ones(768) . Спасибо!

Я хочу предварительно обучить BERT и RoBERTa MLM, используя корпус домена (текст, связанный с настроениями). Сколько времени потребуется на использование 50–100 тысяч слов. Поскольку RoBERTa не обучена предсказанию следующей цели предложения, одной...

Я доработал две отдельные модели bert (bert-base-uncased) для задач анализа настроений и тегов pos. Теперь я хочу передать выходные данные теггера pos (batch, seqlength, hiddensize) в качестве входных данных для модели настроений. Исходная модель...

Вижу выходит два конфига T5model - T5Model и TFT5WithLMHeadModel . Я хочу проверить это для задач перевода (например, en-de), как показано в исходном репозитории Google. Есть ли способ использовать эту модель с обниманием лица, чтобы проверить...

Следующий код без партии: from transformers import GPT2LMHeadModel, GPT2Tokenizer import torch tokenizer = GPT2Tokenizer.from_pretrained("gpt2") model = GPT2LMHeadModel.from_pretrained('gpt2') model.eval()...

Я хочу добавить плотный слой поверх простого преобразователя модели BERT, выводящего необработанные скрытые состояния, а затем точно настроить полученную модель. В частности, я использую эту базовую модель. Вот что должна делать модель:...

Я пытаюсь выполнить многозадачную задачу классификации предложений с несколькими классами, используя предварительно обученную модель BERT из библиотеки huggingface transformers. Я пытался использовать модель BERTForSequenceClassification оттуда, но...

TL; DR: Моя модель всегда предсказывает одни и те же ярлыки, и я не знаю почему. Ниже приведен весь мой код для тонкой настройки в надежде, что кто-то укажет мне, в чем я ошибаюсь. Я использую TFBertForSequenceClassification Huggingface для задачи...

Я получаю следующую ошибку: AssertionError: text input must of type str (single example), List[str] (batch or single pretokenized example) or List[List[str]] (batch of pretokenized examples). , когда я бегу classifier(encoded) . Мой тип текста...