Вопросы по теме 'bert-language-model'

запустить параметры python в Google Colab
Я запускаю файл python в Google Colab и получаю сообщение об ошибке. Я следую примеру классификации текста bert по этой ссылке;...
2688 просмотров

Предварительное обучение языковой модели BERT / RoBERTa с использованием текста предметной области, сколько времени это займет ориентировочно? что быстрее?
Я хочу предварительно обучить BERT и RoBERTa MLM, используя корпус домена (текст, связанный с настроениями). Сколько времени потребуется на использование 50–100 тысяч слов. Поскольку RoBERTa не обучена предсказанию следующей цели предложения, одной...
416 просмотров

Как скормить выходной сигнал от тонко настроенной модели койки в качестве входящего в другую отлаженную модель койки?
Я доработал две отдельные модели bert (bert-base-uncased) для задач анализа настроений и тегов pos. Теперь я хочу передать выходные данные теггера pos (batch, seqlength, hiddensize) в качестве входных данных для модели настроений. Исходная модель...
337 просмотров

Удаление запятых после обработки списков строк, когда '' .join (x) не работает
Итак, я ввел фрейм данных предложений для предсказания токена в BERT, и я получил в качестве вывода вместе с предсказаниями предложения, разбитые на слова. Теперь я хочу вернуть мой фрейм данных разделенных / токенизированных предложений и прогнозов...
338 просмотров
schedule 23.02.2024

Как получить контекстное встраивание фразы в предложение с помощью BERT?
Я использую  https://github.com/UKPLab/sentence-transformers  для встраивания предложений из БЕРТ. Используя это, я могу встроить предложения или фразы. Например: я могу получить встраивание предложения типа система не работает, передана в...
452 просмотров
schedule 09.01.2024

Как извлечь и использовать кодировки BERT предложений для схожести текста среди предложений. (PyTorch / Tensorflow)
Я хочу создать модель подобия текста, которую я обычно использую для поиска часто задаваемых вопросов и других методов, чтобы получить наиболее связанный текст. Я хочу использовать высокооптимизированную модель BERT для этой задачи НЛП. Я обычно...
784 просмотров

Как использовать результаты модели Берта?
Модель bert дает нам два выхода: один дает нам [batch, maxlen, hiddenstates], а другой - [batch, hidden States of cls token]. Но я не понял, когда использовать конкретный вывод. Может ли кто-нибудь сказать мне, для какой задачи какой вывод следует...
1021 просмотров
schedule 21.12.2023

Ускорение времени логического вывода TF Serve
У меня есть модель, которая принимает 2 трехмерных тензора и выводит четырехмерный тензор. Protobuf-версия этой модели весит около 750 МБ. Исполняемый файл вывода C++ создается/запускается на компьютере с Windows 10 и использует ЦП. У меня есть...
43 просмотров

Тренировки по диппавлову для NER продолжают давать сбои
Я пытался обучить модель диппавлова для NER на основе синтаксиса поезда, указанного в их документах, и он продолжает давать сбой с сообщением об ошибке ниже:...
92 просмотров
schedule 04.05.2024

Как добавить многоклассовый слой с несколькими метками поверх предварительно обученной модели BERT?
Я пытаюсь выполнить многозадачную задачу классификации предложений с несколькими классами, используя предварительно обученную модель BERT из библиотеки huggingface transformers. Я пытался использовать модель BERTForSequenceClassification оттуда, но...
780 просмотров

Huggingface TFBertForSequenceClassification всегда предсказывает одну и ту же метку
TL; DR: Моя модель всегда предсказывает одни и те же ярлыки, и я не знаю почему. Ниже приведен весь мой код для тонкой настройки в надежде, что кто-то укажет мне, в чем я ошибаюсь. Я использую TFBertForSequenceClassification Huggingface для задачи...
398 просмотров

HuggingFace Bert Анализ настроений
Я получаю следующую ошибку: AssertionError: text input must of type str (single example), List[str] (batch or single pretokenized example) or List[List[str]] (batch of pretokenized examples). , когда я бегу classifier(encoded) . Мой тип текста...
1671 просмотров