Вопросы по теме 'word-embedding'

Биграмма в вектор
Я хочу создавать вложения слов для документов с помощью инструмента word2vec. Я знаю, как найти векторное вложение, соответствующее одному слову (униграмме). Теперь я хочу найти вектор для биграммы. Можно ли сделать с помощью word2vec? Если да, то...
5024 просмотров
nlp word-embedding word2vec
schedule 13.04.2024
Сходство контекста python word2vec с использованием окружающих слов
Я хотел бы использовать вложения, сделанные w2v, чтобы получить наиболее вероятные заменяющие слова, ДАННЫЕ контексту (окружающие слова), а не предоставлять отдельное слово. Пример: предложение = "Я хочу пойти в парк завтра после школы" Если я...
618 просмотров
python gensim word-embedding word2vec
schedule 29.10.2023
Использовать учебный код LSTM, чтобы предсказать следующее слово в предложении?
Я пытался понять пример кода с помощью https://www.tensorflow.org/tutorials/recurrent который вы можете найти на https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py . (Используя тензорный поток 1.3.0.) Я...
8267 просмотров
python tensorflow lstm word-embedding word2vec
schedule 27.11.2023
Tensorflow tf.nn.embedding_lookup
есть ли небольшая нейронная сеть в tf.nn.embedding_lookup?? Когда я обучаю некоторые данные, значение того же индекса меняется. Так это тоже обучено? пока я тренирую свою модель Я проверил официальный код embedding_lookup, но не вижу никаких...
898 просмотров
tensorflow word-embedding embedding-lookup
schedule 29.10.2022
Как инициализировать встраивание слов для слова вне словарного запаса?
Я пытаюсь использовать набор данных CoNLL-2003 NER (английский), и я пытаюсь использовать для него предварительно обученные вложения. Я использую предварительно обученные вложения SENNA. Теперь у меня около 20 тысяч слов в моем словаре, и из них у...
3351 просмотров
machine-learning nlp deep-learning word-embedding
schedule 11.11.2023
Как создать слой встраивания в Tensorflow RNN?
Я строю сеть RNN LSTM для классификации текстов по возрасту авторов (бинарная классификация - молодые/взрослые). Похоже, сеть не учится и вдруг начинает переобучать: Красный: обучение Синий: проверка Одной из возможностей может быть...
2838 просмотров
python tensorflow word-embedding rnn
schedule 23.12.2023
Как использовать мои собственные вложения предложений в Keras?
Я новичок в Keras, и я создал свои собственные вложения предложений tf_idf с формой (no_sentences, embedding_dim). Я пытаюсь добавить эту матрицу в качестве входных данных для слоя LSTM. Моя сеть выглядит примерно так: q1_tfidf =...
883 просмотров
keras nlp lstm word-embedding sentence-similarity
schedule 07.12.2022
Значение альфа в моделях встраивания слов gensim (Word2Vec и FastText)?
Я просто хочу знать влияние значения альфа в моделях gensim word2vec и fasttext встраивания слов? Я знаю, что альфа - это initial learning rate , а его значение по умолчанию - 0.075 из блога Radim. Что, если я изменю его на немного большее...
1934 просмотров
python-3.x gensim fasttext word-embedding word2vec
schedule 20.09.2022
Классификация текста с собственными вложениями слов с использованием нейронных сетей в R
Это довольно длинно, поэтому, пожалуйста, потерпите меня, к сожалению, ошибка возникает прямо в самом конце ... Я не могу предсказать невидимый набор тестов! Я хотел бы выполнить классификацию текста с встраиванием слов (которое я обучил на своем...
249 просмотров
r nlp neural-network word-embedding
schedule 18.12.2023
Ограниченный диапазон для встраиваний универсального кодировщика предложений TensorFlow Lite?
Начиная с универсального кодировщика предложений в TensorFlow. .js, я заметил, что диапазон чисел во вложениях был не таким, как я ожидал. Я ожидал некоторого распределения между [0-1] или [-1,1], но не увидел ни одного из них. За предложение...
690 просмотров
tensorflow tensorflow.js word-embedding tensorflowjs-converter
schedule 03.03.2024
Как найти похожие слова в слое Keras Word Embedding
Из курса Стэнфорда CS244N я знаю, что Gensim предоставляет фантастический метод для игры с данными встраивания: most_similar Я пытался найти эквивалент в слое Keras Embedding, но не смог. Это невозможно из коробки от Кераса? Или это была какая-то...
495 просмотров
keras word-embedding
schedule 23.10.2022
Вложения предложений Берта
Я пытаюсь получить вложения предложений для Берта, но я не совсем уверен, правильно ли я делаю это ... и да, я знаю, что такие инструменты уже существуют, такие как bert-as-service, но я хочу сделать это сам и понять, как это работает. Допустим, я...
2119 просмотров
nlp word-embedding sentence
schedule 20.09.2022
fastText - выдает исключение без каких-либо причин
Я использую fastText реализацию модуля gensim . Несмотря на отсутствие причин, моя программа выдает исключение. Вот код: try: data = [] with open(TXT_PATH, 'r', encoding='utf-8') as txt_file: for line in txt_file:...
78 просмотров
python-3.x gensim fasttext word-embedding
schedule 01.11.2022
Потеря валидации Keras NLP увеличивается, а точность обучения увеличивается
Я просмотрел другие сообщения с похожими проблемами, и мне кажется, что моя модель переоснащается. Тем не менее, я пробовал регуляризацию, отсев, уменьшение параметров, снижение скорости обучения и изменение функции потерь, но, похоже, ничего не...
247 просмотров
keras tensorflow nlp hyperparameters word-embedding
schedule 12.12.2022
От пустого массива предложений до массива встраивания
Я учусь использовать тензорный поток и пытаюсь классифицировать текст. У меня есть набор данных, в котором каждый текст связан с меткой 0 или 1. Моя цель — использовать встраивание некоторых предложений для классификации. Сначала я создал вложение...
405 просмотров
keras tensorflow nlp word-embedding embedding
schedule 02.12.2023
Gensim 3.8.0 в Gensim 4.0.0
Я обучил модель Word2Vec с помощью Gensim 3.8.0. Позже я попытался использовать предварительно обученную модель с помощью Gensim 4.0.o на GCP. Я использовал следующий код: model = KeyedVectors.load_word2vec_format(wv_path, binary= False) words =...
7162 просмотров
python nlp gensim word-embedding word2vec
schedule 05.06.2024