Публикации по теме 'tensorflow-serving'


TensorFlow обслуживает несколько моделей машинного обучения одновременно для клиента Python REST API
Последняя миля в любом проекте машинного обучения - это развертывание решения, чтобы оно могло делать то, для чего было создано: улучшать жизнь людей. После того, как наши модели обучены и мы удовлетворены точностью модели, следует выполнить развертывание. И если мы намерены развернуть в производственной среде в большом масштабе, то обслуживание TensorFlow на графических процессорах в настоящее время является оптимальным вариантом. Кроме того, в зависимости от сложности решения для науки о..

От модели Кераса до замороженной модели
Один из наиболее часто задаваемых вопросов в репозитории Stackoverflow или Github на Keras - это преобразование модели. Для быстрого тестирования и доступности предварительно обученной модели для классификаторов изображений большинство разработчиков / исследователей обычно используют Keras. Модели классификаторов изображений, такие как VGG16 / 19, Inception, Resnet и т. Д., Легко загрузить с помощью библиотеки Keras. В большинстве случаев эти модели используются в качестве базовой..

Вопросы по теме 'tensorflow-serving'

Экспорт моделей Tensorflow только для собственных сред
Кто-нибудь видел какие-либо работы по этому поводу? Я думаю, что это будет достаточно распространенный вариант использования. Обучить модель в python, экспортировать график и сопоставить с последовательностью собственных инструкций?
54 просмотров
schedule 13.12.2023

Как сделать пакетную обработку в Tensorflow Serving?
Развернул Tensorflow Serving и провел тест для Inception-V3. Работает отлично. Теперь хотелось бы выполнить пакетную обработку для Inception-V3. Например. хотел бы отправить 10 изображений для прогнозирования вместо одного. Как это сделать?...
9260 просмотров
schedule 26.04.2024

Сохранить модель для обслуживания Tensorflow
Я новичок в тензорном потоке. Я выполнил инструкции по обслуживанию тензорного потока для обслуживания моделей в контейнере докеров. Я могу использовать модель mnist и начальную модель, следуя инструкциям из https://www.tensorflow.org/serving/ ....
1485 просмотров
schedule 28.12.2023

оптимизация производительности графа вывода тензорного потока
Я пытаюсь понять больше о некоторых удивительных результатах, которые я вижу при реализации графика tf. Граф, с которым я работаю, — это просто лес (куча деревьев). Это просто простой график прямого вывода, и ничего связанного с обучением. Я делюсь...
743 просмотров

Tensorflow: когда я загружаю сохраненную модель и использую прогноз, это дает действительно плохие результаты. Почему? (Я использую API оценщика)
Я использую API-интерфейс оценщика для обучения CNN, который классифицирует изображения фигур. Я могу успешно обучать CNN с помощью пользовательского input_fn (), который обучается из файла tfrecord. Затем я могу предсказать, используя...
939 просмотров

Как публиковать пользовательские (не тензорные) модели с использованием тензорного потока?
Я прочитал основной и расширенные учебники по tensorflow-serving, но мне все еще неясно, как создать поддержку в tensorflow-serving для следующего: модели, созданные на Python (например, xgboost или scikit-learn) модели, встроенные в R...
1165 просмотров

загрузка моделей тензорного потока в Java
exportDir = "gs://testbucket/export/"; SavedModelBundle b = SavedModelBundle.load(exportDir, "serve"); Выдает мне ошибку: org.tensorflow.TensorFlowException: SavedModel не найден в каталоге экспорта: gs: // testbucket / export /...
394 просмотров

Tensorflow Serving Ошибка установки образа Docker curl: (56) Ошибка приема GnuTLS (-54): ошибка в функции извлечения
Я пытаюсь создать образ докера, используя следующую команду docker build --pull -t $USER/tensorflow-serving-devel -f tensorflow_serving/tools/docker/Dockerfile.devel . Но когда он запускает следующую команду, Step 13/19 : RUN mkdir /bazel...
520 просмотров
schedule 27.05.2024

Клиент Tensorflow, написанный на java, не дает правильных результатов
Извините за длинный вопрос. Но, пожалуйста, помогите. Я написал клиент, обслуживающий тензорный поток, на java, который запрашивает сервер тензорного потока, размещенный на другом компьютере. Связь идет через GRPC и работает нормально, т.е. на...
342 просмотров

Как удалить детали модели из настраиваемого файла конфигурации модели, используемого для загрузки нескольких моделей при обслуживании тензорного потока?
Как удалить детали модели из настраиваемого файла конфигурации модели, который используется для загрузки нескольких моделей при обслуживании тензорного потока? Я имплементировал код для добавления моделей тензорного потока во время выполнения в...
355 просмотров

Получение объяснений модели с помощью Tensorflow Serving и SavedModel Estimators
Я обучил BoostedTreesClassifier и хотел бы использовать «вклады направленных функций», как изложено в этом руководстве . По сути, он позволяет вам «интерпретировать» прогноз модели и измерять вклад каждой функции с помощью...
351 просмотров
schedule 30.11.2022

Ошибка обслуживания Tensorflow при обслуживании модели tensorflow версии 1.5
Получение следующего сообщения об ошибке при запуске Tensorflow Serving в док-контейнере 2019-12-12 03:25:13.947401: I tensorflow_serving/model_servers/server.cc:85] Building single TensorFlow model file config: model_name: mymodel...
342 просмотров
schedule 30.09.2022

Tensorflow 2.0: добавьте шаг предварительной обработки изображения в сохраненную модель
Я новичок в TF и ​​развертывании на GCP. Так что заранее большое спасибо за помощь! В настоящее время я пытаюсь развернуть приложение Mnist-handwriting flask на Google Cloud Platform (GCP) с использованием TensorFlow Serving. Я развернул свою...
1484 просмотров

Как запустить tenorflow-serve, включая его модели, докером?
Проблема в том, что я хочу запустить tenorflow-serve, включая его модели, с помощью докера, но кажется, что докер не позволит тензорному сервису загрузить папку. В самом контейнере он может легко загружать модели: tensorflow_model_server...
139 просмотров

TensorFlow Обслуживание регрессионного метода REST API
У меня проблема с "регрессивным" API на обслуживающем сервере TensorFlow. Пожалуйста, просмотрите ссылку ниже, чтобы читать было удобнее. https://gist.github.com/krikit/32c918cc03b52315ade562267a91fa6b Я сделал простую модель keras, которая...
89 просмотров
schedule 30.11.2022

tenorflow, обслуживающий, возвращая NaN при прогнозе
Я обучил одну модель GAN и сохранил генератор следующей функцией: tf.keras.models.save_model( generator, filepath=os.path.join(MODEL_PATH, 'model_saver'), overwrite=True, include_optimizer=False,...
753 просмотров
schedule 21.11.2022

Ускорение времени логического вывода TF Serve
У меня есть модель, которая принимает 2 трехмерных тензора и выводит четырехмерный тензор. Protobuf-версия этой модели весит около 750 МБ. Исполняемый файл вывода C++ создается/запускается на компьютере с Windows 10 и использует ЦП. У меня есть...
43 просмотров

Не удается запустить tenorflow, обслуживающий из докера
Я пытаюсь обслужить мою модель тензорного потока / обслуживания с помощью докера. Далее следует пример https://www.tensorflow.org/tfx/serving/docker . Практически то же самое я делаю со своей простой моделью. В WindowsPowerShell: set-variable...
148 просмотров
schedule 21.02.2024

столкнулись с проблемами при переходе с ядра tensorflow на tensorflow lite
У меня возникают проблемы с преобразованием TensorFlow в TensorFlow Lite. Согласно исследованиям, сначала необходимо сохранить модель в формате .pb, и с помощью этого файла мы можем преобразовать ее в TensorFlow lite, но столкнулись с ошибкой.
26 просмотров

Используйте Nginx и / или Traefik для обслуживания моделей машинного обучения.
У меня есть модель машинного обучения на основе Python, которую я хочу обслуживать. Основываясь на моем исследовании, два наиболее популярных варианта: I. Flask + uWSGI II. FastAPI + Uvicorn with Gunicorn Вдобавок к этому мы можем использовать...
82 просмотров