Публикации по теме 'dataflow'


Введение в графы DataFlow как основу глубоких нейронных сетей
Введение в графы DataFlow как основу глубоких нейронных сетей «Глубокие нейронные сети» - модное слово, которое существует уже довольно давно, с его приложениями, начиная от классификации текста и заканчивая самоуправляемыми автомобилями, созданием фотореалистичных изображений, музыкальной композицией, робототехникой и многими другими, еще не появившимися. Интересно, что в основе всех этих сверхразумных приложений лежит поток математических производных, плавающих под капотом таких,..

Вопросы по теме 'dataflow'

Использование идиом программирования Clojure DataFlow
Может кто-нибудь объяснить, почему и как я буду использовать API-интерфейс программирования Clojure Dataflow, поскольку я не могу найти много информации об этом в Интернете.
2308 просмотров
schedule 09.11.2022

Поток данных TPL прерывает LinkTo() во время выполнения
У меня есть TransformManyBlock<Tin, Tout> , и во время выполнения я добавляю потребителей (ActionBlocks) через LinkTo(...) . Является ли TransformManyBlock правильным блоком потока данных для потребления элементов, их преобразования и...
1327 просмотров

Как объединить одно сообщение в несколько групп с помощью Spring Integration Aggregator
Привет, мы пытаемся транслировать рыночные данные о процессах финансирования для расчета торгового сигнала, используя apache camel или весеннюю интеграцию. Один из наших вариантов использования - это агрегирование последовательных цен на основе...
1021 просмотров

Как исправить ошибку Не удалось установить FTP-соединение, неверный хост или порт в Magento
Я пытаюсь импортировать продукты в Magento с удаленного FTP-сервера, используя расширенный профиль потока данных Magento, но продолжаю получать следующую ошибку. Я новичок в этом и нигде не мог найти ответ о том, как это исправить, и я надеюсь, что...
1394 просмотров
schedule 15.03.2024

Проблема с памятью в реализации TPL Dataflow операции чтения-записи ввода-вывода
Я попытался реализовать операцию чтения и записи с использованием операций файлового ввода-вывода и инкапсулировал эти операции в TransformBlock , чтобы сделать эти операции потокобезопасными вместо использования механизма блокировки. Но проблема...
634 просмотров

Задача потока данных служб SSIS и смешанный выбор
Не удается заставить подписку работать. Обратите внимание, что он отлично работал с пакетом SQL Server 2000 DTS. AXDB — это внешний сервер (SQL Server 2000 Enterprise), а OLAP — локальная база данных, стандарт SQL Server 2008 R2 (olap — это...
42 просмотров
schedule 15.06.2024

Невозможно запустить несколько конвейеров в желаемом порядке, создав шаблон в Apache Beam
У меня есть два отдельных конвейера: «P1» и «P2». В соответствии с моим требованием мне нужно запускать P2 только после того, как P1 полностью завершит свое выполнение. Мне нужно выполнить всю эту операцию с помощью одного шаблона. Обычно шаблон...
2596 просмотров

На каком этапе Dataflow / Apache Beam подтверждает сообщение pub / sub?
У меня есть задание потоковой передачи данных с подпиской Pub / Sub в качестве неограниченного источника. Я хочу знать, на каком этапе поток данных подтверждает входящее сообщение pub / sub. Мне кажется, что сообщение теряется, если на любом этапе...
1826 просмотров

Dataflow Task.WhenAll причины Задача была отменена Исключение
Я новичок в Dataflow и следую этому пошаговому руководству Как отменить блокировку потока данных . Я сначала нажимаю кнопку "Добавить", а затем нажимаю "Отмена", но получаю исключение " Задание было отменено Исключение " после нажатия кнопки отмены....
669 просмотров
schedule 27.10.2022

Есть ли разница в BigQueryIO при использовании fromTable и fromQuery(SELECT *) в потоке данных?
Когда вам нужно прочитать все данные из одной или нескольких таблиц в bigquery в задании потока данных, я бы сказал, что есть два подхода к этому. Первый — использовать BigQueryIO с from , который считывает рассматриваемую таблицу, а второй подход...
532 просмотров

Ошибка при использовании DataflowPythonOperator воздушного потока для планирования задания потока данных
Я пытаюсь запланировать задания потока данных с помощью воздушного потока DataflowPythonOperator. Вот мой оператор dag: test = DataFlowPythonOperator( task_id = 'my_task', py_file = 'path/my_pyfile.py', gcp_conn_id='my_conn_id',...
1792 просмотров
schedule 09.01.2024

Поток данных для программного слива конвейера
Пробовал слить пайплайн программно. Первая часть кода запускает конвейер, который вызывается с помощью отдельного потока. Затем программа некоторое время спит, а затем пытается опустошить конвейер. Я пытался запустить в Dataflow, и это не...
273 просмотров
schedule 30.09.2022

Сравнение чтения BigQueryIO и fromQuery
Скажем, в программе Dataflow/Apache Beam я пытаюсь прочитать таблицу, в которой данные экспоненциально растут. Я хочу улучшить производительность чтения. BigQueryIO.Read.from("projectid:dataset.tablename") or...
1215 просмотров

Выполнение обработки после PDone
Есть ли способ использовать результат из приемника, т. е. PDone , для дальнейшей обработки, например отправки сообщения в Pub/Sub только после того, как данные были полностью записаны в GCS или все строки были записаны в BigQuery?
170 просмотров

Как решить проблемы со стабильностью в Google Dataflow
У меня есть задание Dataflow, которое стабильно работает несколько месяцев. Последние 3 дня или около того у меня проблемы с работой, она застревает по прошествии определенного времени, и единственное, что я могу сделать, это остановить работу и...
192 просмотров

Как запланировать задание потока данных, запустив задание cron Google Compute Engine
В часто задаваемых вопросах о потоках данных указано, что выполнение пользовательских (cron) процессов заданий on Compute Engine — это способ планирования конвейеров потоков данных. Я не понимаю, как именно это нужно сделать: как запустить задание...
247 просмотров

Ни один из элементов в PCollection не влияет на выделенных рабочих
У меня есть конвейер, состоящий из трех этапов. На первом этапе это ParDo, который принимает 5 URL-адресов в коллекции PCollection. И каждый из 5 элементов генерирует тысячи URL-адресов и выводит их. Таким образом, ввод второго шага - это еще одна...
33 просмотров

Стратегия обновления приложения подписки Pub/Sub
Мне любопытно, как подойти к ситуации обновления/перезагрузки приложения, использующего сообщения из Google Pub/Sub. Например, меня особенно интересует разработка приложения Golang, которое развертывается в Kubernetes с несколькими модулями и...
65 просмотров