Вопросы по теме 'task-queue'

Запустить функцию, когда очередь задач пуста на appengine
Каждый день у меня есть работа cron, чтобы сделать вызов API и получить некоторые данные. Для каждой строки данных я запускаю очередь задач для обработки данных (что включает поиск данных через дополнительные API). Как только все это закончится, мои...
721 просмотров
schedule 15.10.2022

Время обработки очереди задач GAE в java
В моем веб-приложении jsp при обработке отчета всегда возникает DeadlineExceededException. Поэтому я переместил процесс в очередь задач движка приложения. Но, используя очередь задач, он не будет генерировать отчет и никогда не показывать никаких...
757 просмотров

GAE, Cloud SQL и run_in_transaction
Я использую GAE с Cloud SQL. Кажется, я не вижу, чтобы это упоминалось в документации, поэтому я подумал, что попрошу просто уточнить мое понимание. Является стандартным методом группировки транзакций, т.е.: def...
316 просмотров

GAE — выполнение множества мелких задач через фиксированное время
Я хотел бы создать приложение Google App Engine, которое отправляет сообщение Facebook пользователю в фиксированное время (например, через день) после того, как он нажмет кнопку в приложении. Масштабирование с использованием cron или очередь задач...
206 просмотров

RabbitMQ: Что предлагает сельдерей, чего нет в пике?
Я работал над тем, чтобы некоторые распределенные задачи работали через RabbitMQ. Я потратил некоторое время, пытаясь заставить Celery делать то, что я хотел, и не мог заставить его работать. Затем я попытался использовать Pika, и все...
11118 просмотров
schedule 11.01.2024

Создайте автоматическое периодическое задание, которое будет выполняться каждые 10 минут в App Engine.
Моя проблема в том, что я хочу планировать задание на сервере каждые 10 минут, которое будет загружать, анализировать и хранить RSS-каналы в базе данных. Я читал о Task Queue в App Engine, но не уверен, что это подходящий инструмент для работы??...
116 просмотров
schedule 30.04.2024

Как интегрировать движок приложений google, очередь taks и вычислительный движок google?
Я пытался понять, как я могу настроить следующую архитектуру в облаке Google: Механизм приложений Google получает HTTP-запрос Движок приложений Google ставит задачу извлечения в очередь в результате HTTP-запроса. Задача получена группой...
1072 просмотров

Gearman обрабатывает параллельно и дает промежуточный вывод
Я использую Gearman и Slim PHP для создания спокойного API, в котором: Пользователь вызовет restful API и отправит URL-адрес файла. Тогда это будет: Загрузите файл и отправьте пользователю уникальный идентификатор файла в качестве...
317 просмотров
schedule 10.01.2024

Что такое распределенная система обмена сообщениями? Что именно в нем «распределено»?
Повсеместно упоминается, что - 'Celery - это асинхронная очередь задач/очередь заданий, основанная на распределенной передаче сообщений' . Хотя я знаю, как использовать рабочие процессы Celery и все такое. Но в глубине души я не понимаю реальной...
948 просмотров
schedule 01.10.2022

Спорадическая ошибка в GAE с использованием deferred.defer — RequestTooLargeError: слишком большой запрос на вызов API datastore_v3.Put().
Похоже, что этот вопрос задавался много раз, и я знаю, что хранилище данных имеет ограничение на хранение 1 МБ на объект, как объяснено здесь . Но. Я все еще застрял ... Вот код, который я использую для отсрочки задач (в основном взяты из...
127 просмотров

Как передать любой объект службы API Google отложенной задаче в App Engine?
В настоящее время я разрабатываю приложение App Engine с использованием API Drive v3, но этот вопрос относится к большинству API Google. Поскольку Drive API работает медленно в некоторых операциях, я хочу разделить каждую обработку файлов на разные...
340 просмотров

Как выполнить код в Django после отправки ответа клиенту (на PythonAnywhere)?
Я ищу способ выполнить код в Django после того, как ответ был отправлен клиенту. Я знаю, что обычный способ - реализовать очередь задач (например, Celery). Однако служба PaaS, которую я использую (PythonAnywhere), не поддерживает очереди задач по...
999 просмотров
schedule 12.03.2024

GAE — достигнута квота байтов сохраненных задач в очереди задач
У нас была ошибочная задача, загрузившая очередь задач в GAE, и она заполнила доступные «сохраненные байты задачи». Мы решили проблему и очистили очереди задач, но прошло несколько часов, а пространство не было восстановлено. Есть ли способ...
48 просмотров
schedule 29.10.2023

Конфликт базы данных GAE Push Queue во время запроса к хранилищу данных
Резюме У меня возникла проблема, из-за которой база данных записывает из моей очереди задач (примерно 60 задач со скоростью 10/с) каким-то образом перезаписывается/отбрасывается во время параллельной работы с базой данных чтение одних и тех же...
43 просмотров