Инсталира Celery, но не изпълнява задачи

Използвам уеб услугите на Amazon. И се опитвам да накарам Celery да работи. Опитах се да направя това, което се казва в документацията (http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html#configuring-your-django-project-to-use-celery), но когато стартирам celery worker и се опитам да извикам задача, нищо не се случва, сякаш няма задача.

Ето моя файл settings.py:

import os
import djcelery
import djkombu
import sys
import tasks
sys.path.append(os.getcwd())

djcelery.setup_loader()

# Django settings for analogg project.

DEBUG = False
TEMPLATE_DEBUG = DEBUG

ADMINS = (
     ('Nikita', '[email protected]'),
)

MANAGERS = ADMINS

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.sqlite3', # Add 'postgresql_psycopg2', 'mysql', 'sqlite3' or 'oracle'.
        'NAME': 'analoggdb',                      # Or path to database file if using sqlite3.
        'USER': '',                      # Not used with sqlite3.
        'PASSWORD': '',                  # Not used with sqlite3.
        'HOST': '',                      # Set to empty string for localhost. Not used with sqlite3.
        'PORT': '',                      # Set to empty string for default. Not used with sqlite3.
    }
}

# Local time zone for this installation. Choices can be found here:
# http://en.wikipedia.org/wiki/List_of_tz_zones_by_name
# although not all choices may be available on all operating systems.
# On Unix systems, a value of None will cause Django to use the same
# timezone as the operating system.
# If running in a Windows environment this must be set to the same as your
# system time zone.
TIME_ZONE = 'America/Chicago'

# Language code for this installation. All choices can be found here:
# http://www.i18nguy.com/unicode/language-identifiers.html
LANGUAGE_CODE = 'en-us'

SITE_ID = 1

# If you set this to False, Django will make some optimizations so as not
# to load the internationalization machinery.
USE_I18N = True

# If you set this to False, Django will not format dates, numbers and
# calendars according to the current locale.
USE_L10N = True

# If you set this to False, Django will not use timezone-aware datetimes.
USE_TZ = True

# Absolute filesystem path to the directory that will hold user-uploaded files.
# Example: "/home/media/media.lawrence.com/media/"
MEDIA_ROOT = ''

# URL that handles the media served from MEDIA_ROOT. Make sure to use a
# trailing slash.
# Examples: "http://media.lawrence.com/media/", "http://example.com/media/"
MEDIA_URL = '/static/'

# Absolute path to the directory static files should be collected to.
# Don't put anything in this directory yourself; store your static files
# in apps' "static/" subdirectories and in STATICFILES_DIRS.
# Example: "/home/media/media.lawrence.com/static/"
SITE_ROOT = os.path.dirname(os.path.realpath(__file__))
STATIC_ROOT = os.path.join(SITE_ROOT, 'static')

# URL prefix for static files.
# Example: "http://media.lawrence.com/static/"
STATIC_URL = 'http://analogg.info/static/'

# Additional locations of static files
STATICFILES_DIRS = (
    # Put strings here, like "/home/html/static" or "C:/www/django/static".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
)

# List of finder classes that know how to find static files in
# various locations.
STATICFILES_FINDERS = (
    'django.contrib.staticfiles.finders.FileSystemFinder',
    'django.contrib.staticfiles.finders.AppDirectoriesFinder',
    'django.contrib.staticfiles.finders.DefaultStorageFinder',
)

ADMIN_MEDIA_PREFIX = '/static/admin/'

# List of callables that know how to import templates from various sources.
TEMPLATE_LOADERS = (
    'django.template.loaders.filesystem.Loader',
    'django.template.loaders.app_directories.Loader',
#     'django.template.loaders.eggs.Loader',
)

MIDDLEWARE_CLASSES = (
    'django.middleware.common.CommonMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    # Uncomment the next line for simple clickjacking protection:
    # 'django.middleware.clickjacking.XFrameOptionsMiddleware',
)

ROOT_URLCONF = 'analogg.urls'

# Python dotted path to the WSGI application used by Django's runserver.
WSGI_APPLICATION = 'analogg.wsgi.application'

TEMPLATE_DIRS = (
    "/templates/",
    "/home/ubuntu/analogg/templates",
    # Put strings here, like "/home/html/django_templates" or "C:/www/django/templates".
    # Always use forward slashes, even on Windows.
    # Don't forget to use absolute paths, not relative paths.
)

INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    # Uncomment the next line to enable the admin:
    'django.contrib.admin',
    # Uncomment the next line to enable admin documentation:
    'django.contrib.admindocs',
)

INSTALLED_APPS += ('djcelery', )
#INSTALLED_APPS += ('djkombu', )

CELERYBEAT_SCHEDULER = "djcelery.schedulers.DatabaseScheduler"

CELERY_SEND_TASK_ERROR_EMAILS = True
CELERY_DISABLE_RATE_LIMITS = True
CELERY_IMPORTS = ("analogg.tasks", )

#BROKER_URL = 'amqp://guest:guest@localhost:5672/'
#BROKER_BACKEND = "djkombu.transport.DatabaseTransport"


# A sample logging configuration. The only tangible logging
# performed by this configuration is to send an email to
# the site admins on every HTTP 500 error when DEBUG=False.
# See http://docs.djangoproject.com/en/dev/topics/logging for
# more details on how to customize your logging configuration.
LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'filters': {
        'require_debug_false': {
            '()': 'django.utils.log.RequireDebugFalse'
        }
    },
    'handlers': {
        'mail_admins': {
            'level': 'ERROR',
            'filters': ['require_debug_false'],
            'class': 'django.utils.log.AdminEmailHandler'
        }
    },
    'loggers': {
        'django.request': {
            'handlers': ['mail_admins'],
            'level': 'ERROR',
            'propagate': True,
        },
    }
}

Това е моят файл views.py:

# -*- coding: utf-8 -*-
from django.http import HttpResponseRedirect, HttpResponse
from django.template import Context, loader, RequestContext
from django.shortcuts import render_to_response
from tasks import parsesob, add
from parsersob import parser
import os, random, string

def index(request):
    html = "<html><body>Hello, world!</body></html>"
    add.apply_async(args=[id, '23bnn'])
    return HttpResponse(html)

Това е моят файл tasks.py:

from celery.decorators import task
from celery.task.schedules import crontab
from parsersob import parser
#from parsersob2 import parser2
from celery import Celery

#celery = Celery('tasks', broker='amqp://rabbitmqprelaunch9176@ip-10-117-81-80//')

@task
def add(id, a1, a2):
    f = open('add.txt', 'w')
    g = a1 + a2
    f.write(g)
    f.close()

И това е моят файл celeryconfig.py, който е в същата папка с tasks.py, settings.py и views.py:

#BROKER_URL = 'amqp://'
#CELERY_RESULT_BACKEND = 'analoggdb'
#BROKER_URL = "amqp://guest:guest@localhost:5672//"
CELERY_IMPORTS = ("analogg.tasks", )
#CELERY_RESULT_DBURI = "sqlite:///analoggdb.db"

CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Europe/Moscow'
CELERY_ENABLE_UTC = True

Аз съм начинаещ, така че може ли някой да ми каже какво да направя, за да работи. Всяка помощ ще бъде високо оценена.

UPD:

ubuntu@ip-10-117-81-80:/var/log/apache2$ sudo rabbitmqctl status
Status of node 'rabbit@ip-10-117-81-80' ...
[{pid,849},
 {running_applications,[{rabbit,"RabbitMQ","2.7.1"},
                        {os_mon,"CPO  CXC 138 46","2.2.7"},
                        {sasl,"SASL  CXC 138 11","2.1.10"},
                        {mnesia,"MNESIA  CXC 138 12","4.5"},
                        {stdlib,"ERTS  CXC 138 10","1.17.5"},
                        {kernel,"ERTS  CXC 138 10","2.14.5"}]},
 {os,{unix,linux}},
 {erlang_version,"Erlang R14B04 (erts-5.8.5) [source] [64-bit] [rq:1] [async-threads:30] [kernel-poll:true]\n"},
 {memory,[{total,25494568},
          {processes,11083752},
          {processes_used,11077008},
          {system,14410816},
          {atom,1124433},
          {atom_used,1120234},
          {binary,89696},
          {code,11134393},
          {ets,752120}]},
 {vm_memory_high_watermark,0.3999999990304762},
 {vm_memory_limit,247544217}]
...done.

Резултатът от изпълнение на celeryd:

ubuntu@ip-10-117-81-80:~/analogg$ python manage.py celeryd worker --loglevel=info

 -------------- celery@ip-10-117-81-80 v3.0.3 (Chiastic Slide)
---- **** ----- 
--- * ***  * -- [Configuration]
-- * - **** --- . broker:      amqp://guest@localhost:5672//
- ** ---------- . app:         default:0x13c2a90 (djcelery.loaders.DjangoLoader)
- ** ---------- . concurrency: 1 (processes)
- ** ---------- . events:      OFF (enable -E to monitor this worker)
- ** ---------- 
- *** --- * --- [Queues]
-- ******* ---- . celery:      exchange:celery(direct) binding:celery
--- ***** ----- 

[Tasks]
  . analogg.tasks.add
  . analogg.tasks.parsesob

[2012-07-22 06:24:30,336: WARNING/MainProcess] celery@ip-10-117-81-80 has started.

UPD:

    [Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] mod_wsgi (pid=7411): Exception occurred processing WSGI script '/home/ubuntu/analogg/apache/django.wsgi'.
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] Traceback (most recent call last):
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/core/handlers/wsgi.py", line 241, in __call__
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     response = self.get_response(request)
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/core/handlers/base.py", line 82, in get_response
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     urlconf = settings.ROOT_URLCONF
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/utils/functional.py", line 185, in inner
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     return func(self._wrapped, *args)
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] AttributeError: 'Settings' object has no attribute 'ROOT_URLCONF'
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] mod_wsgi (pid=7377): Exception occurred processing WSGI script '/home/ubuntu/analogg/apache/django.wsgi'.
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] Traceback (most recent call last):
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/core/handlers/wsgi.py", line 241, in __call__
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     response = self.get_response(request)
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/core/handlers/base.py", line 82, in get_response
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     urlconf = settings.ROOT_URLCONF
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]   File "/usr/local/lib/python2.7/dist-packages/django/utils/functional.py", line 185, in inner
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126]     return func(self._wrapped, *args)
[Sun Jul 22 08:10:58 2012] [error] [client 37.110.0.126] AttributeError: 'Settings' object has no attribute 'ROOT_URLCONF'

person Nikita    schedule 22.07.2012    source източник
comment
Тъй като сте коментирали ред #BROKER_URL = 'amqp://', какъв брокер използвате тогава?   -  person Tisho    schedule 22.07.2012
comment
Просто експериментирах с celeryconfig.py. Знам, не трябва да се коментира. Но дори и да го оставя без коментар, нищо не се случва.   -  person Nikita    schedule 22.07.2012
comment
Въпросът е имате ли инсталиран и работещ бекенд за опашка - като RabbitMQ (което е трудна работа за инсталиране на екземпляри на Amazon) или подобен? За да бъде изпълнена задачата, тя трябва да бъде поставена на опашка в брокер. Опитайте да зададете CELERY_ALWAYS_EAGER = True в конфигурацията и вижте дали работи...   -  person Tisho    schedule 22.07.2012
comment
Да, работи. Добавих актуализация към публикацията си, показваща отговора на състоянието на командата rabbitmqctl   -  person Nikita    schedule 22.07.2012
comment
Изпълнихте ли celeryd? python manage.py celeryd --someoptions... ? И ако да - какъв е изходът там?   -  person Tisho    schedule 22.07.2012
comment
Не трябва да import tasks във вашия settings.py, особено ако този модул създава задачи или зарежда нещо, свързано с Django.   -  person asksol    schedule 27.07.2012
comment
Не забравяйте, че когато импортирате неща в настройките, това означава, че модулите ще бъдат заредени, когато Django все още не е правилно настроен.   -  person asksol    schedule 27.07.2012


Отговори (1)


Не съм съвсем сигурен какъв е проблемът тук, но ето примерна конфигурация, която работи:

Това се намира в края на settings.py:

#CELERY CONFIG
import djcelery
djcelery.setup_loader()

BROKER_HOST = "Host"
BROKER_PORT = "Port"
BROKER_USER = "User"
BROKER_PASSWORD = "Pass"
BROKER_VHOST = "VHost"

CELERY_DEFAULT_QUEUE = "some_queue"
CELERY_DEFAULT_EXCHANGE = "some_exc"

User/pass/vhost на брокера се конфигурират с помощта на инструмента rabbitmqctl

Можете да проследите опашката/обмяната с

rabbitmqadmin get queue="some_queue"

ЗАБЕЛЕЖКА: Много е полезно да проследявате регистрационните файлове в /var/log/rabbitmq/[email protected] или какъвто и да е лог файлът. Това ще ви покаже дали има проблем с връзката с RabbitMQ, като грешни идентификационни данни, разрешения и т.н.

person Tisho    schedule 22.07.2012
comment
Предполагате ли, че проблемът е в настройките на rabbitmq? - person Nikita; 22.07.2012
comment
Както виждам другите настройки изглеждат добре. Веднъж прекарах много време в отстраняване на грешки в ситуация като тази и накрая това беше проблем с разрешенията. Така че вижте логовете на rabbitmq - това ще ви даде необходимата информация, ако проблемът е там. - person Tisho; 22.07.2012
comment
Добро обяснение тук: sakaijunsoccer.appspot.com/media/img/skills /програма/ - person Tisho; 22.07.2012
comment
Опитах вашето предложение, но сега получавам сървърна грешка 500. CELERYBEAT_SCHEDULER = djcelery.schedulers.DatabaseScheduler CELERY_SEND_TASK_ERROR_EMAILS = Вярно CELERY_DISABLE_RATE_LIMITS = Вярно CELERY_IMPORTS = (analogg.tasks, ) BROKER_HOST = локален хост BROKER_PORT = 5672 BROKER_USER = гост BROKER_ ПАРОЛА = BROKER_VHOST = заек CELERY_ROUTES = ('FILE_WITH_ROUTES',) - person Nikita; 22.07.2012
comment
Сега получавам: Невъзстановима грешка: OSError(12, 'Cannot allocate memory'). Грешка в сървъра при актуализация - person Nikita; 22.07.2012
comment
Има ли нещо в дневника на rabbitmq? Също така опитайте да добавите само тези в settings.py: import djcelery djcelery.setup_loader() BROKER_HOST = "localhost" BROKER_PORT = 5672 BROKER_USER = "guest" BROKER_PASSWORD = "guest" BROKER_VHOST = "/" CELERY_RESULT_BACKEND = "amqp" CELERYD_LOG_FILE = "celeryd.log" CELERYD_LOG_LEVEL = "INFO" - person Tisho; 22.07.2012
comment
Ето най-новото в rabbit log, но това е стара грешка =ОТЧЕТ ЗА ГРЕШКА==== 22-Jul-2012::12:37:04 === изключение при TCP връзка ‹0.622.0› от 127.0.0.1:55078 {channel0_error,opening, {amqp_error,access_refused, достъпът до vhost 'rabbit' отказан за потребител 'guest', 'connection.open'}} =ИНФОРМАЦИОНЕН ОТЧЕТ==== 22-Jul-2012::12:37:04 = == затваряне на TCP връзка ‹0.622.0› от 127.0.0.1:55078 - person Nikita; 22.07.2012
comment
Просто върнете всички промени от първоначалното състояние и добавете само настройките от предишния ми коментар тук.... Грешката казва, че гостът няма достъп до VHOST='rabbit'. Използвайте гост/гост по подразбиране или по-добре просто създайте нов потребител.. Но OSError по-горе е странен за мен. Може да има много причини за това... Трябва да отстраните малко грешки и да го накарате да работи... Не мога да помогна много с тази грешка .. - person Tisho; 22.07.2012
comment
Вероятно не. От това, което виждам - ​​djcelery се опитва да се свърже с RabbitMQ, което е добре. Просто трябва да почистите всички ненужни неща от settings.py и да го накарате да работи, като използвате валидни настройки на BROKER_[USER/PASS/VHOST]. - person Tisho; 22.07.2012
comment
Добре, но сега получавам това: ubuntu@ip-10-117-81-80:~/analogg$ sudo rabbitmqctl add_user celery nikita Създаване на потребител celery ... Грешка: не може да се свърже с възел 'rabbit@ip-10-117 -81-80': диагностика на nodedown: - възли и техните портове на ip-10-117-81-80: [{rabbit,53335}, {rabbitmqctl9982,40364}] - текущ възел: 'rabbitmqctl9982@ip-10-117 -81-80' - начална директория на текущия възел: /var/lib/rabbitmq - хеш на бисквитката на текущия възел: zNiwW+qJHs2e9AjWqb5uXw== [1] Убит python manage.py celeryd - person Nikita; 22.07.2012
comment
Изглежда нещо е убило възела rabbitmq. Рестартирайте го и се уверете, че сте добавили ВАЛИДЕН потребител/пас/vhost в settings.py. - person Tisho; 22.07.2012
comment
Получавам грешка, когато го рестартирам. „Грешка: не може да се свърже с възел „rabbit@ip-10-117-81-80“: диагностика на nodedown: - възли и техните портове на ip-10-117-81-80: [{rabbit,53335}, {rabbitmqctl10275 ,47489}] - текущ възел: 'rabbitmqctl10275@ip-10-117-81-80' - начална директория на текущ възел: /var/lib/rabbitmq - хеш на бисквитката на текущия възел: zNiwW+qJHs2e9AjWqb5uXw== ubuntu@ip-10- 117-81-80:~/analogg$' - person Nikita; 22.07.2012