Проблемы с ограниченным URL-адресом YQL robots.txt

Я разрабатываю веб-приложение, которое включает следующий запрос YQL:

SELECT * FROM html WHERE url="{URL}" and xpath="*"

На прошлой неделе я развернул новую версию и заметил, что страница зависает на запросе YQL. Когда я вернулся вчера, проблема, казалось, устранилась за выходные. Я только что развернул новую версию на сервере, и проблема вернулась снова. Стек серверов Ngnix/Passenger/Sinatra

Вводя запрос в консоль YQL, я получаю сообщение об ошибке: «Запрос ограниченного URL-адреса robots.txt:»

Я добавил следующий файл robots.txt:

User-agent: Yahoo Pipes 2.0
Allow: /

Но это, кажется, ничего не делает.

Мысли? Мне довольно любопытно, почему YQL сообщает, что URL-адрес ограничен robots.txt, когда это не так.


robots.txt sinatra yql
person existentialmutt    schedule 03.05.2011    source источник

Ответы (2)


arrow_upward
0
arrow_downward

У меня была такая же проблема. У меня есть подозрение, что это отчасти проблема со стороны Yahoo.

В мои приложения Sinatra я добавил...

get 'robots.txt' do
"User-agent: * Allow: /"
end

Время от времени это срабатывало... а затем на какое-то время снова отказывали в доступе.

Если вы используете это, чтобы избежать междоменных проблем с javascript... В конце концов я сдался и использовал локальный PHP-скрипт для извлечения данных, а не YQL.

person mscccc    schedule 06.05.2011

arrow_upward
0
arrow_downward

Попробуйте добавить &diagnostics=true в запрос YQL. Это сработало для меня.

person nidheeshdas    schedule 27.08.2013