Ошибка импорта BigQuery Throwing, информация не предоставлена

Я пытаюсь импортировать файл CSV в свою таблицу BigQuery. Этот импорт работал в прошлом, но теперь я получаю следующее сообщение об ошибке:

{"message":"Обнаружено слишком много ошибок. Ограничение: 0.","причина":"недействительно"}

Все остальные поля пусты, когда я запускаю отладчик.

Это... не полезно. Я не знаю о каких-либо проблемах с самими данными, так как данные экспорта/импорта не изменились. Любопытно, что при попытке использовать предыдущий шаблон задания и запустить через веб-консоль сама веб-консоль зависает, и диалоговое окно никогда не исчезает, как только я нажимаю синюю кнопку «Отправить».

Идентификатор вакансии: job_e0faf560d3df424ea74519e1b24a23f7

Я создаю CSV и экспортирую его в Google Cloud Storage. Я использую AppEngine и перешел на новую клиентскую библиотеку Google Cloud Storage. Я загрузил файл с помощью GcsFileOptions.getDefaultInstance(), а также создал свой собственный GSFileOptions, установив тип содержимого в CSV.

После неудачи я загрузил файл из Google Cloud Storage, изменил кодировку (пробовал ASCII и UTF8) и все равно получил тот же результат.

Я использую AppEngine 1.8.1.1 и библиотеку BigQuery (google-api-services-bigquery-v2-rev89-1.15.0-rc). Раньше это работало, как и ожидалось, поэтому я не уверен, что произошло. Любые предложения приветствуются. Спасибо!


csv google-bigquery google-app-engine data-import
person Evan Ruff    schedule 25.06.2013    source источник

Ответы (2)


arrow_upward
3
arrow_downward

В задании bigquery есть два поля ошибок. Первый — это результат ошибки, который сообщает вам, не удалось ли выполнить задание (и почему). В вашем случае ошибка приводит к сбою задания из-за слишком большого количества ошибок ввода во время импорта.

Второе поле — это поток ошибок, который сообщает вам об ошибках, возникших во время задания. Например, если вы установили поле maxBadRecords, у вас могут быть ошибки в потоке ошибок, но фактическое задание может завершиться успешно.

Я просмотрел вашу работу в журналах BigQuery и смог обнаружить, что поток ошибок указывает на ошибку в строке 6253: «Слишком мало столбцов: ожидалось 80 столбцов, но получено 1 столбец. Для дополнительной справки: http://goo.gl/RWuPQ"

Можете ли вы проверить правильность строки 6253?

-- Джордан Тигани / Инженер BigQuery

person Jordan Tigani    schedule 25.06.2013
comment
Джордан, спасибо за проверку журнала. Похоже, в конце файла есть лишний возврат каретки! Я исправлю это и посмотрю, решит ли это проблему. Есть ли способ получить это сообщение об ошибке в ответе? Это было бы очень полезно и отлаживало бы эти проблемы. Спасибо, Э - person Evan Ruff; 25.06.2013
comment
Эй, Джордан! Это решило проблему. Я также заметил, что не распечатывал все ErrorProtobuffs, поэтому я не мог видеть ошибку. Надеюсь, это поможет кому-то в следующий раз. Спасибо! - person Evan Ruff; 25.06.2013

arrow_upward
1
arrow_downward

Сегодня возникла общая проблема с механизмом приложения: "Мы все еще изучаем проблему с Google App Engine, в первую очередь (но не ограничиваясь) задержкой хранилища данных. Мы предоставим еще одно обновление статуса в ближайшие два часа". https://groups.google.com/forum/#!topic/google-appengine-downtime-notify/1pJZnl4EMKk

person mdb    schedule 25.06.2013
comment
Моя проблема не на этапе экспорта. Это прекрасно работает. Мои проблемы связаны с импортом в BigQuery. Как вы думаете, эти две вещи связаны? Спасибо! - person Evan Ruff; 25.06.2013