Я использую Hive в HDinsight и хочу сохранить выходные данные задания в хранилище Azure (большой двоичный объект). Я старался
INSERT OVERWRITE DIRECTORY 'wasb://[email protected]/'
SELECT name, COUNT(*) as count FROM test
GROUP BY name
ORDER BY count DESC
Но эта возвращенная ошибка «Ошибка: java.lang.RuntimeException: Ошибка при настройке объекта». Не могли бы вы помочь мне перенаправить выходные данные задания в хранилище BLOB-объектов Azure?
Чтобы указать на хранилище BLOB-объектов Azure, необходимо использовать префикс uri wasb:// или wasbs://, например:
INSERT OVERWRITE DIRECTORY 'wasb://[email protected]/output' ...
В этой статье много примеров: http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/
Я думаю, вам также нужно указать каталог в пути. Похоже, что INSERT OVERWRITE ожидает, что сможет работать с каталогом таким образом, который не разрешен в корне. Ты можешь попробовать:
INSERT OVERWRITE DIRECTORY 'wasb://[email protected]/output'
SELECT name, COUNT(*) as count FROM test
GROUP BY name
ORDER BY count DESC;
Кроме того, не забудьте завершить выражение символом ;
Наконец, если вышеуказанное не работает, можете ли вы подтвердить, что у вас есть доступ к рассматриваемой учетной записи хранения из сеанса Hive, просто запустив:
dfs -ls wasb://[email protected]/;
Как уже упоминал RickH, вам не хватало двух вещей: каталога под именем контейнера и полузапятой после оператора SELECT. Следующий код должен работать.
INSERT OVERWRITE DIRECTORY 'wasb://[email protected]/2'
SELECT name, COUNT(*) as count FROM test
GROUP BY name
ORDER BY count DESC;
