HIVE LLAP не работает со сложными типами

Я включил LLAP в песочнице Ambari, и мои запросы больше не работают.

У меня есть таблица с примитивными типами и сложными типами (структуры/массивы).

Я запрашиваю примитивный тип, и он выдает ошибку.

выберите * из test.data, где номер политики = '4'

Ошибка: java.sql.SQLException: ошибка при обработке инструкции: FAILED: ошибка выполнения, код возврата 1 из org.apache.hadoop.hive.ql.exec.tez.TezTask


hadoop hive ambari
person thanh nguyen    schedule 01.06.2017    source источник
comment
LLAP имеет ряд ограничений, см. > stackoverflow.com/questions/43771050/ например. Для начала, вы проверили журналы YARN для вашего запроса??   -  person Samson Scharfrichter    schedule 01.06.2017
comment
Я еще совсем нуб. Я постараюсь просмотреть журналы пряжи и посмотреть, даст ли это какие-либо подробности. Я знаю, что у него есть ограничения, но я подумал, что предложение where для примитивного типа помогло бы.   -  person thanh nguyen    schedule 03.06.2017
comment
Моя главная проблема сейчас заключается в том, насколько медленно он находит уникальную запись при поиске по столбцу примитивного типа, поэтому я попытался использовать llap. До llap агрегация — это здорово, но поиск по какому-то уникальному ключу ужасно медленный. Tez, orc, столбцы с примитивной сортировкой для предиката, также имеют столбцы сложного типа. 9 миллионов записей. С llap поиск вообще не будет работать   -  person thanh nguyen    schedule 03.06.2017
comment
Похоже, вы приехали с другой планеты и никогда ничего не читали об экосистеме Hadoop... Hive был разработан для МАССИВНЫХ ЗАПРОСОВ ПОЛНОГО СКАНИРОВАНИЯ огромных неизменяемых файлов данных. Столбчатые форматы файлов, такие как ORC и Parquet, позволяют пропустить сканирование (вместо полного сканирования). Формат файла CarbonData обещает инвертированный индекс, но он все еще экспериментальный и еще не интегрирован в Hive. С другой стороны, вы можете использовать HBase для доступа к ключу/значению. И вы можете использовать SolR или ElasticSearch для полнотекстового поиска. Но это разные инструменты, для разных целей и с разным дизайном.   -  person Samson Scharfrichter    schedule 03.06.2017
comment
Итог: если вы хотите выполнять OLTP-запросы к индексированным таблицам, просто используйте MySQL на своем ноутбуке. Или даже небольшую базу данных, такую ​​как H2 или SQLite. Сегодня 9 миллионов записей оцениваются как небольшие данные, которые, вероятно, будут работать на вашем смартфоне...   -  person Samson Scharfrichter    schedule 03.06.2017
comment
Причина, по которой я выбрал Hadoop, заключалась прежде всего в том, что поступающие данные представляли собой большие блоки XML с кучей вложенных объектов, которые я не хотел встраивать в таблицы.   -  person thanh nguyen    schedule 04.06.2017
comment
Можете ли вы помочь мне понять, почему тогда ORC медленный, без llap, и не может использоваться с llap, когда другие столбцы являются большими двоичными объектами, а условие where относится к примитивному типу? Я пытаюсь настроить эту систему, чтобы другие могли использовать SQL.   -  person thanh nguyen    schedule 04.06.2017
comment
И да, я настоящий нуб. Я разработчик .net, пытающийся сделать так, чтобы весь этот XML, который был таким медленным для запросов, был быстрым для запросов.   -  person thanh nguyen    schedule 04.06.2017