SkipTrash в улье при вставке запроса на перезапись

У меня есть запрос на перезапись в улье, после выполнения запроса данные сбрасываются в папку для мусора.

Есть ли какой-либо вариант или свойство, с помощью которого его можно избежать?


hive recycle-bin
person sagar karira    schedule 25.11.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

В Hive 1.2.0 есть опция PURGE для операции DROP: https://issues.apache.org/jira/browse/HIVE-9118 и https://issues.apache.org/jira/browse/HIVE-7100

К сожалению, это не работает для внешних таблиц и оператора insert overwrite.

Но все же вы можете удалить файлы перед INSERT OVERWRITE, я знаю, что это не всегда приемлемое решение, используя команду rm с опцией -skipTrash:

hadoop fs -rm -r -f -skipTrash  hdfs://your_table_path/*

Если вы находитесь в среде DEV, вы можете вообще отключить функцию TRASH. Это можно сделать, установив fs.trash.interval=0 в core-site.xml.

person leftjoin    schedule 25.11.2016