похоже, что Hadoop прозрачно обрабатывает сжатие (когда это было введено, я не помню его в версии 0.20.203) при использовании TextInputFormat . К сожалению, при использовании сжатия LZO Hadoop не использует индексный файл LZO, чтобы сделать файл...

У меня большой объем услуг. Я регистрирую события. Каждые несколько минут я архивирую журналы с помощью gzip и перемещаю их на S3. Оттуда мы обрабатываем журналы с помощью Amazon Hadoop — эластичного mapreduce — через Hive. Прямо сейчас на...