Итак, я работаю над проектом Hadoop, в котором широко используются некоторые сторонние библиотеки, которые полагаются на наличие небольших локальных файлов. Многие из них являются конфигурационными файлами, хотя один из них представляет собой файл словаря размером 34 МБ. По сути, я пытаюсь обернуть библиотеку для работы с гораздо большими входными и выходными данными. Речь идет о следующих библиотеках: s-match и WordNet JWNL.
Каков правильный способ убедиться, что эти файлы меньшего размера доступны узлам картографа и редуктора локально во время выполнения?
Альтернативой является широкое изменение сторонних библиотек, чего я, очевидно, предпочел бы избежать. Конечно, должен быть способ упаковывать и распространять эти файлы в локальные файловые системы, избегая необходимости чтения заданий MR исключительно из HDFS и/или специальных объектов.
