Ошибка HDFS: «ввод»: нет такого файла или каталога

В дополнение к тому, что написал Ашрит, также можно добавить -p на тот случай, если каталог еще не создан.

bin/hadoop fs -mkdir -p /path/to/hdfs/dir

Надеюсь, это поможет кому-то еще.

Вы получаете ошибку, потому что в пути не указан такой каталог. Пожалуйста, взгляните на мой ответ на аналогичный вопрос, который объясняет, как Hadoop интерпретирует относительный путь.

Убедитесь, что вы сначала создали каталог, используя:

bin/hadoop fs -mkdir input

а затем попробуйте повторно выполнить команду -put.

Просто поставьте «/» перед вводом, так как это каталог.

./bin/hdfs dfs -put etc/hadoop /input

надеюсь это поможет

В приведенном выше вопросе две части:

1. Он показывает предупреждение, потому что U должен использовать 64-битную версию, а Hadoop Native Lib скомпилирован в 32-битной версии. Это предупреждение, поэтому оно не повлияет на ваш код.
2. Вторая ошибка в основном потому, что она не может поместить файл во входную папку. Вам нужно создать папку в Hadoop с помощью команды hadoop mkdir:

hadoop fs -mkdir/hadoopinput

ИЛИ [Для новой версии]

hdfs dfs -mkdir/hadoopinput

Теперь вы можете поместить файл в папку:

hdfs dfs -put /Пользователи/{имя пользователя}/Рабочий стол/file01 /hadoopinput

Чтобы проверить, копируется ли файл в папку или нет, используйте следующую команду:

hdfs dfs -ls /hadoopinput

РЕШЕНО: 1. Сделать свой каталог в hdfs hdfs dfs -mkdir /input_file_name 2. Скопировать данные в hdfs. hadoop fs -put имя_файла.txt /имя_входного_файла/имя_выходного_файла

Есть две ошибки: первая — нативная библиотека Hadoop для вашей платформы. Это связано с тем, что вы не установили Hadoop winutils для своей версии Hadoop. Проверьте этот ответ для получения более подробной информации https://stackoverflow.com/a/46382570/6337190 Вторая ошибка - нет такого файла или каталог. Это потому, что вы должны правильно указать путь. Смените каталог на ваш hadoop/bin/ и напишите команды

Сделать каталог

hdfs dfs -mkdir/вход

Поместить файл в каталог

hdfs dfs -put /path/to/file.txt/input

Чтобы проверить файл в каталоге

hdfs dfs -ls /ввод

измените пользователя: владельца, если хотите напрямую записать любой файл из root в hdfs

sudo -u hdfs hdfs dfs -chown root:hdfs /user/file --{/file} 
sudo -u hdfs hdfs dfs -chmod -R 775 /user/file

Or

sudo -u hdfs hdfs dfs -chown -R hdfs:hadoop /user/file 
sudo -u hdfs hdfs dfs -chmod -R 1777 /user/file

затем используйте команду put

sudo -u hdfs hdfs dfs -put /root/project/* /file --{/user/file}

работает на меня

[root@spark ~]# sudo -u hdfs hdfs dfs -put /root/project/* /file/
put: `file/': No such file or directory
[root@spark ~]# hdfs dfs -put /root/project/* /file
put: Permission denied: user=root, access=WRITE, inode="/file":hdfs:hadoop:drwxr-xr-t

[root@spark ~]# sudo -u hdfs hdfs dfs -chown root:hdfs /file
[root@spark ~]# hdfs dfs -put /root/project/*.csv /file
[root@spark ~]# hdfs dfs -ls /file

Найдено 12 предметов

rw-r--r--   1 root hdfs    4662272 2019-04-28 06:23 /file/StokKs.csv
rw-r--r--   1 root hdfs     302648 2019-04-28 06:23 /file/Stocks.csv
rw-r--r--   1 root hdfs     284628 2019-04-28 06:23 /file/Stocks.csv
rw-r--r--   1 root hdfs     568949 2019-04-28 06:23 /file/Satellite.csv
rw-r--r--   1 root hdfs     579302 2019-04-28 06:23 /file/Stocks.csv
rw-r--r--   1 root hdfs   24805721 2019-04-28 06:23 /file/medical.csv
rw-r--r--   1 root hdfs    5650234 2019-04-28 06:23 /file/bank.csv
rw-r--r--   1 root hdfs    2893092 2019-04-28 06:23 /file/facebook.csv