Расширение памяти HDFS в Cloudera

Мне нужно расширить память hdfs с 50 ГБ до 200 ГБ в cloudera. Я использую виртуальную машину со свободным пространством 300 ГБ, но hdfs настроен только на использование 50 ГБ на hdfs. Мой dfs.namenode.name.dir указывает на dfs / nn по умолчанию

<name>dfs.namenode.name.dir</name>
    <value>file:///dfs/nn</value>

И мой hdfs dfsadming -report дает мне:

[root@localhost conf.cloudera.hdfs] hdfs dfsadmin -report
Configured Capacity: 55531445863 (51.72 GB)
Present Capacity: 6482358272 (6.04 GB)
DFS Remaining: 3668803584 (3.42 GB)
DFS Used: 2813554688 (2.62 GB)
DFS Used%: 43.40%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

Что я должен делать ? Есть ли верхний предел емкости папки в Redhat (например, 50 ГБ на созданную папку)? Должен ли я добавить новую папку в dfs.namenode.name.dir, и каждая папка добавит 50 ГБ к использованию hdfs?


hadoop hdfs cloudera redhat
person Mensch    schedule 11.08.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Из ресурсов ниже - кажется, вам нужно проверить dfs.datanode.du.reserved настройки для каждого узла и использовать приведенную ниже формулу, чтобы проверить, правильно ли используется дисковое пространство ...

Согласно свойству «dfs.datanode.du.reserved» он был настроен на использование 4,25 ГБ, и поэтому я считаю, что теперь 4,25 ГБ выделено для каждого каталога данных в данном узле. Поскольку у меня было два раздела каталога данных, объединенное зарезервированное пространство составило бы 8,5 ГБ на узел, что обеспечивает сконфигурированную емкость на каждом узле до 23,5 ГБ (32 ГБ - 8,5 ГБ). Я пришел к следующей формуле ===> Настроенная емкость = Общее дисковое пространство, выделенное для каталогов данных (dfs.data.dir) - Зарезервированное пространство для использования без DFS (dfs.datanode.du.reserved)

Configured-Capacity-quot-shows-less-size-than-the-original

какие-именно-не-dfs-used-средства

Обновление: также смотрите ...

dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold - используется только в том случае, если для dfs.datanode.fsdataset.volume.choosing.policy установлено значение org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy. - Этот параметр определяет, насколько тома DN могут отличаться в байтах свободного дискового пространства, прежде чем они будут считаться несбалансированными. Если свободное пространство всех томов находится в пределах этого диапазона друг от друга, тома будут считаться сбалансированными, а назначение блоков будет выполняться на чисто циклической основе.

dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction - используется только тогда, когда dfs.datanode.fsdataset.volume.choosing.policy установлен на org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy. - Этот параметр определяет, какой процент новых выделенных блоков будет отправлен на тома с более доступным дисковым пространством, чем другие. Этот параметр должен быть в диапазоне 0,0–1,0, хотя на практике 0,5–1,0, поскольку не должно быть причин предпочитать, чтобы тома с меньшим объемом доступного дискового пространства получали больше выделений блоков.

person Ronak Patel    schedule 11.08.2016
comment
Простите, это не решает проблему. Я изменил dfs.datanode.du.reserved, который уже был на 3, а теперь он составляет 1 ГБ. Хотя hdfs сейчас показывает 53. Но все равно не могу найти, где его расширить до 200 ГБ. [root@localhost conf.cloudera.hdfs]# hdfs dfsadmin -report Configured Capacity: 57591996416 (53.64 GB) Present Capacity: 6875172864 (6.40 GB) DFS Remaining: 4062359552 (3.78 GB) DFS Used: 2812813312 (2.62 GB) DFS Used%: 40.91% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 - person Mensch; 11.08.2016
comment
Я пробовал и никакого эффекта. Он постоянно говорит, что у него всего 53 ГБ, даже после изменения настроек на 55 ГБ и политики выбора. - person Mensch; 12.08.2016