Длина буфера, точность столбца и размер буфера DTM в Informatica

У меня есть рабочий процесс, который загружает миллионы данных из плоского файла в таблицу Oracle. Установленная длина буфера была 10240. Недавно произошел сбой из-за того, что длина записи об ошибке больше, чем ошибка длины последовательного буфера строки. Люди, предлагающие изменить значение точности больших столбцов вместо изменения длины буфера в рабочем процессе. Мой вопрос -

  1. Зачем менять только значение точности вместо длины буфера?
  2. Повлияет ли увеличение точности или длины буфера на другие сеансы, работающие параллельно?
  3. Есть ли какие-либо предложения, что делать для таких проблем с длиной буфера?
  4. Что именно здесь делает размер буфера DTM? Разве это не нужно изменить?

etl informatica-powercenter informatica buffer
person Learner    schedule 22.01.2021    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Длина последовательного буфера строки в информатике — это свойство сеанса, которое определяет длину строки в байтах из исходного файла. Вам нужно увеличить это, чтобы избежать такой ошибки. кажется, вы получаете данные дольше, чем обычно. Ответьте на ваши вопросы-

  1. Изменение точности не поможет, потому что инфа все равно должна читать всю строку из FF.
  2. Для увеличения длины буфера потребуется больше памяти, поэтому это может повлиять на другие параллельные сеансы.
  3. Помимо увеличения линейного последовательного буфера, вы также можете добавить память к размеру блока буфера по умолчанию и DTM для повышения производительности (это повлияет на другие сеансы, работающие параллельно).
  4. Буфер DTM применяется во время перемещения данных, ваша проблема возникает при чтении файла формы данных, поэтому DTM не поможет.
person Koushik Roy    schedule 22.01.2021
comment
Спасибо Косик. Сегодня я протестировал его, изменив значение точности вместо изменения длины буфера, и он работал нормально. Кажется, он вычисляет длину буфера из значений точности, а не из определенного значения длины буфера. Поскольку я до сих пор не уверен, что именно произошло, я снова проверю с подробным уровнем трассировки и проверю, смогу ли я найти какую-либо подсказку. - person Learner; 22.01.2021
comment
интересно... возможно. Спасибо и за то, что поделились знаниями :) - person Koushik Roy; 22.01.2021
comment
Привет, Кошик... у тебя есть идеи, как узнать объем кэш-памяти, используемой во время работы? - person Learner; 23.01.2021
comment
вы можете проверить журнал сеанса. но определить общий объем потребляемого кеша будет сложно. - person Koushik Roy; 23.01.2021