Возможности DATASTAGE

Я программист Linux. Раньше я писал код, чтобы добиться цели: java perl php c. Мне нужно начать работать с DATA STAGE.

Все, что я вижу, это то, что DATA STAGE работает с данными в стиле table / csv и делает это построчно.

Я хочу знать, может ли DATA STAGE работать с файлом, который не похож на table / csv. может ли он загружать данные в структуры данных и запускать на них функции, или он ограничен работой только с одной строкой за раз.

спасибо за любую информацию, которую вы можете дать о возможностях DATA SATGE


datastage
person user1436801    schedule 15.02.2014    source источник

Ответы (4)


arrow_upward
0
arrow_downward

IBM (ранее Ascential) DataStage - это платформа ETL, которая действительно работает с наборами данных, применяя различные преобразования.

Это не обязательно означает, что вы ограничены применением только однострочных преобразований (вы также можете агрегировать, объединять, разделять и т. Д.). Кроме того, в DataStage есть собственный язык программирования - BASIC, который позволяет вам изменять дизайн ваших заданий по мере необходимости.

Наконец, вы по-прежнему можете вызывать внешние сценарии из DataStage (с помощью функции DSExecute, свойства Before Job, свойства After Job или Командный этап).

Пожалуйста, проверьте IBM Information Center, где можно найти исчерпывающую документацию по программированию на BASIC.

Вы также можете посетить форумы DSXchange, чтобы узнать о конкретных темах DataStage.

person Razvan    schedule 15.02.2014

arrow_upward
0
arrow_downward

Да, может, как сказал Разван, вы можете присоединяться, объединяться, разделяться. Он может использовать циклы и внешние скрипты, он также может обрабатывать XML. Мой вам совет: если у вас есть большие объемы данных, с которыми вам придется работать, тогда datastage - ваш друг, иначе, если данные, которые вам нужно будет загрузить, не очень большие, тогда будет проще использовать JAVA, c или любой язык программирования, который вы знаете.

person Random    schedule 16.02.2014

arrow_upward
0
arrow_downward

Вы можете все время функций, преобразований, манипулировать данными. в основном Datastage используется для простоты использования при работе с огромными данными из datamart / хранилища данных.

Основным процессом обработки данных будет ETL - Extraction Transformation Loading. Если программист использует 100 строк кода для подключения к какой-либо базе данных, здесь мы можем сделать это одним щелчком мыши. Здесь можно делать все, что угодно, даже кодировать c, c ++ в рутинной деятельности.

person VRDataStage    schedule 06.03.2014

arrow_upward
0
arrow_downward

Если вы говорите об иерархических файлах, таких как XML или JSON, ответ - да. Если вы говорите о сложных файлах, например, созданных COBOL, ответ - да. Все с использованием встроенных функций (например, этап иерархических данных, этап сложного плоского файла). Просмотрите палитру DataStage, чтобы найти другие примеры.

person Ray Wurlod    schedule 01.07.2021