Какой шаблон проектирования ssis подходит для загрузки плоского файла в таблицу

Планирование импорта 1000-х текстовых файлов в таблицы сервера sql. Все эти файлы имеют разную структуру и относятся к соответствующим новым таблицам в SQl. На ум приходят различные методы: использование Biml/создание пакетов ssis с несколькими потоками данных/использование мастера импорта.

Каков шаблон проектирования ssis для достижения этого наиболее эффективным способом. Хотя это разовая нагрузка.

Как справиться с неудачей? : я не рассматриваю контрольную точку, потому что, когда задачи потока управления выполняются параллельно, контрольные точки действуют немного хаотично.


design-patterns sql-server ssis ssis-2012 ssis-2008
person user1254579    schedule 21.10.2016    source источник
comment
Что вы пытались до сих пор импортировать файлы? Это текстовые файлы с разделителями? Запятая, труба и т. д.? У каждого разная структура? Так есть 1000 структур?   -  person SS_DBA    schedule 21.10.2016
comment
да, есть 1000 структур, и это файлы с разделителями каналов   -  person user1254579    schedule 21.10.2016
comment
Вы когда-нибудь получали ответ на это? stackoverflow.com/questions/23059397/   -  person SS_DBA    schedule 21.10.2016
comment
См. stackoverflow.com/questions/2830711/   -  person SS_DBA    schedule 21.10.2016
comment
Спасибо. Подойдет инструмент импорта и экспорта в SQL Server. Это однократная загрузка. Поэтому нет необходимости создавать пакеты для этого сопоставления 1: 1.   -  person user1254579    schedule 21.10.2016
comment
В качестве разовой работы я бы посоветовал использовать любой метод, который вам наиболее удобен. Если вы уже хорошо разбираетесь в BIML, это, вероятно, будет самым быстрым методом.   -  person David Rushton    schedule 21.10.2016

Ответы (1)


arrow_upward
1
arrow_downward

Это может дать вам отправную точку, если вы хотите увидеть, что есть в каждом файле для данных, не открывая каждый из них. DefaultDir будет находиться на вашем SQL Server, с которого вы работаете.

SELECT * FROM  
OPENROWSET ('MSDASQL', 'Driver={Microsoft Access Text Driver (*.txt, *.csv)};DefaultDir=C:\PathtoFiles',
'select * from FileName.csv');
person SS_DBA    schedule 21.10.2016