Медленное выполнение USQL

Я предполагаю, что вы используете синтаксис набора файлов для указания 1000 файлов? К сожалению, текущая реализация наборов файлов по умолчанию плохо масштабируется, и фаза компиляции (подготовки) займет много времени (как и выполнение). В настоящее время у нас есть лучшая реализация в предварительной версии. Не могли бы вы отправить мне письмо по адресу usql в Microsoft dot com, и я расскажу вам, как вы можете опробовать предварительную реализацию.

Спасибо, Майкл.

Я рассмотрел более основанный на наборах способ сделать это. Например, вместо того, чтобы хранить слова для удаления в файле кода программной части, храните их в таблице U-SQL, чтобы их было легко добавить:

CREATE TABLE IF NOT EXISTS dbo.wordsToRemove
(
    word string,

    INDEX cdx_wordsToRemvoe CLUSTERED (word ASC) 
    DISTRIBUTED BY HASH (word)
);

INSERT INTO dbo.wordsToRemove ( word )
SELECT word
FROM (
VALUES
    ( "l.p." ),
    ( "registered" ),
    ( "pc" ),
    ( "bldg" ),
    ( "pllc" ),
    ( "lp." ),
    ( "l.c." ),
    ( "div." ),
    ( "national" ),
    ( "l" ),
    ( "p" ),
    ( "l.l.c" ),
    ( "international" ),
    ( "r." ),
    ( "limited" ),
    ( "school" ),
    ( "azioni" ),
    ( "joint" ),
    ( "co-op" ),
    ( "corporation" ),
    ( "corp.," ),
    ( "(corp)" ),
    ( "inc.," ),
    ( "societa" ),
    ( "company" ),
    ( "llp" ),
    ( "liability" ),
    ( "l.l.l.p" ),
    ( "llc" ),
    ( "bancorporation" ),
    ( "manufacturing" ),
    ( "c" ),
    ( "dst" ),
    ( "(inc)" ),
    ( "jv" ),
    ( "ltd." ),
    ( "llc." ),
    ( "technology" ),
    ( "ltd.," ),
    ( "s.a." ),
    ( "mfg" ),
    ( "rllp" ),
    ( "incorporated" ),
    ( "per" ),
    ( "venture" ),
    ( "l.l.p" ),
    ( "c." ),
    ( "p.l.l.c" ),
    ( "l.p.." ),
    ( "p." ),
    ( "partnership" ),
    ( "corp" ),
    ( "co-operative" ),
    ( "s.p.a" ),
    ( "tech" ),
    ( "schl" ),
    ( "bancorp" ),
    ( "association" ),
    ( "lllp" ),
    ( "n" ),
    ( "r" ),
    ( "ltd" ),
    ( "inc." ),
    ( "l.l.p." ),
    ( "p.c." ),
    ( "co" ),
    ( "district" ),
    ( "int" ),
    ( "intl" ),
    ( "assn." ),
    ( "sa" ),
    ( "inc" ),
    ( "l.p" ),
    ( "co," ),
    ( "co." ),
    ( "division" ),
    ( "lc" ),
    ( "intl." ),
    ( "lp" ),
    ( "professional" ),
    ( "corp." ),
    ( "a" ),
    ( "l." ),
    ( "l.l.c." ),
    ( "building" ),
    ( "r.l.l.p" ),
    ( "co.," )
) AS words(word);

Затем, чтобы провести сравнение, я разделил исходную фразу, удалил ненужные слова, а затем снова соединил фразу, примерно так:

//DECLARE @inputFile string = "input/input.csv"; // 500 companies, Standard & Poor 500 companies from wikipedia
DECLARE @inputFile string = "input/input2.csv"; // 850,000 companies, part 1 of extract from Companies House


@searchlog =
    EXTRACT id int,
            Input_CN string,
            Output_CN string
    FROM @inputFile
    USING Extractors.Csv(silent : true);
    //USING Extractors.Csv(skipFirstNRows:1);


// Split the input string to remove unwanted words
@Input_CN =
    SELECT id,
           new SQL.ARRAY<string>(Input_CN.Split(' ')) AS splitWords
    FROM @searchlog;


@Output_CN =
    SELECT id,
           new SQL.ARRAY<string>(Output_CN.Split(' ')) AS splitWords
    FROM @searchlog;


// Remove unwanted words from input string
@Input_CN =
    SELECT *
    FROM
    (
        SELECT o.id,
               x.splitWord.ToLower() AS splitWord
        FROM @Input_CN AS o
             CROSS APPLY
                 EXPLODE(splitWords) AS x(splitWord)
    ) AS y    
    ANTISEMIJOIN
        dbo.wordsToRemove AS w
    ON y.splitWord == w.word;

// Remove unwanted words from output string
@Output_CN =
    SELECT *
    FROM
    (
        SELECT o.id,
               x.splitWord.ToLower() AS splitWord
        FROM @Output_CN AS o
             CROSS APPLY
                 EXPLODE(splitWords) AS x(splitWord)
    ) AS y
    ANTISEMIJOIN
        dbo.wordsToRemove AS w
    ON y.splitWord == w.word;




// Put the input string back together again
@Input_CN =
    SELECT id,
           String.Join( " ", ARRAY_AGG (splitWord) ) AS Input_CN_Cleansed
    FROM @Input_CN
    GROUP BY id;


@Output_CN =
    SELECT id,
           String.Join( " ", ARRAY_AGG (splitWord) ) AS Output_CN_Cleansed
    FROM @Output_CN
    GROUP BY id;



@output =
    SELECT i.id,
           i.Input_CN_Cleansed,
           o.Output_CN_Cleansed,
           CN_Validator.trial.Hamming(i.Input_CN_Cleansed, o.Output_CN_Cleansed) AS HammingScore,
           CN_Validator.trial.LevinstienDistance(i.Input_CN_Cleansed, o.Output_CN_Cleansed) AS LevinstienDistance
    FROM @Input_CN AS i
         INNER JOIN
             @Output_CN AS o
         ON i.id == o.id;



OUTPUT @output
    TO "/output/output.csv"
    USING Outputters.Csv();

Я обнаружил, что производительность была аналогичной, но, возможно, дизайн более удобен в обслуживании. В любом случае мой код выполнялся всего за несколько минут с 850+ тыс. записей, а не 50+ минут, так что, возможно, была другая проблема. NB Мне не хватало библиотеки FuzzyString, поэтому я не включил ее в свой тест — это может объяснить разницу.

Если вы получите обновление по этому вопросу от Microsoft, отправьте ответ в этой теме и даже отметьте его как ответ, если хотите.