Реализация Левенштейна на записях базы данных с использованием python

Насколько я понимаю, ваша проблема заключается в том, что вам нужно идентифицировать очень похожие записи, которые потенциально дублируются. Я бы решил это в самой базе данных. Не нужно заниматься программированием. Если у вас нет функции Левенштейна в вашей БД, вы можете создать пользовательскую функцию.

Вот пример для MySQL:

CREATE FUNCTION `levenshtein`(s1 VARCHAR(255), s2 VARCHAR(255)) RETURNS int(11) DETERMINISTIC  
BEGIN    
  DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
  DECLARE s1_char CHAR;    DECLARE cv0, cv1 VARBINARY(256);
  SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
  IF s1 = s2 THEN 
    RETURN 0;
  ELSEIF s1_len = 0 THEN 
    RETURN s2_len;
  ELSEIF s2_len = 0 THEN 
    RETURN s1_len;
  ELSE 
    WHILE j <= s2_len DO 
      SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
    END WHILE; 
    WHILE i <= s1_len DO 
      SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
      WHILE j <= s2_len DO 
        SET c = c + 1; 
        IF s1_char = SUBSTRING(s2, j, 1) THEN 
          SET cost = 0; 
        ELSE 
          SET cost = 1; 
        END IF; 
        SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
        IF c > c_temp THEN 
          SET c = c_temp; 
        END IF; 
        SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
        IF c > c_temp THEN 
          SET c = c_temp; 
        END IF; 
        SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
      END WHILE; 
      SET cv1 = cv0, i = i + 1; 
    END WHILE;
  END IF;
  RETURN c;  
END

Затем вам нужно сравнить все ваши записи друг с другом. Это требует самостоятельного полного соединения, которое, конечно, может быть немного тяжелым. Если слишком тяжело, вам нужно будет пойти по пути Python, что позволит вам избежать повторов (сравнения в разное время одних и тех же записей).

Вот что я бы сделал. Обратите внимание, что я бы предпочел использовать идентификатор для более легкой идентификации:

SELECT a.ID AS IDa,
  b.ID AS IDb,
  a.Author AS AuthorA, 
  b.Author AS AuthorB, 
  ap.levenshtein(a.Author, b.Author) AS Lev_Aut,
  a.Title AS TitleA, b.Title AS TitleB, ap.levenshtein(a.Title, b.Title) AS Lev_Title,
  a.Journal AS JounalA , b.Journal AS JournalB, ap.levenshtein(a.Journal, b.Journal) AS Lev_Journal,
  ap.levenshtein(a.Author, b.Author) + ap.levenshtein(a.Title, b.Title) + ap.levenshtein(a.Journal, b.Journal) AS Composite
FROM test.zzz AS a, test.zzz AS b 
WHERE a.ID != b.ID
ORDER BY 8;

Возвращает список значений Левенштейна, упорядоченных от лучшего соответствия к худшему (составной столбец). Условие позволяет избежать сравнения записи с самой собой.