Программное извлечение ключевых слов из доменных имен

Хорошо, я запустил скрипт, который написал для этот ТАК вопрос, с несколько незначительных изменений - использование вероятностей журнала, чтобы избежать потери памяти, и изменение его для чтения нескольких файлов в качестве корпуса.

Для своего корпуса я загрузил кучу файлов из проекта Gutenberg — никакого реального способа сделать это, просто взял все англоязычные файлы из etext00, etext01 и etext02.

Ниже приведены результаты, я сохранил тройку лучших для каждой комбинации.

expertsexchange: 97 possibilities
 -  experts exchange -23.71
 -  expert sex change -31.46
 -  experts ex change -33.86

penisland: 11 possibilities
 -  pen island -20.54
 -  penis land -22.64
 -  pen is land -25.06

choosespain: 28 possibilities
 -  choose spain -21.17
 -  chooses pain -23.06
 -  choose spa in -29.41

kidsexpress: 15 possibilities
 -  kids express -23.56
 -  kid sex press -32.65
 -  kids ex press -34.98

childrenswear: 34 possibilities
 -  children swear -19.85
 -  childrens wear -25.26
 -  child ren swear -32.70

dicksonweb: 8 possibilities
 -  dickson web -27.09
 -  dick son web -30.51
 -  dicks on web -33.63

Возможно, вы захотите проверить этот вопрос SO.

Вам нужно разработать эвристику, которая будет получать вероятные совпадения из предметной области. Я бы сделал это сначала, найдя большой корпус текста. Например, вы можете скачать Википедию.

Затем возьмите свой корпус и объедините каждые два соседних слова. Например, если ваше предложение:

quick brown fox jumps over the lazy dog

Вы создадите список:

quickbrown
brownfox
foxjumps
jumpsover
overthe
thelazy
lazydog

Каждый из них будет иметь счет один. Когда вы анализируете свой корпус, вы будете отслеживать частотные пары каждых двух слов. Кроме того, для каждой пары вам нужно отсортировать исходные два слова.

Отсортируйте этот список по частоте, а затем попытайтесь найти совпадения в вашем домене на основе этих слов.

Наконец, сделайте проверку домена на наличие двух первых незарегистрированных словосочетаний!

Я думаю, что такие сайты, как DomainTool, составляют список слов с самым высоким рейтингом. Затем они пытаются сначала разобрать эти слова. В зависимости от цели вы можете рассмотреть возможность использования MTurk для выполнения этой работы. Разные люди будут разбирать одни и те же слова по-разному, и это может быть не пропорционально тому, насколько они распространены.

Choosespain.com kidsexpress.com детская одежда.com dicksonweb.com

Получайте удовольствие (и хороший юрист), если вы собираетесь попытаться разобрать URL-адрес со словарем.

Возможно, вам будет лучше, если вы сможете найти те же символы, но разделенные пробелом на их веб-сайте.

Другие возможности: извлечение данных из ssl-сертификата; запросить сервер доменных имен верхнего уровня; Доступ к серверу доменных имен (TLD); или воспользуйтесь одним из инструментов или сервисов «whois» (просто погуглите «whois»).

Если у вас есть список допустимых слов, вы можете просмотреть строку своего домена и каждый раз пытаться отрезать допустимое слово с помощью алгоритма поиска с возвратом. Если вам удалось израсходовать все слова, вам конец. Имейте в виду, что временная сложность этого не оптимальна :)

function getwords( $string ) {
    if( strpos($string,"xn--") !== false ) {
        return false;
    }
    $string = trim( str_replace( '-', '', $string ) );
    $pspell = pspell_new( 'en' );
    $check = array();
    $words = array();
    for( $j = 0; $j < ( strlen( $string ) - 5 ); $j++ ) {
        for( $i = 4; $i < strlen( $string ); $i++ ) {
            if( pspell_check( $pspell, substr( $string, $j, $i ) ) ) {
                $check[$j]++;
                $words[] = substr( $string, $j, $i );
            }
        }
    }
    $words = array_unique( $words );
    if( count( $check ) > 0 ) {
        return $words;
    }
    return false;
}

print_r( getwords( 'ilikecheesehotels' ) );

Array
(
    [0] => like
    [1] => cheese
    [2] => hotel
    [3] => hotels
)

как простой старт с pspell. вы можете сравнить результаты и посмотреть, получили ли вы основу слов без «s» в конце, и объединить их.

Вам нужно будет использовать механизм словаря для записи домена, чтобы найти допустимые слова, и запустить этот механизм словаря для результата, чтобы убедиться, что результатом являются допустимые слова.