Разделить текст на отдельные слова

Используйте класс \p{P}, который соответствует любому знаку пунктуации Юникода, в сочетании с классом пробелов \s.

$result = preg_split('/((^\p{P}+)|(\p{P}*\s+\p{P}*)|(\p{P}+$))/', $text, -1, PREG_SPLIT_NO_EMPTY);

Это разделит группу из одного или нескольких пробельных символов, но также втянет любые окружающие знаки препинания. Он также соответствует знакам пунктуации в начале или конце строки. Это различает такие случаи, как «не надо» и «он сказал« ой! »»

Токенизация — strtok.

<?php
$text = 'This is an example text, it contains commas and full stops. Exclamation marks, too! Question marks? All punctuation marks you know.';
$delim = ' \n\t,.!?:;';

$tok = strtok($text, $delim);

while ($tok !== false) {
    echo "Word=$tok<br />";
    $tok = strtok($delim);
}
?>

Я бы сначала сделал строку строчной, прежде чем разделить ее. Это сделало бы модификатор i и последующую обработку массива ненужными. Кроме того, я бы использовал сокращение \W для символов, отличных от слов, и добавил бы множитель +.

$text = 'This is an example text, it contains commas and full stops. Exclamation marks, too! Question marks? All punctuation marks you know.';
$result = preg_split('/\W+/', strtolower($text), -1, PREG_SPLIT_NO_EMPTY);

Изменить   Использовать символ Unicode properties вместо \W как предложил Марког. Что-то вроде [\p{P}\p{Z}] (знаки препинания и разделители) будет охватывать более конкретные символы, чем \W.

вы также можете использовать функцию PHP strtok() для извлечения строковых токенов из вашей большой строки. вы можете использовать его следующим образом:

 $result = array();
 // your original string
 $text = 'This is an example text, it contains commas and full stops. Exclamation marks, too! Question marks? All punctuation marks you know.';
 // you pass strtok() your string, and a delimiter to specify how tokens are separated. words are seperated by a space.
 $word = strtok($text,' ');
 while ( $word !== false ) {
     $result[] = $word;
     $word = strtok(' ');
 }

см. дополнительную информацию о документации по php для strtok()

Do:

str_word_count($text, 1);

Или, если вам нужна поддержка юникода:

function str_word_count_Helper($string, $format = 0, $search = null)
{
    $result = array();
    $matches = array();

    if (preg_match_all('~[\p{L}\p{Mn}\p{Pd}\'\x{2019}' . preg_quote($search, '~') . ']+~u', $string, $matches) > 0)
    {
        $result = $matches[0];
    }

    if ($format == 0)
    {
        return count($result);
    }

    return $result;
}

Вы также можете использовать метод взорваться: http://php.net/manual/en/function.explode.php

$words = explode(" ", $sentence);