file_get_contents() разбивает символы UTF-8

Я загружаю HTML с внешнего сервера. Разметка HTML имеет кодировку UTF-8 и содержит такие символы, как ľ, š, č, ť, ž и т. д. Когда я загружаю HTML с помощью file_get_contents() следующим образом:

$html = file_get_contents('http://example.com/foreign.html');

Он путает символы UTF-8 и загружает Å, ¾, ¤ и подобную ерунду вместо правильных символов UTF-8.

Как я могу это решить?

ОБНОВИТЬ:

Я попытался как сохранить HTML в файл, так и вывести его с кодировкой UTF-8. Оба не работают, поэтому это означает, что file_get_contents() уже возвращает поврежденный HTML.

ОБНОВЛЕНИЕ2:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="sk" lang="sk">
<head>

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<meta http-equiv="Content-Style-Type" content="text/css" />
<meta http-equiv="Content-Language" content="sk" />
<title>Test</title>

</head>
<body>


<?php

$html = file_get_contents('http://example.com');
echo htmlentities($html);

?>

</body>
</html>

php utf-8 file-get-contents
person Richard Knop    schedule 10.02.2010    source источник
comment
Вы выводите их в UTF-8?   -  person Tomas Markauskas    schedule 10.02.2010
comment
Где вы просматриваете загруженный HTML?   -  person Pekka    schedule 10.02.2010
comment
Я не вывожу. Я сохраняю его в файл, а затем читаю. Но это не имеет значения, потому что я пытался вывести его с UTF-8, и он все еще испорчен.   -  person Richard Knop    schedule 10.02.2010
comment
В вашем втором примере вам нужно передать кодировку в htmlentities: de3.php.net/htmlentities   -  person Pekka    schedule 10.02.2010
comment
И предположение, может быть, удаленный сервер говорит utf-8 в метатегах, но отправляет iso-8859-1 в заголовке типа контента?   -  person Pekka    schedule 10.02.2010
comment
Привет, Пекка, на самом деле я обнаружил, что file_get_contents() не вызывает этого. Это вызвано DOM. Я выполняю некоторый синтаксический анализ HTML с помощью DOM перед его выводом, и я не думал, что это может вызвать проблему.   -  person Richard Knop    schedule 10.02.2010

Ответы (11)


arrow_upward
111
arrow_downward

У меня была похожая проблема с польским языком

Я пытался:

$fileEndEnd = mb_convert_encoding($fileEndEnd, 'UTF-8', mb_detect_encoding($fileEndEnd, 'UTF-8', true));

Я пытался:

$fileEndEnd = utf8_encode ( $fileEndEnd );

Я пытался:

$fileEndEnd = iconv( "UTF-8", "UTF-8", $fileEndEnd );

А потом -

$fileEndEnd = mb_convert_encoding($fileEndEnd, 'HTML-ENTITIES', "UTF-8");

Этот последний работал отлично !!!!!!

person ugniesdebesys    schedule 03.03.2013
comment
это дает мне ã вместо ă и ª вместо Ș :(( - person artur99; 27.09.2015
comment
Для всех немцев используйте iso-8859-1 вместо UTF-8. Это исправит äöüß для вас. Отличное исправление спасибо. - person Dominik K; 22.02.2016
comment
ЭТО должен быть ответ! Для меня file_get_contents() преобразовывал £ в версию Unicode. Использование mb_convert_encoding() после использования file_get_contents() решило проблему. Спасибо! - person Reado; 09.05.2017
comment
после 5 часов работы этот ответ спас мой день .... большое спасибо - person Hatem Badawi; 20.11.2017
comment
Идеально : $fileEndEnd = mb_convert_encoding($fileEndEnd, 'HTML-ENTITIES', "UTF-8"); - person Peter Artoung; 09.01.2019
comment
Этот ответ привел меня к решению (для правильного отображения французско-канадских символов из .csv из StatsCanada), которое заключалось в использовании mb_convert_encoding например: $myString=mb_convert_encoding($myString, 'UTF-8', "ISO-8859-1"); . . . с подсказками из этого ответа и этот список поддерживаемых кодировок символов. Спасибо! - person ashleedawg; 20.07.2019

arrow_upward
83
arrow_downward

Решение, предложенное в комментариях к записи руководства PHP для file_get_contents

function file_get_contents_utf8($fn) {
     $content = file_get_contents($fn);
      return mb_convert_encoding($content, 'UTF-8',
          mb_detect_encoding($content, 'UTF-8, ISO-8859-1', true));
}

Вы также можете попытать счастья с http://php.net/manual/en/function.mb-internal-encoding.php

person Gordon    schedule 10.02.2010
comment
Это должно быть отмечено как лучший ответ. Спасибо, Гордон. - person helpse; 21.07.2014
comment
Легко, просто, идеально. - person dynamichael; 08.09.2018

arrow_upward
6
arrow_downward

Хорошо. Я обнаружил, что file_get_contents() не вызывает эту проблему. Есть другая причина, о которой я говорю в другом вопросе. Я такой глупый.

См. этот вопрос: Почему DOM меняет кодировку?

person Richard Knop    schedule 10.02.2010
comment
file_get_contents() вызывает проблему. У меня был файл JSON, который я открывал с помощью file_get_contents(), но при выполнении print_r() после загрузки JSON символы Юникода были там, но не в JSON. Выполнение mb_convert_encoding() для file_get_contents() устранило проблему. - person Reado; 09.05.2017
comment
$string = mb_convert_encoding($string, 'HTML-ENTITIES', "UTF-8"); решил это для меня. - person WEBjuju; 25.02.2018

arrow_upward
5
arrow_downward

Я думаю, у вас просто двойное преобразование типа символа: D

Возможно, потому что вы открыли html-документ внутри html-документа. Итак, у вас есть что-то похожее на это в конце

<!DOCTYPE html> 
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title></title>
</head>
<body>
<!DOCTYPE html> 
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>Test</title>.......

Таким образом, использование mb_detect_encoding может привести к другим проблемам.

person Dr. Dama    schedule 10.11.2012

arrow_upward
3
arrow_downward

Пример:

$string = file_get_contents(".../File.txt");
$string = mb_convert_encoding($string, 'UTF-8', "ISO-8859-1");
echo $string;
person Dorian PIERREFEU    schedule 17.09.2019
comment
Чем это отличается от этого ответа? - person Robby Cornelissen; 17.09.2019
comment
это работает отлично - person Ivandez; 13.02.2021

arrow_upward
2
arrow_downward

Попробуйте это тоже

 $url = 'http://www.domain.com/';
    $html = file_get_contents($url);

    //Change encoding to UTF-8 from ISO-8859-1
    $html = iconv('UTF-8', 'ISO-8859-1//TRANSLIT', $html);
person Mohammad H.    schedule 19.11.2014

arrow_upward
2
arrow_downward

На турецком языке mb_convert_encoding или любое другое преобразование кодировки не работало.

А еще urlencode не работал из-за пробела char преобразованного в + char. Это должно быть %20 для процентного кодирования.

Этот сработал!

   $url = rawurlencode($url);
   $url = str_replace("%3A", ":", $url);
   $url = str_replace("%2F", "/", $url);

   $data = file_get_contents($url);
person Mustafa Ergüven    schedule 26.10.2016

arrow_upward
2
arrow_downward

Мне удалось решить, используя эту функцию ниже:

function file_get_contents_utf8($url) {
    $content = file_get_contents($url);
    return mb_convert_encoding($content, "HTML-ENTITIES", "UTF-8");
}

file_get_contents_utf8($url);
person Kário Freire    schedule 31.08.2020

arrow_upward
0
arrow_downward

Я работаю с 35000 строк данных.

$f=fopen("veri1.txt","r");
$i=0;
while(!feof($f)){
    $i++;
    $line=mb_convert_encoding(fgets($f), 'HTML-ENTITIES', "UTF-8");
    echo $line;
}

Этот код преобразует мои странные символы в нормальные.

person matasoy    schedule 15.11.2017

arrow_upward
0
arrow_downward

У меня была похожая проблема, ее решил html_entity_decode.

Мой код:

$content = file_get_contents("http://example.com/fr");
$x = new SimpleXMLElement($content);
foreach($x->channel->item as $entry) {
    $subEntry = html_entity_decode($entry->description);
}

Здесь я получаю файл xml (на французском языке), поэтому я использую переменную объекта $x. И только потом декодирую в эту переменную $subEntry.

Я пробовал mb_convert_encoding, но это не сработало для меня.

person Albert    schedule 18.10.2019

arrow_upward
0
arrow_downward

Попробуйте эту функцию

function mb_html_entity_decode($string) {
if (extension_loaded('mbstring') === true)
{
    mb_language('Neutral');
    mb_internal_encoding('UTF-8');
    mb_detect_order(array('UTF-8', 'ISO-8859-15', 'ISO-8859-1', 'ASCII'));

    return mb_convert_encoding($string, 'UTF-8', 'HTML-ENTITIES');
}

return html_entity_decode($string, ENT_COMPAT, 'UTF-8');

}

person Juergen    schedule 22.01.2020