Чтение/запись файла с именем файла Unicode с помощью простого C++/Boost

Это может быть сложно по двум причинам:

1. В исходном файле C++ есть строка, отличная от ASCII. То, как этот литерал преобразуется в двоичное представление const char *, будет зависеть от настроек компилятора и/или настроек кодовой страницы ОС.

2. Windows работает только с именами файлов Unicode через кодировку UTF-16, в то время как Unix использует UTF-8 для имен файлов Unicode.

Создание объекта пути

Чтобы это работало в Windows, вы можете попробовать изменить литерал на широкие символы (UTF-16):

const wchar_t *name = L"\u00E4\u00F6\u00FC.txt";
fs::path file(name);

Чтобы получить полное кросс-платформенное решение, вам нужно начать со строки UTF-8 или UTF-16, а затем убедиться, что она правильно преобразована в класс path::string_type.

Открытие файлового потока

К сожалению, C++ (и, следовательно, Boost) ofstream API не позволяет указывать wchar_t строк в качестве имени файла. Это касается как конструктора, так и open метод.

Вы можете попытаться убедиться, что объект пути не будет немедленно преобразован в const char * (с помощью строкового API С++ 11), но это, вероятно, не поможет:

std::ofstream(file.native()) << "Test" << std::endl;

Чтобы Windows работала, вам, возможно, придется вызывать Windows API с поддержкой Unicode, CreateFileW, преобразуйте HANDLE в FILE *, затем используйте FILE * для конструктора ofstream. Все это описано в другом ответе StackOverflow, но я не уверен, что этот конструктор ofstream будет существовать в MinGW.

К сожалению, basic_ofstream, по-видимому, не позволяет создавать подклассы для пользовательских типов basic_filebuf, поэтому преобразование FILE * может быть единственным (полностью не переносимым) вариантом.

Альтернатива: файлы с отображением памяти

Вместо использования файловых потоков вы также можете записывать в файлы с помощью ввода-вывода с отображением памяти< /а>. В зависимости от того, как Boost реализует это (это не часть стандартной библиотеки C++), этот метод может работать с именами файлов Windows Unicode.

Вот пример повышения (взято из другого ответа), в котором для открытия файла используется объект path:

#include <boost/filesystem.hpp>
#include <boost/iostreams/device/mapped_file.hpp>
#include <iostream>

int main()
{ 
  boost::filesystem::path p(L"b.cpp");
  boost::iostreams::mapped_file file(p); // or mapped_file_source
  std::cout << file.data() << std::endl;
}

Я не знаю, как здесь был принят ответ, поскольку OP fs::path::imbue(std::locale()); точно не заботится о кодовой странице ОС, std::wstring, а что нет. В противном случае да, он просто использовал бы старый добрый iconv, вызовы Winapi или другие вещи, предложенные в принятом ответе. Но не в этом смысл использования boost::locale.

Реальный ответ, почему это не работает, хотя OP делает imbue() текущую локаль, как указано в документации Boost (см. "Кодировка по умолчанию в Microsoft Windows") из-за ошибок boost (или mingw), которые остаются нерешенными в течение как минимум пару лет по состоянию на март 2015.

• Ошибка № 9968
• Ошибка № 9450
• Ошибка № 5769

К сожалению, пользователи mingw, похоже, остались в стороне.

Теперь, что должны сделать разработчики Boost, чтобы покрыть эти ошибки, это совсем другой вопрос. Может оказаться, что им нужно реализовать именно то, что сказал Дэн.

Рассматривали ли вы подход с использованием символов ASCII в исходном коде и использованием возможностей Boost Messages Formatting библиотеки Boost.Locale для поиска нужной строки с использованием ключа ASCII? http://www.boost.org/doc/libs/1_55_0/libs/locale/doc/html/messages_formatting.html

В качестве альтернативы вы можете использовать библиотеку Boost.Locale для создания библиотеки UTF-8, а затем наполнить Boost.Path этой локалью, используя « boost::path::imbue ()». http://boost.2283326.n4.nabble.com/boost-filesystem-path-as-utf-8-td4320098.html

Это также может быть полезно для вас.

Кодировка по умолчанию в Microsoft Windows http://www.boost.org/doc/libs/1_51_0/libs/locale/doc/html/default_encoding_under_windows.html

РЕДАКТИРОВАТЬ: добавить ссылки на boost и wchar_t в конце сообщения и другое возможное решение для Windows.

Я мог бы воспроизвести почти одно и то же на Ubuntu и на Windows, даже не используя Boost (у меня его нет на моем окне Windows). Чтобы исправить это, мне просто нужно было преобразовать исходник в ту же кодировку, что и в системе, т.е. utf8 в Ubuntu и latin1 или iso-8859-1 в Windows.

Как я и подозревал, проблема исходит из строки fs::path file("äöü.txt");. Поскольку кодировка файла отличается от ожидаемой, он более или менее читается как fs::path file("äöü.txt");. Под вашим контролем вы обнаружите, что размер равен 10. Это полностью объясняет, что выходной файл имеет неправильное имя.

Подозреваю, что тест if (!fs::exists(file)) работает корректно, потому что либо буст, либо винда автоматически исправляет кодировку при вводе.

Итак, в Windows просто используйте редактор с кодовой страницей 1252, latin1 или iso-8859-1, и у вас не должно возникнуть проблем, если вам не нужно использовать символы вне этой кодировки. Если вам нужны символы за пределами Latin1, я боюсь, что вам придется использовать Unicode API Windows.

РЕДАКТИРОВАТЬ:

На самом деле Windows (> NT) изначально работает с wchar_t, а не с char. И неудивительно, что boost для Windows делает то же самое — см. ссылка на файловую систему библиотеки ускорения. Извлекать :

Для Windows-подобных реализаций, включая MinGW, path::value_type — это wchar_t. Встроенная локаль по умолчанию предоставляет аспект codecvt, который вызывает Windows MultiByteToWideChar или WideCharToMultiByte API с кодовой страницей CP_THREAD_ACP, если Windows AreFileApisANSI() имеет значение true ...

Таким образом, другое решение в Windows, которое позволило бы использовать полный набор символов Unicode (или, по крайней мере, подмножество, изначально предлагаемое Windows), состояло бы в том, чтобы указать путь к файлу как wstring, а не как string. В качестве альтернативы, если вы действительно хотите использовать имена файлов в кодировке UTF8, вам придется заставить локаль потока использовать UTF8, а не CP1252. Я не могу привести пример этого кода, потому что у меня нет бустера на моем окне Windows, на моем окне Windows работает старая XP и не поддерживается UTF8, и я не хочу публиковать непроверенный код, но я думаю, что в этом случае вы должен заменить

std::locale::global(boost::locale::generator().generate(""));

с чем-то вроде:

std::locale::global(boost::locale::generator().generate("UTF8"));

ВНИМАНИЕ: не проверено, поэтому я не уверен, является ли строка для генерации UTF8 или чем-то еще...