Форум на Исходниках.RU

Преобразование std::string в std::wstring туда и обратно, как делается?

progman — Thu, 02 Jun 2016 07:05:03 +0000

progman:

Цитата Ataru @ 29.05.16, 17:00

И почему названия функций и переменных такие странные? utf8 это и есть юникод. Корректнее было бы назвать Utf8ToASCII(), мне во всяком случае нужно именно такое преобразование

конвертация зависит от флагов у APIшной функции MultiByteToWideChar, в моем случае это CP_UTF8 а вам надо CP_ACP

Цитата Ataru @ 29.05.16, 17:00

Корректнее было бы назвать Utf8ToASCII()

С флагом CP_ACP, соглашусь, было бы корректнее. но у меня именно UTf8 <-> UTF16

Преобразование std::string в std::wstring туда и обратно, как делается?

amk — Sun, 29 May 2016 20:09:10 +0000

amk: Добавляемые символы - это BOM (Byte Order Mark). Показывают порядок байт в широких символах. Добавляются скорее всего текстовым редактором (виндовый Notepad так делает), хотя в файле с кодировкой UTF-8 их ставить не обязательно. По стандарту их наоборот не должно быть.
WideChar и MultyByte это исторические названия, пришли из времён, когда названий UNICODE и UTF-8 ещё не придумали.

Преобразование std::string в std::wstring туда и обратно, как делается?

Ataru — Sun, 29 May 2016 17:00:03 +0000

Ataru: Этот способ тоже добавляет в начало символы и тоже только при первом преобразовании. Из "text" делает "ï»¿text"

И почему названия функций и переменных такие странные? utf8 это и есть юникод. Корректнее было бы назвать Utf8ToASCII(), мне во всяком случае нужно именно такое преобразование

Добавлено 29.05.16, 17:46
Все, сорри, вопрос снимается. Этот первый символ оказывается раньше появляется, т.е. проблема в другом месте. Просто в отладчике его не видно, если смотреть значение wstring, но он есть в буфере, из которого эта wstring создается.

Преобразование std::string в std::wstring туда и обратно, как делается?

progman — Sun, 29 May 2016 03:42:05 +0000

progman: Ataru, вот еще вариант на винапи

void utf16to8( const std::wstring& utf16, std::string& utf8 )

{

char mUtf8[ MAX_PATH ] = { 0 };

int len = WideCharToMultiByte(CP_UTF8, 0, utf16.c_str(), -1, NULL, 0, 0, 0);

if (len >= 1 && len < MAX_PATH )

{

WideCharToMultiByte(CP_UTF8, 0, utf16.c_str(), -1, mUtf8, len, 0, 0);

}

utf8 = mUtf8;

}

void utf8to16(const std::string& utf8, std::wstring& utf16)

{

wchar_t mUtf16[ MAX_PATH ] = { 0 };

int len = MultiByteToWideChar(CP_UTF8, 0, utf8.c_str(), -1, NULL, 0);

if ( len >= 1 && len < MAX_PATH )

{

MultiByteToWideChar(CP_UTF8, 0, utf8.c_str(), -1, mUtf16, len );

}

utf16 = mUtf16;

}

Преобразование std::string в std::wstring туда и обратно, как делается?

Ataru — Fri, 27 May 2016 19:38:17 +0000

Ataru:

Цитата Masterkent @ 30.12.09, 14:08

Цитата Alca @ 30.12.09, 10:29

Преобразование std::string в std::wstring туда и обратно, как делается?

Стандартными средствами C++ примерно так можно:

#include <iostream>

#include <locale>

#include <string>

#include <vector>

std::wstring wide_string(std::string const &s, std::locale const &loc)

{

if (s.empty())

return std::wstring();

std::ctype<wchar_t> const &facet = std::use_facet<std::ctype<wchar_t> >(loc);

char const *first = s.c_str();

char const *last = first + s.size();

std::vector<wchar_t> result(s.size());

facet.widen(first, last, &result[0]);

return std::wstring(result.begin(), result.end());

}

std::string narrow_string(std::wstring const &s, std::locale const &loc, char default_char = '?')

{

if (s.empty())

return std::string();

std::ctype<wchar_t> const &facet = std::use_facet<std::ctype<wchar_t> >(loc);

wchar_t const *first = s.c_str();

wchar_t const *last = first + s.size();

std::vector<char> result(s.size());

facet.narrow(first, last, default_char, &result[0]);

return std::string(result.begin(), result.end());

}

char const *russian_locale_designator = "rus"; // обозначение локали зависит от реализации,

// "rus" подходит для VC++

int main()

{

std::locale loc(russian_locale_designator);

std::wstring const s = L"русский текст";

std::string const sa = ::narrow_string(s, loc);

std::wstring const sw = ::wide_string(sa, loc);

std::locale::global(loc);

std::wcout << "original wide: " << s << std::endl;

std::cout << "wide -> narrow: " << sa << std::endl;

std::wcout << "narrow -> wide: " << sw << std::endl;

}

Возникла необходимость преобразования wstring в string. Из упомянутых здесь способов этот больше всего приглянулся. Но подскажите пожалуйста почему при первом преобразовании он из строки "ddd" делает строку "?ddd"? Причем если делать два преобразования подряд, то во второй раз символ спереди не добавляется.
Я в крайнем случае могу его просто отбрасывать, но во-первых интересно знать причину, во-вторых это наводит на мысль - а не ждут ли меня еще какие сюрпризы?
(способ Киллера кстати тоже прибавляет символ спереди)

В этих строках у меня железно только цифры и латинские буквы, так что никакие проблемы с кодировками меня сейчас не интересуют, нужно просто самое элементарное преобразование.

Преобразование std::string в std::wstring туда и обратно, как делается?

Qraizer — Thu, 31 Dec 2009 15:29:09 +0000

Qraizer: Ну и мои 5 копеек:

std::wstring char2wchar(const std::string& p_in, const std::locale& p_loc)

{

try

{

const std::ctype<wchar_t>& ctypeFacet = std::use_facet<std::ctype<wchar_t> >(p_loc);

std::wstring out(p_in.length(), L'{text}');

std::transform(p_in.begin(), p_in.end(), out.begin(), boost::bind(boost::mem_fn(

static_cast<wchar_t (std::ctype<wchar_t>::*)(char) const>(&std::ctype<wchar_t>::widen)

&ctypeFacet, _1));

return out;

}

catch(...)

{

return std::wstring();

}

};

std::string wchar2char(const std::wstring& p_in, const std::locale& p_loc, char def='?')

{

try

{

const std::ctype<wchar_t>& ctypeFacet = std::use_facet<std::ctype<wchar_t> >(p_loc);

std::string out(p_in.length(), '{text}');

std::transform(p_in.begin(), p_in.end(), out.begin(), boost::bind(boost::mem_fn(

static_cast<char (std::ctype<wchar_t>::*)(wchar_t, char) const>(&std::ctype<wchar_t>::narrow)

&ctypeFacet, _1, def));

return out;

}

catch(...)

{

return std::string();

}

};

Преобразование std::string в std::wstring туда и обратно, как делается?

Urich — Thu, 31 Dec 2009 13:14:47 +0000

Urich:

std::wstring CUSCError::char2wchar( const std::string & p_in, const std::locale & p_loc ) const

{

try{

std::wstring out( p_in.length(), 0 );

std::string::const_iterator i = p_in.begin(), ie = p_in.end();

std::wstring::iterator j = out.begin();

for( ; i!=ie; ++i, ++j )

*j = std::use_facet< std::ctype< wchar_t > > ( p_loc ).widen( *i );

return out;

}catch(...)

{

return std::wstring();

}

};

std::string CUSCError::wchar2char( const std::wstring & p_in, const std::locale & p_loc ) const

{

typedef std::wstring::traits_type::state_type TsType;

typedef std::codecvt<wchar_t, char, TsType> Tcvt;

try{

std::string l_out( p_in.length(), char() );

const Tcvt & l_cvt = std::use_facet<Tcvt>(p_loc);

const wchar_t* l_from_nxt;

char* l_to_nxt;

TsType l_state = TsType();

l_cvt.out(l_state, &p_in[0], &p_in[0] + p_in.size(), l_from_nxt, &l_out[0], &l_out[0] + l_out.size(), l_to_nxt);

return l_out;

}catch(...)

{

return std::string();

}

};

Не знаю на сколько это правильно но делаю так.

Преобразование std::string в std::wstring туда и обратно, как делается?

vst — Wed, 30 Dec 2009 19:59:08 +0000

vst:

Цитата Alca @ 30.12.09, 11:11

чтоб независимо от входной строки (Юникод или Анси) в сокетную функцию заходила Ансишная строка.

Цитата Alca @ 30.12.09, 10:46

а если юникодная строка (std::wstring) содержит иероглифы?

Надо определиться с кодировкой, в которой происходит обмен. Тогда и станет понятно, какие нужны преобразования.

Преобразование std::string в std::wstring туда и обратно, как делается?

Masterkent — Wed, 30 Dec 2009 14:08:08 +0000

Masterkent:

Цитата Alca @ 30.12.09, 10:29

Преобразование std::string в std::wstring туда и обратно, как делается?

Стандартными средствами C++ примерно так можно:

#include <iostream>

#include <locale>

#include <string>

#include <vector>

std::wstring wide_string(std::string const &s, std::locale const &loc)

{

if (s.empty())

return std::wstring();

std::ctype<wchar_t> const &facet = std::use_facet<std::ctype<wchar_t> >(loc);

char const *first = s.c_str();

char const *last = first + s.size();

std::vector<wchar_t> result(s.size());

facet.widen(first, last, &result[0]);

return std::wstring(result.begin(), result.end());

}

std::string narrow_string(std::wstring const &s, std::locale const &loc, char default_char = '?')

{

if (s.empty())

return std::string();

std::ctype<wchar_t> const &facet = std::use_facet<std::ctype<wchar_t> >(loc);

wchar_t const *first = s.c_str();

wchar_t const *last = first + s.size();

std::vector<char> result(s.size());

facet.narrow(first, last, default_char, &result[0]);

return std::string(result.begin(), result.end());

}

char const *russian_locale_designator = "rus"; // обозначение локали зависит от реализации,

// "rus" подходит для VC++

int main()

{

std::locale loc(russian_locale_designator);

std::wstring const s = L"русский текст";

std::string const sa = ::narrow_string(s, loc);

std::wstring const sw = ::wide_string(sa, loc);

std::locale::global(loc);

std::wcout << "original wide: " << s << std::endl;

std::cout << "wide -> narrow: " << sa << std::endl;

std::wcout << "narrow -> wide: " << sw << std::endl;

}

Преобразование std::string в std::wstring туда и обратно, как делается?

trainer — Wed, 30 Dec 2009 12:47:38 +0000

trainer: наверное.

Преобразование std::string в std::wstring туда и обратно, как делается?

Alca — Wed, 30 Dec 2009 12:29:20 +0000

Alca: Там кроме бинарников я ничего нет

Добавлено 30.12.09, 12:35
Это типа http://firstcontact.svn.sourceforge.net/viewvc/firstcontact/firstcontact/trunk/GOAL/include/lexical_cast.h?revision=116 ???

Преобразование std::string в std::wstring туда и обратно, как делается?

trainer — Wed, 30 Dec 2009 12:20:42 +0000

trainer: Может Флекс там и переделал чего. Было в GOAL/include/lexical_cast.h

Преобразование std::string в std::wstring туда и обратно, как делается?

Alca — Wed, 30 Dec 2009 12:14:13 +0000

Alca:

Цитата

Вот в этом проекте: http://www.sources.ru/wiki/doku.php?id=projects:ufo есть соответствующие специализации lexical_cast

в упор не вижу

Преобразование std::string в std::wstring туда и обратно, как делается?

Alca — Wed, 30 Dec 2009 11:11:23 +0000

Alca:

Цитата

Или тебе важно соблюсти кодировку ?

Скорее всего, чтоб независимо от входной строки (Юникод или Анси) в сокетную функцию заходила Ансишная строка.

Преобразование std::string в std::wstring туда и обратно, как делается?

trainer — Wed, 30 Dec 2009 11:10:46 +0000

trainer: Вот в этом проекте: http://www.sources.ru/wiki/doku.php?id=projects:ufo есть соответствующие специализации lexical_cast

Преобразование std::string в std::wstring туда и обратно, как делается?

KILLER — Wed, 30 Dec 2009 10:59:09 +0000

KILLER:

Цитата Alca @ 30.12.09, 10:46

а если юникодная строка (std::wstring) содержит иероглифы? Как ее переводить в std::string? Или это бред?

выдели размер равный юникодовой строке и копируй, как выше показал

Добавлено 30.12.09, 10:59
Или тебе важно соблюсти кодировку ?

Преобразование std::string в std::wstring туда и обратно, как делается?

Alca — Wed, 30 Dec 2009 10:46:48 +0000

Alca: а если юникодная строка (std::wstring) содержит иероглифы? Как ее переводить в std::string? Или это бред?

Вообще мне надо конвертить строки для сокетных функций, типа такого плана:

#if defined(UNICODE) || defined(_UNICODE)

typedef std::wstring tstring;

#else

typedef std::string tstring;

#endif /*_UNICODE*/

BOOL CXSocket::bConnect(const std::tstring &csIp, USHORT usPort) {

INT iRes = etError;

#if defined(UNICODE) || defined(_UNICODE)

//конвертим в АНСИ

//csIp -> std::wstring

#else

//это АНСИ-строка, ничего с ней не делаем

#endif /*_UNICODE*/

struct sockaddr_in saSockAddr = {0};

saSockAddr.sin_family = AF_INET;

saSockAddr.sin_addr.s_addr = inet_addr(csIp.c_str());

saSockAddr.sin_port = ::htons(usPort);

iRes = ::connect(_m_puiSocket, (struct sockaddr *)&saSockAddr, sizeof(struct sockaddr_in));

/*DEBUG*/XASSERT_RET(0 == iRes, FALSE);

return TRUE;

}

Преобразование std::string в std::wstring туда и обратно, как делается?

KILLER — Wed, 30 Dec 2009 10:40:05 +0000

KILLER:

std::string str = "12345";

std::wstring wstr1(str.begin(), str.end());

std::wstring wstr2(str.length(), ' ');

std::copy(str.begin(), str.end(), wstr2.begin());

std::string str1(wstr1.begin(), wstr1.end());

std::string str2(wstr2.length(), L' ');

std::copy(wstr2.begin(), wstr2.end(), str2.begin());

Преобразование std::string в std::wstring туда и обратно, как делается?

Alca — Wed, 30 Dec 2009 10:29:00 +0000

Alca: Преобразование std::string в std::wstring туда и обратно, как делается? (Юникод <-> Анси)