Форум на Исходниках.RU

Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913068 Tue, 12 Nov 2024 06:22:05 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913068 Qraizer, отдельный респект за тесты и пример. Я так понимаю, что Стандарт этим не занимается. Но и в этом вижу профит - не указывает, но и не ограничивает. Значит будем посмотреть в компиляторах.]]> Majestio C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913057 Mon, 11 Nov 2024 21:02:02 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913057
Добавлено 11.11.24, 21:20
Я как-то использовал такой код на WinAPI. Сорри, без комментов. Пользуйся, если надо.

template <typename T>

size_t getOptimizedSize()

{

if constexpr (sizeof(void*) > 4)

{

size_t size = std::numeric_limits<decltype(size)>::max(),

oldSize = size;

void *mem;

do

{

mem = VirtualAlloc(NULL, size, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE);

if (mem == NULL)

{

oldSize = size;

size >>= 1;

continue;

}

size_t newSize = (oldSize >> 1) + (size >> 1);

oldSize = size;

size = newSize;

VirtualFree(mem, 0, MEM_RELEASE);

} while (size != oldSize);

size_t allocated = size;

mem = VirtualAlloc(NULL, size, MEM_COMMIT | MEM_RESERVE, PAGE_READWRITE);

if (mem == NULL) throw std::runtime_error("Ops!");

std::cout << "Allocated " << size << " bytes" << std::endl;

do

{

if (SetProcessWorkingSetSize(GetCurrentProcess(), size, size) == FALSE)

{

oldSize = size;

size >>= 1;

continue;

}

size_t newSize = (oldSize >> 1) + (size >> 1);

oldSize = size;

size = newSize;

} while (size != oldSize);

if (SetProcessWorkingSetSize(GetCurrentProcess(), size, size) == FALSE)

throw std::runtime_error("Ops 2!");

std::cout << "Residented " << size << " bytes" << std::endl;

do

{

if (VirtualLock(mem, size) == FALSE)

{

oldSize = size;

size >>= 1;

continue;

}

size_t newSize = (oldSize >> 1) + (size >> 1);

oldSize = size;

size = newSize;

VirtualUnlock(mem, oldSize);

} while (size != oldSize);

if (VirtualLock(mem, size) == FALSE)

throw std::runtime_error("Ops 3!");

std::cout << "Locked " << size << " bytes" << std::endl;

SetProcessWorkingSetSize(GetCurrentProcess(), size, size);

VirtualFree((char*)mem + size, allocated - size, MEM_DECOMMIT);

std::cout << "Ok" << std::endl; // <- тут бряк

VirtualUnlock(mem, oldSize);

SetProcessWorkingSetSize(GetCurrentProcess(), -1, -1);

VirtualFree(mem, 0, MEM_RELEASE);

return size / sizeof(T);

}

return std::numeric_limits<size_t>::max() / sizeof(T);

}

Костыли местами, но в нынешних реалиях приемлемые. Тут предполагается, что в 32-битном окружении памяти достаточно для максимального количества элементов, а для 64-битных подсчитывается, исходя их реалий на текущий момент, предполагая, чтобы свопов не было. Сначала пробуем max, который наверняка не получится, поэтому постепенно, до успеха, уменьшается вдвое. Затем дихотомией увеличивается между успешным и предшествующием ему неуспешным. Эта память будет включать своп. Затем пробуем поднять предел рабочего пространства процесса до предела, ограниченного, например, администратором. Ну или там контроллером домена, например, неважно. Алгоритм аналогичный. Обычно он гораздо меньше только что вычисленного до этого, и в теории не должен свопиться, но только как рекомендация. На практике, если вдруг ОСи внезапно что-то сфорсмажорит, свопнуться сможет. Наконец пробуем залочить регион, отключая т.с. своп полностью. И тем же алгоритмом. В итоге размер памяти будет если не максимально возможным, то близко к этому, т.к. в процессе лока ОСь будет пытаться выгрузить из памяти всё ненужное, за исключением чего-то там на её усмотрение для обеспечения тех же самых форсмажоров.

Добавлено 11.11.24, 21:27
Запуск на домашней тачке (32Г RAM + NVMe) выдал:

Allocated 91625968979 bytes

Residented 22906492243 bytes

Locked 15270994816 bytes

Ok

Всего максимум памяти 90Гб, из них размер рабочего пространства почти 23, и наконец гарантировано несвопируемого 15. До запуска память была забита на 68%, после запуска на 30%. Процесс лока занял порядка 20 секунд. Причём после Ok я там добавил ожидание перед освобождением и выходом, и во время этой паузы система оставалась более чем отзывчивой. Win10Pro.

Добавлено 11.11.24, 21:34
P.S. Прикольно, но если во время пауз позапускать ещё копии, то вот результаты последовательных запусков, пока предыдущие всё ещё удерживают свои залоченные регионы:

Allocated 68719476733 bytes

Residented 6442450941 bytes

Locked 4294967291 bytes

Allocated 68719476733 bytes

Residented 1610612733 bytes

Locked 1073741819 bytes

Allocated 68719476733 bytes

Residented 536870909 bytes

Locked 357913937 bytes

Ну итп. Т.е. ОСь всё ещё оставляет память на форсмажоры и всё ещё более чем отзывчива. После 10 запусков физическая память занята на 91%, запас прочный.

Добавлено 11.11.24, 21:36
Не думаю, что Стандарт тут чем бы там ни было мог бы помочь. Это уже не его сфера ответственности. После всех выходов память занята на 24%.]]> Qraizer C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913056 Mon, 11 Nov 2024 20:51:17 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913056 https://en.cppreference.com/w/c/types/size_t

Цитата

size_t can store the maximum size of a theoretically possible object of any type (including array).

size_t is commonly used for array indexing and loop counting. Programs that use other types, such as unsigned int, for array indexing may fail on, e.g. 64-bit systems when the index exceeds UINT_MAX or if it relies on 32-bit modular arithmetic.

Соответственно, объект не может быть больше максимального значения size_t]]> Dushevny C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913053 Mon, 11 Nov 2024 18:37:46 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913053 https://learn.microsoft.com/ru-ru/windows/w...ocessmemoryinfo

еще это

https://learn.microsoft.com/en-us/windows/w...balmemorystatus

Добавлено 11.11.24, 18:52
Кстати замечу. В 32-битном режиме физическая адресация (с PAE) возможна до 64 Гб (36 бит), но адресное пространство физически ограничено 32-битами (4 Гб) и как раз этим и был ограничен максимально возможный размер массива (4 Гб).]]> macomics C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913052 Mon, 11 Nov 2024 18:34:37 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913052 Majestio C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913051 Mon, 11 Nov 2024 18:28:08 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913051 Цитата Majestio @ 11.11.24, 17:59

Прочитай про mmap. Навскидку не скажу, но на 100% помню, что в Уиндофс есть схожий по функционалу механизм.

Это просто WinAPI CreateFileMapping. Он же есть и в Linux
__________________________20241111_222744.png (, : 307)

Добавлено 11.11.24, 18:33
Про 32-битный режим я могу сказать точно. На С можно было объявить массив размером в 4Гб (максимальный доступный объем адресов). А вот для 64-битных надо искать, но по идее ограничения тоже нету.]]> macomics C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913049 Mon, 11 Nov 2024 17:59:52 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913049 macomics, вся фишка в том, что всё в С/C++ должно и обязано соответствовать Стандартам. Это аксиома. Любой шаг вправо или влево - это ересь. Вот поэтому я и спрашиваю именно за стандарты в первую очередь.

Цитата macomics @ 11.11.24, 17:53

И еще одна догадка. Как тогда работают сейчас нейросети (тот же ChatGPT). Это же по сути массивы на Гб, если не на Тб значений.

Прочитай про mmap. Навскидку не скажу, но на 100% помню, что в Уиндофс есть схожий по функционалу механизм.]]> Majestio C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913048 Mon, 11 Nov 2024 17:53:09 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913048
И еще одна догадка. Как тогда работают сейчас нейросети (тот же ChatGPT). Это же по сути массивы на Гб, если не на Тб значений.]]> macomics C/C++: Общие вопросы https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913047 Mon, 11 Nov 2024 16:41:17 +0000 Ограничение по размерам данных https://forum.sources.ru/index.php?showtopic=453140&view=findpost&p=3913047
Сразу хочу сказать - мой вопрос не практический, а чисто академический. Заранее прошу прощения за некоторую гиперболизацию в своих высказываниях, бикоз настроение хорошее. Понедельник, честно сказать, гуано полное. Но я всё порешал на высшем уровне. Я - кросава, и теперь с самому вопросу... Под такое настроение я решил выяснить, а могу ли я в качестве поля класса использовать массив размером в один зетабайт? Как говорится "чего уж мелочиться". Ну да, я тут немного перегнул. Поговорил с ChatGPT4, он мне выдал такую инфу:

Цитата

В 64-разрядной системе теоретически максимальный объем адресуемой памяти составляет 16 эксабайт (16 ЭБ), что эквивалентно 2⁶⁴ байт. Однако на практике существуют ограничения, которые могут уменьшить этот объем:

Но вот на второй мой вопрос к ChatGPT4, а-ля, "А в Стандартах С/С++ есть какие либо ограничения или указания по максимально-допустимым размерам объектов?" я ответ получил, типа "такого нет".

Собственно вопросов несколько

1) "Граничные условия" - вестчь важная, она должна быть как-то регламентирована? Если да - то где и как?
2) А если "не", то как "правильно быть"?]]> Majestio C/C++: Общие вопросы