Форум на Исходниках.RU

Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2112644 Tue, 11 Nov 2008 14:46:13 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2112644 zhuravlev Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102672 Wed, 29 Oct 2008 18:50:09 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102672 Цитата Ahilles @ 29.10.08, 17:09

ты может ошибся?

хе, да ошибся. Точнее по Рихтеру так было в win9x системах, а на nt - ты прав.]]> jack128 Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102600 Wed, 29 Oct 2008 17:09:03 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102600 Цитата jack128 @ 29.10.08, 16:49

они как раз в верхних 2 гигах сидят.

так спокойно, спокойно. ты может ошибся? Если они сидят в верхних двух гигах, а к верхним двум гигам запрещён доступ то как мы можем вызывать фунции этих библиотек? kernel32.dll сидит по адресу 7C800000h, а ntdll.dll 7C900000h. (XP SP2)

Добавлено 29.10.08, 17:15

Цитата jack128 @ 29.10.08, 16:49

ПОэтому и маскимум - 2 гига, а не 4.

максимум для одного Win32 приложения - это чуть меньше двух гигов (без использования AWE). И притом НЕ одним куском]]> Ahilles Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102589 Wed, 29 Oct 2008 16:49:44 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2102589 Цитата Ahilles @ 28.10.08, 16:11

под ntdll.dll, kernel32.dll.

они как раз в верхних 2 гигах сидят. ПОэтому и маскимум - 2 гига, а не 4.]]> jack128 Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2101599 Tue, 28 Oct 2008 16:11:29 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2101599 Цитата Mr.Delphist @ 28.10.08, 14:43

Если память не изменяет, то теоретический предел - это непрерывный блок в 2 гига в рамках Win32-архитектуры (даже при включенном PAE).

ну да. Проге доступно младшие 2 гига памяти. но надо помнить что память от 0 до 0FFFFh не используется, а это уже минус 64 килобайта и уже 2 гига выделить невозможно! Это не считая память под саму прогу и под ntdll.dll, kernel32.dll.]]> Ahilles Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2101534 Tue, 28 Oct 2008 14:43:45 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2101534 Главное из них - отсутствие гарантий, чтобы выделить НЕПРЕРЫВНЫЙ кусок памяти большого размера в рамках одного процесса. Т.е. выделить 100 кусков по 10 мегов можно относительно легко, 10 кусков по 100 мегов - уже сложнее. А 1 кусок в 1000 мегов - практически нереально, на "классическом сферическом PC в вакууме".

Если память не изменяет, то теоретический предел - это непрерывный блок в 2 гига в рамках Win32-архитектуры (даже при включенном PAE).]]> Mr.Delphist Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2095186 Mon, 20 Oct 2008 14:21:56 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2095186 Цитата leo @ 20.10.08, 13:26

классический борландовский менеджер работает в 2-3 раза быстрее виндового в однопоточных приложениях без ShareMem, а FastMM даже с ShareMem вдвое быстрее, а без до 6-7 раз (см.тестовый код и примерные цифры)

я так и думал. именно это мне и нужно было.

Добавлено 20.10.08, 14:51

Цитата CodeMonkey @ 20.10.08, 07:03

т.к. это неверно.

да, я был не прав. У меня PAE ядро и 1 гиг памяти, у меня получилось 6 раз (в разных приложениях) выделить 900 метров памяти, в результате чего суммарный размер всех файлов подкачки был примерно 5,5 ГБ. Кстати, в одном приложении у меня так и не получилось выделить 1000 мегабайт памяти, пришлось запустить 6 копий и выделить в каждой по 900 метров (программы представляли собой форму с одной кнопкой). Всё таки какие-то ограничения есть...]]> Ahilles Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2095132 Mon, 20 Oct 2008 13:26:27 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2095132 Цитата Ahilles @ 20.10.08, 06:44

А по поводу менеджера куч Delphi, то там разработчики сделали так: в начале выделяется большой кусок памяти под кучу, и функции GetMem и SetLength это аналоги функции HeapAlloc, т.е. выделяют память вручную из кучи. Не понимаю зачем они так сделали когда можно воспользоваться теми функциями, которые предоставляет сама система

Во-первых, "так делают" любые менеджеры кучи, в т.ч. и виндовые HeapAlloc\HeapFree. Во-вторых, АПИ содержит немало функций, которые по большому счету не являются системными (например, функции работы со строками) и приложение может по своему усмотрению использовать их или нет. В частности борландовский менеджер специально заточен на быстрое выделение и уничтожение небольших блоков памяти под строки и экземпляры VCL-объектов - классический борландовский менеджер работает в 2-3 раза быстрее виндового в однопоточных приложениях без ShareMem, а FastMM даже с ShareMem вдвое быстрее, а без до 6-7 раз (см.тестовый код и примерные цифры)]]> leo Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094774 Mon, 20 Oct 2008 07:03:18 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094774 Цитата Ahilles @ 20.10.08, 06:44

А как ты объяснишь что гранулярность у них 8 байт, в то время как у VirtualAlloc 64КБ?

Да нет, это понятно. В смысле: понятно, чем VirtualAlloc отличается от менеджера памяти Delphi.
Я про то, что нет разницы где брать память. Важно - как её использовать.

Цитата Ahilles @ 20.10.08, 06:44

нет, но суммарная виртуальная память это только pagefile

Цитата Ahilles @ 20.10.08, 06:44

нет, это уже ругая история

Это всё тоже понятно. Я это к тому, что не стоит говорить

Цитата Ahilles @ 19.10.08, 13:23

объём памяти выделенный всеми процессами в сумме, не должен превышать 4 ГБ

, т.к. это неверно.]]> CodeMonkey Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094758 Mon, 20 Oct 2008 06:44:30 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094758 Цитата Ahilles @ 19.10.08, 13:23

объём памяти выделенный всеми процессами в сумме, не должен превышать 4 ГБ (т.е. чтобы размер файла подкачки не превышал 4 ГБ).

да, да, да забыл. это ещё не считая промэпированную память. но там ещё есть ограничения.... в книге Руссиновича и Соломна всё подробно об этом написано, не помню точно.

Цитата CodeMonkey @ 19.10.08, 16:54

Для начала - суммарная виртуальная память это всё же RAM + pagefile, а не просто pagefile

нет, но суммарная виртуальная память это только pagefile, потому что "а вдруг придётся выгрузить всю память в своп", хотя в режиме ядра есть ещё и невыгружаемая память. Вернее даже если физической памяти хватает, файл подкачки всё равно будет занимать место, но при этом он не будет использоваться. Например, у меня XP 1 Гиг памяти, её хватате и избытком, всё приложения сейчас в сумме расходуют примерно 400 метров, но файл подкачки имеет размер 512 метром, но при этом почти не используется (в настройках файл подкачки 512-2048). И когда гооврят что файл подкачки должен иметь размер не меньше, чем размер физической памяти, исходят из утверждения "а вдруг придётся выгрузить всю память в своп". опять же, в книге Руссиновича и Соломна всё подробно об этом написано, не помню точно.

Цитата CodeMonkey @ 19.10.08, 16:54

Чем это отличается от GetMem(P, 700*1024*1024); или SetLength
(S, 700*1024*1024)? Проблема с фрагментацией как была, так и осталась.

А как ты объяснишь что гранулярность у них 8 байт, в то время как у VirtualAlloc 64КБ? Функции GetMem и SetLength работают с кучей а не с виртуальнйо памятью, и они вызывают функции HeapAlloc.

Цитата CodeMonkey @ 19.10.08, 16:54

Кроме того, в конце-концов есть же AWE.

нет, это уже другая история, и толк от AWE есть только тогда когда ядро винды PAE и размер физической памяти больше чем размер виртуальной памяти, т.е. когда физическая память больше чем 2 ГБ.

А по поводу менеджера куч Delphi, то там разработчики сделали так: в начале выделяется большой кусок памяти под кучу, и функции GetMem и SetLength это аналоги функции HeapAlloc, т.е. выделяют память вручную из кучи. Не понимаю зачем они так сделали когда можно воспользоваться теми функциями, которые предоставляет сама система.]]> Ahilles Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094697 Mon, 20 Oct 2008 05:30:37 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094697 CodeMonkey, спасибо за объяснение. Искренне надеюсь, что оно чем-то поможет zhuravlev, создавшему эту тему.
Что же касается моего вопроса, то сформулированная Вами проблема никак не связана с тем вопросом, что задал zhuravlev (о чем Вы, собственно, и пишите в 4 абзаце).
Собственно, фрагментация возникает из-за частых и бездумных запросов к менеджеру памяти, с чем последний, даже самый совершенный, справиться, естественно, не может. Поэтому бороться следует не с симптомами, а с самой болезнью, - т.е. осмыслить политику запросов и освобождения памяти в собственной программе.]]> andriano Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094553 Sun, 19 Oct 2008 18:52:40 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094553 Цитата andriano @ 19.10.08, 18:35

А что, собственно, за проблемы с фрагментацией?

Речь идёт не о фрагментации физической памяти, а о фрагментации адресного пространства процесса.
Представьте, что вы выделили 2 гига памяти кусками по 1 Mb. Теперь вы освобождаете каждый нечётный кусок. Получается, что вы освободили 1 Gb памяти, и занято у вас тоже 1 Gb (т.е. 50/50). Причём карта памяти похожа на решето - куски занятой памяти равномерно перемешаны с кусками свободной памяти. А теперь вы хотите выделить 2 Mb памяти. Несмотря на то, что суммарно у вас ещё есть целый 1 Gb свободной памяти, вы не можете это сделать, т.к. максимальный размер непрерывного свободного участка у вас = 1 Mb. Зато у вас 1024 таких участка :)
Это и есть фрагментация. Суть её в том, что из-за интернисвного цикла выделения/освобождения памяти адресное пространство процесса всё больше начинает напоминать решето. Именно по этой причине практически невозможно использовать в программе максимум памяти, доступной режиму пользователя - всегда будут зазоры.
При этом нет разницы, выделяет ли вам память ОС, менеджер памяти или вы выделяете их из зарезервированного участка памяти, как это хочет сделать автор вопроса.
Разница может быть только в алгоритме выделения. Не имеет значения место выделения. Имеет значение как, в какой последовательности вы работаете с памятью.
Например, в отличие от менеджера памяти старых Delphi, менеджер памяти в новых Delphi (FastMM) группирует данные по размеру: мелкие - с мелкими, средние - со средними, а для крупных он вообще вроде запрашивает у ОС отдельные блоки памяти. Это способствует уменьшению фрагментации памяти. Другой пример - нет необходимости выделять память под каждый из кучи однотипных объектов. Лучше загнать их в массив. Ещё пример? Что ж, например, в XP и выше есть куча с низкой фрагментацией. Потом. В нашем же примере - если бы мы заранее сперва выделили память для всех чётных кусков, а затем - для нечётных, то после освобождения памяти у нас получилось бы начало адресного пространства - один целый блок занятой памяти в 1 Gb, а вторая половина - один свободный блок памяти в 1 Gb. Т.е. 0% фрагментации.]]> CodeMonkey Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094538 Sun, 19 Oct 2008 18:35:22 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094538 Если мы работаем в защищенном режиме, то мы всегда работатем через таблицу страниц и процессор на аппаратном уровне производит трансляцию адресов, поэтому на уровне прикладной задачи память непрерывна, а если физически она расположена в разных частях, то на скорости доступа это никак не сказывается.
Если же мы работаем в реальном режиме... А что, кто-то еще работает в реальном режиме?]]> andriano Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094459 Sun, 19 Oct 2008 16:54:07 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094459 Цитата Ahilles @ 19.10.08, 13:23

Не помню точно какие, но одно точно помню (в Win32) : объём памяти выделенный всеми процессами в сумме, не должен превышать 4 ГБ (т.е. чтобы размер файла подкачки не превышал 4 ГБ).

С чего вы это взяли? Нет таких ограничений. Для начала - суммарная виртуальная память это всё же RAM + pagefile, а не просто pagefile. Кроме того, в конце-концов есть же AWE. Или вы про это?
Кстати, при желании можно и в обычном пользовательском режиме 3Gb использовать: Summary of the recent spate of /3GB articles.

Цитата Ahilles @ 19.10.08, 13:23

Просто выделяем виртуальную память через функцию VirtualAlloс

Чем это отличается от GetMem(P, 700*1024*1024); или SetLength(S, 700*1024*1024)? Проблема с фрагментацией как была, так и осталась.]]> CodeMonkey Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094401 Sun, 19 Oct 2008 15:55:38 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094401 Ahilles
Пасиб .... попробую!!!!]]> zhuravlev Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094320 Sun, 19 Oct 2008 13:23:54 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094320

procedure TForm1.Button1Click(Sender: TObject);

var

P:pointer;

size:DWORD;

begin

Size:=700*1024*1024; //700 метров

p:=VirtualAlloc(0,size,MEM_COMMIT+MEM_RESERVE,PAGE_READWRITE);

if p=nil then showmessage('ERROR');

end;

вот только зачем это?

Можно выделить до 2 ГБ памяти, но только есть ограничения. Не помню точно какие, но одно точно помню (в Win32) : объём памяти выделенный всеми процессами в сумме, не должен превышать 4 ГБ (т.е. чтобы размер файла подкачки не превышал 4 ГБ).]]> Ahilles Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094133 Sun, 19 Oct 2008 05:50:45 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094133 Цитата zhuravlev @ 18.10.08, 23:27

а када сама берет то происходит фрагментация кучи

Ок, для работы программа берёт память:
1). Выделяется менеджером памяти (из кучи).
2). Как-то выделяется руками из заранее подготовленного участка.

Я не вижу разницы между этими двумя случаями. Какое-такое принципиальное отличие во втором случае, что вы прямо уверены, что там не будет фрагментации?

Цитата zhuravlev @ 18.10.08, 23:27

большом количестве из кучи.....

Большом количестве чего? Здесь нет телепатов.

Цитата zhuravlev @ 18.10.08, 23:27

и на фрагментацию время не уходит, проверил!!!!!!!

Ну-ка, поделитесь с общественностью, как это вы проверили?]]> CodeMonkey Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094108 Sat, 18 Oct 2008 23:27:03 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094108 zhuravlev Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094021 Sat, 18 Oct 2008 18:35:54 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2094021 Санчес Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2093991 Sat, 18 Oct 2008 17:38:29 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2093991 В процессе работы она что, сама не может брать, сколько захочет?]]> CodeMonkey Delphi: Система, Windows API https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2093935 Sat, 18 Oct 2008 15:42:19 +0000 как при запуке проги выделить 1гиг памяти? https://forum.sources.ru/index.php?showtopic=253509&view=findpost&p=2093935
Както можно при старте программы выделить 1гиг памяти под разные процедуры, чтобы они были зарезервированы только для нее....?
Ну и конечно потом их освободить....

Спасибки!]]> zhuravlev Delphi: Система, Windows API