Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3700974 Fri, 06 Jan 2017 14:35:23 +0000 Скорость чтения/записи файла https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3700974 Dark Side, ну может люди просто на пиво поспорили :)]]> barazuk Пакетные файлы CMD, BAT https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697261 Sun, 11 Dec 2016 14:05:35 +0000 Скорость чтения/записи файла https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697261 Dark Side Пакетные файлы CMD, BAT https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697241 Sun, 11 Dec 2016 07:50:42 +0000 Скорость чтения/записи файла https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697241 Цитата .alex @
Если же запустить параллельно четыре таких скрипта, то тогда загрузка проца будет примерно под 100% и скорость чтения будет приближаться к заявленной для HDD скорости (100МБ/с)

С загрузкой проца все понятно. А вот со скоростью чтения диска есть вопрос - как ты ее определяешь? Если бы общее время чтения файла (всеми скриптами) сократилось в 4-5 раз это одно. Если же оно осталось примерно тем же самым, то увеличение скорости чтения 4-мя скриптами - это просто фикция, поскольку реально файл читается с диска один раз, а не 4. При обычном буферированном чтении файла, данные, прочитанные одним из скриптов, оседают в системном (файловом) кэше, поэтому остальные скрипты получают их практически "мгновенно" без обращения к диску. Но формально получается, что 4 скрипта читают за то же время в 4 раза больше данных, чем один - отсюда и формальное увеличение скорости чтения.

Цитата .alex @
или выход только многопоточность (хоят в данном случае это "многопроцессность")?

При обработке файлов многопоточность может дать заметный выигрыш только в том случае, когда время обработки данных превышает, сравнимо или хотя бы составляет существенный процент от времени чтения этих данных с диска. Но и в этом случае лучше, если чтением файла будет заниматься один поток, а остальные - обработкой считанных данных. Если же несколько потоков будут читать разные файлы или один файл по разным (непоследовательным) смещениям, то вместо выигрыша можно получить существенный проигрыш из-за непоследовательного доступа к диску (накладных расходов на перемещение головок HDD).]]> leo Пакетные файлы CMD, BAT https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697009 Thu, 08 Dec 2016 11:27:30 +0000 Скорость чтения/записи файла https://forum.sources.ru/index.php?showtopic=410032&view=findpost&p=3697009
    Set FSO = CreateObject("Scripting.FileSystemObject")
    Set File = FSO.GetFile("z:\zzz.iso")
    Set TextStream = File.OpenAsTextStream(1)
     
    Dim sIna
    sIna = ""
     
    Do While Not TextStream.AtEndOfStream
      sIna = TextStream.Read(4096 * 1000)
      sIna = ""
    Loop
    TextStream.Close

У меня задача максимально быстро читать большие файлы (от 80Гб), так вот это скрипт грузит проц процентов на 12-15 и в диспечере задач видно что процесс в котором запущен скрипт читает файл примерно со скоростью 20МБ/с. Если же запустить параллельно четыре таких скрипта, то тогда загрузка проца будет примерно под 100% и скорость чтения будет приближаться к заявленной для HDD скорости (100МБ/с). Подскажите почему один скрипт не может "на полную" использовать ресурсы компа, это ОС его ограничивает? Можно ли это ограничение убрать для конкретного процесса или выход только многопоточность (хоят в данном случае это "многопроцессность")? Или вообще все не так?))
ps. давненько я на форум не заходил...)]]> .alex Пакетные файлы CMD, BAT