Fork приложения на сетевом диске

Цитата _lcf_ @ 11.04.17, 22:11

в винде кэшируется только локальная память, с сетевых источником ничего не кэшируется ибо не гарантируется, что файл не был изменен.

Проблема решается технологией BranchCache.
Краткое описание, взял с хабра:

Цитата

BranchCache – технология кэширования, встроенная в Windows 7 и Windows Server 2008 R2, и призванная оптимизировать (сократить) сетевой трафик, передаваемый по WAN-каналам связи. Соответственно, основная сфера применения BranchCache – организации с филиалами и удаленными офисами, которые связаны между собой и центральным офисом сравнительно медленными линиями передачи данных.
BranchCache поддерживает кэширование HTTP- и SMB-трафика. При этом на клиентских компьютерах должна быть установлена Windows 7 (редакции Ultimate или Enterprise, в других редакциях BranchCache не работает), а на серверах – Windows Server 2008 R2. Таким образом, BranchCache работает только в связке Windows 7 + Windows Server 2008 R2.

Глупо это, хранить вообще все в одном исполнительном файле и потом форкаться. Нафиг?
По нормальному тогда уж если все с собой тягается, то и форкающийся код стоит вынести в отдельный exe, порождать его форкать на здоровье. А связь с основным exe уж через pipe поддерживать..
В таком случае форкаться будет только то что нужно, весь хлам будет висеть в оперативной памяти, и вдобавок к этому, если еще и не все форкается функцией, не придется заново воссоздавать объекты (там вам виднее, конечно же).

Сообщение отредактировано: simsergey - 12.04.17, 14:55

Цитата Олег М @ 12.04.17, 13:51

Что значит разветвляет?

Fork - это вилка, или разветвление.
Я вам привел пример

Цитата Олег М @ 12.04.17, 13:51

Насколько я понимаю, линукс, в fork() ничего этого не копирует, а просто увеличивает счётчики или типа того. Windows так не умеет.

Все по сути сложнее. Вы же видели пример - текст программы - один
но содержит код родителя и код потомка. И когда в коде родителя выполнен форк, с этого момента в системе уже два одновременно работающих процесса.
Насчет счетчиков каких таких?
В никсах основной процесс имеет свои таблицы файлов. В них много всего. В том числе и сокеты к примеру - они рассматриваются как псевдофайлы. Потомок делает копию таблицы родителя и работает с ней. В примере все четко показано - как родитель уничтожает указатель на сокет в своей таблице, ему с этим сокетом не надо работать. Тогда как у потомка эта запись о сокете остается. В его копии. Ну это про файлы и прочая. Есть много чего еще что копируется в процесс потомка...
Почитайте "Управление процессами в UNIX" Р. Стивенса...Классика.

Сообщение отредактировано: Oleg2004 - 12.04.17, 15:32

Цитата Oleg2004 @ 12.04.17, 15:28

Насчет счетчиков каких таких?
В никсах основной процесс имеет свои таблицы файлов. В них много всего. В том числе и сокеты к примеру - они рассматриваются как псевдофайлы. Потомок делает копию таблицы родителя и работает с ней. В примере все четко показано - как родитель уничтожает указатель на сокет в своей таблице, ему с этим сокетом не надо работать. Тогда как у потомка эта запись о сокете остается. В его копии. Ну это про файлы и прочая. Есть много чего еще что копируется в процесс потомка...

Счётчики использования страниц памяти, использования хэндлов.
Т.е. когда ты создаёшь копию процесса, зачем тебе копировать его код? Он read-only, поэтому достаточно увеличить счётчик соответствующих страниц памяти и пользоваться ими.

Цитата Oleg2004 @ 12.04.17, 15:28

Fork - это вилка, или разветвление.
Я вам привел пример

Я знаю как переводится слово fork.
Чтобы дублировать процесс, нужно скопировать его код и память и запустить поток. Чтобы этот процесс продолжил работать с того же места нужно ещё скопировать регистры потока.

Цитата simsergey @ 12.04.17, 14:53

Проблема решается технологией BranchCache.

ни черта она не решается, у нас поддержка вынь 7,8 и 10

Цитата simsergey @ 12.04.17, 14:53

Глупо это, хранить вообще все в одном исполнительном файле и потом форкаться. Нафиг?

я уже все описывал в теме
Олег М, simsergey, Oleg2004 вы можете и дальше за форк ченить поговорить

Цитата _lcf_ @ 11.04.17, 20:42

ну и да в винде createprocess, а не форк, да и... в линуксе тоже.

подразумевалось, что конкретно у нас форк не используется, просто так все говорят...

Цитата _lcf_ @ 12.04.17, 15:45

ни черта она не решается

То есть, почему?
Единственное, этот компонент надо поставить, он по умолчанию не установлен, и доступен правда не во всех редакциях.

simsergey

Цитата simsergey @ 12.04.17, 14:53

Таким образом, BranchCache работает только в связке Windows 7 + Windows Server 2008 R2.

это раз. хотя может сейчас и есть поддержка новых версий винды.
ну а второе, это значит мы своим клиентам должны сказать - ну вы там админов своих пните, чтобы они тулзу какую-то настроили

Цитата _lcf_ @ 12.04.17, 15:45

Олег М, simsergey, Oleg2004 вы можете и дальше за форк ченить поговорить

Да уж нет, увольте.
Основная проблема принципиально ясна, и как решить ее вы уже предложили.
Одно правда я так и не допонял
Ваши юзвери пользуют и винду и никсы?

Цитата _lcf_ @ 12.04.17, 15:51

ну а второе, это значит мы своим клиентам должны сказать - ну вы там админов своих пните, чтобы они тулзу какую-то настроили

Не, ну вы можете им, клиентам, сказать, что это у вашей компании политика такая, чтоб всё тормозило, надо потерпеть. Они поймут.

Цитата _lcf_ @ 12.04.17, 15:51

ну а второе, это значит мы своим клиентам должны сказать - ну вы там админов своих пните, чтобы они тулзу какую-то настроили

Это нормальная практика, выставить системные требования для ОС.
С другой стороны - это плата за упрямство держать все в одном .exe, другое дело, как я писал выше, стартовать свою систему, вытаскивать все что есть в память, а там уже стартовать другие свои exe, связываться с ними и т.д., если есть такая необходимость форкать процессы в винде, зная что они не форкаются, а создаются заново.
Почему потоки не использовать? Приложению требуется работать в распределенных системах с поддержкой миграции процессов (без поддержки миграции по нодам потоков) ?

Впрочем, для вашей задачи я предложил решение - BranchCache, exe будет стартовать из кэша на конечной машине, второй раз.
Это в общем-то решение "из коробки", остальное - это переделка вашего кода. Это изначально не ровное решение.

Цитата Oleg2004 @ 12.04.17, 15:54

Ваши юзвери пользуют и винду и никсы?

в основном винда. но есть пользователи кластеров - узлы на никсах, терминалы на винде. разработчики все на никсах (почти).

Цитата Олег М @ 12.04.17, 15:58

Они поймут.

решение уже реализовано, тут хоть кто-нибудь читать умеет?

Добавлено 12.04.17, 16:05

Цитата simsergey @ 12.04.17, 16:02

Почему потоки не использовать?

Цитата _lcf_ @ 11.04.17, 08:25

форк так контролируемый, как раз чтобы снизить негативные последствия возможных падений.

Цитата simsergey @ 12.04.17, 16:02

остальное - это переделка вашего кода.

это несравнимо проще, чем пытаться напрячь людей по всему миру

Сообщение отредактировано: _lcf_ - 12.04.17, 16:06

Цитата _lcf_ @ 12.04.17, 16:03

решение уже реализовано, тут хоть кто-нибудь читать умеет?

Звучит примерно как - мы уже привинтили к своему велосипеду квадратные колёса и нам нужно только чтоб он поехал.

Здесь единственным решением скорее всего будет сохранять файл на локальном диске. Как это сделать - другой вопрос.
Наверняка есть возможность в обоих системах настроить кэширование файла или какой-нибудь оффлайн доступ для расшаренных папок.
Ну и в любом случае что-то придётся настраивать на клиентах.

Сообщение отредактировано: Олег М - 12.04.17, 16:16

Олег М, ну вы явно не читаете что я пишу.

Цитата Олег М @ 12.04.17, 16:16

Здесь единственным решением скорее всего будет сохранять файл на локальном диске.

так и сделано.

Цитата Олег М @ 12.04.17, 16:16

Как это сделать - другой вопрос.

в никсах положен болт, там прекрасно кешируются сетевые данные.
для винды проверяется сетевой ли файл (PathIsNetworkPath), если сетевой и номер ревизии не совпадает(он в имени локальном отображен), то тянется на диск.

Цитата Олег М @ 12.04.17, 16:16

Ну и в любом случае что-то придётся настраивать на клиентах.

ничего не придется. будут папочку темп раз в год чистить. много жалоб будет, будем сами чистить, если файлов больше 5, например.

Цитата _lcf_ @ 12.04.17, 17:30

его не придется. будут папочку темп раз в год чистить. много жалоб будет, будем сами чистить, если файлов больше 5, например

Т.е. проблемы уже нет?

Цитата _lcf_ @ 12.04.17, 16:03

в основном винда. но есть пользователи кластеров - узлы на никсах, терминалы на винде. разработчики все на никсах (почти).

Понятно.
Вопросов больше нет...

в общем да, проблему можно считать решенной. но если найдется способ программно объяснить системе, что неплохо бы кешировать сетевые данные...
но я так понимаю, что это уже задача ФС, как у NFS, например.