Сетевая обработка

[zss]

Система состоит из сервера и клиента. Клиент подключаясь к серверу гонит ему поток на обработку.
В данный момент передача данных синхронная.

Но вот если после подключения сервер не успевает обрабатывать данные, то что произойдет
1. Переполнится буфер сервера ?
2. Клиент повиснет на send ?

З.Ы. Меня в данные момент больше интерисует сторона клиента. Он не должен виснуть, иначе пойдет потеря данных.

[ЫукпШ]

Цитата zss @ 30.06.09, 09:46

Меня в данные момент больше интерисует сторона клиента. Он не должен виснуть, иначе пойдет потеря данных.

А если перевести сокет клиента в неблокирующий режим ?

Впрочем, потеря данных все равно возможна.
Если в бассейн втекает больше чем вытекает, то рано
или поздно польется через край..

[zss]

Цитата ЫукпШ @ 30.06.09, 12:21

А если перевести сокет клиента в неблокирующий режим ?

так прежде чем это делать, нужно понять где может быть проблема - на стороне сервера или клиента.

Цитата ЫукпШ @ 30.06.09, 12:21

Впрочем, потеря данных все равно возможна.
Если в бассейн втекает больше чем вытекает, то рано
или поздно польется через край..

меня волнует не потеря со стороны сервера, а потеря со стороны клиенты. То есть если все-таки клиент будет заблокирован на send, то он потеряет данные, которые должен постоянно вычитывать из устройства и сохранять на винт, а уже только потом передавать по сети

[albom]

Цитата zss @ 30.06.09, 09:46

Но вот если после подключения сервер не успевает обрабатывать данные, то что произойдет
1. Переполнится буфер сервера ?
2. Клиент повиснет на send ?

Если сокет обычный, не блокирующий, то произойдет сначала 1, затем 2. Но на этом этапе данные не теряются, в смысле переполнение буфера на принимающей стороне - стандартная ситуация, которая просто сообщает передающей стророне о том, что нужно уменьшить скорость передачи данных.

Цитата zss @ 30.06.09, 13:07

То есть если все-таки клиент будет заблокирован на send, то он потеряет данные, которые должен постоянно вычитывать из устройства и сохранять на винт, а уже только потом передавать по сети

Напрашивается вариант сделать два потока: один получает даные и надежно сохраняет из на диск, второй уже передает данные для обработки со своей скоростью.
Ну либо делай неблокирующие сокеты и сам следи за временем выполнения сетевых операций, но это сложнее, да и наверно не нужно.

[zss]

Цитата albom @ 30.06.09, 17:36

стандартная ситуация, которая просто сообщает передающей стророне о том, что нужно уменьшить скорость передачи данных.

а как это проявится ?

Цитата albom @ 30.06.09, 17:36

Но на этом этапе данные не теряются, в смысле переполнение буфера на принимающей стороне

это точно ?


З.Ы. Еще вопрос - можно ли каким образом гарантировать транзакцию. Тоесть ли передано все - либо ничего ?

Добавлено 30.06.09, 18:42

Цитата albom @ 30.06.09, 17:36

Напрашивается вариант сделать два потока: один получает даные и надежно сохраняет из на диск, второй уже передает данные для обработки со своей скоростью.

ну тогда нужен промежуточный буфер, который не хотелось заводить.
Мне не критичны потери при передачи по сети. Данные можно и терять (важно лишь сохранение на винт).
Из этого и хотелось реализовать как можно проще...

[albom]

Цитата zss @ 30.06.09, 18:41

а как это проявится ?

Передающая сторона уменьшит скорость передачи.
С точки зрения приложения это всё прозрачно, всем этим будет заниматься ОС, сами данные будут накапливаться в буферах на передающей стороне, а когда они будут исчерпаны, то при очередной попытке передачи send будет заблокирован до тех пор, пока не будут переданы уже накопленные данные, и таким образом будут освобождены буферы.

Цитата zss @ 30.06.09, 18:41

это точно ?

в tcp/ip - да

Цитата zss @ 30.06.09, 18:41

Еще вопрос - можно ли каким образом гарантировать транзакцию. Тоесть ли передано все - либо ничего ?

Реализовать нужный протокол вручную.
Ну или udp-дейтаграмы слать, если это допустимо.

[zss]

Цитата albom @ 30.06.09, 18:49

то при очередной попытке передачи send будет заблокирован до тех пор, пока не будут переданы уже накопленные данные, и таким образом будут освобождены буферы.

этого я и боялся

Цитата albom @ 30.06.09, 18:49

Реализовать нужный протокол вручную.

а что это даст. Например, если данные потерялись, что tcp сам перезапросит их.
Тут главное чтоб не было так, что я получил часть, а при попытке получения оставшейся произошел обрыв, например.

Цитата albom @ 30.06.09, 18:49

Ну или udp-дейтаграмы слать, если это допустимо.

размер данных более 1500 - не получится.

З.Ы.

Цитата zss @ 30.06.09, 18:41

у тогда нужен промежуточный буфер, который не хотелось заводить.
Мне не критичны потери при передачи по сети. Данные можно и терять (важно лишь сохранение на винт).
Из этого и хотелось реализовать как можно проще...

А исходя из этого - можно упростить как-нибудь ?

[albom]

Цитата zss @ 30.06.09, 19:17

а что это даст. Например, если данные потерялись, что tcp сам перезапросит их.
Тут главное чтоб не было так, что я получил часть, а при попытке получения оставшейся произошел обрыв, например.

Ну разделяешь свой неделимые сообщения неким разделителем, или перед каждым неделимым сообщением передаешь его размер. А на принимающей стороне пишешь читателя, который читает данные из сокета и передает данные дальше в твою программу только порциями, ну а порции он определять сможет или по разделителям или зная размер следующих данных.

Цитата zss @ 30.06.09, 19:17

А исходя из этого - можно упростить как-нибудь ?

Вот мне и кажется, что тут проще сделать две нити (или процесса). Один делает важную часть (получает данные и пишет их), а второй просто читает данные (да хоть прямо с диска и читает) и передает их в сеть. Вторая часть вообще получается простой, разве что тривиальную синхронизацию можно написать.

[zss]

Цитата albom @ 30.06.09, 19:27

Вторая часть вообще получается простой, разве что тривиальную синхронизацию можно написать.

внутренний буфер меня смущает...

Цитата albom @ 30.06.09, 19:27

Ну разделяешь свой неделимые сообщения неким разделителем, или перед каждым неделимым сообщением передаешь его размер. А на принимающей стороне пишешь читателя, который читает данные из сокета и передает данные дальше в твою программу только порциями, ну а порции он определять сможет или по разделителям или зная размер следующих данных.

понятно

[ЫукпШ]

Цитата zss @ 30.06.09, 19:17

А исходя из этого - можно упростить как-нибудь ?

Можно смастерить обьект FiFo - контейнер для сообшений.
Обьект должен быть потокобезопасным.
Поток с большим приоритетом принимает данные и заполняет FiFo.
Другой рабочий поток извлекает Месаджы из FiFo и занимается
их отправкой.
Но независимо от того, где будут храниться данные аппаратуры
(на диске или в памяти) такая схема может спасти только
от пиковых перегрузок.

Сообщение отредактировано: ЫукпШ - 01.07.09, 08:59