Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2302229 Wed, 01 Jul 2009 08:56:32 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2302229 Цитата zss @
А исходя из этого - можно упростить как-нибудь ?

Можно смастерить обьект FiFo - контейнер для сообшений.
Обьект должен быть потокобезопасным.
Поток с большим приоритетом принимает данные и заполняет FiFo.
Другой рабочий поток извлекает Месаджы из FiFo и занимается
их отправкой.
Но независимо от того, где будут храниться данные аппаратуры
(на диске или в памяти) такая схема может спасти только
от пиковых перегрузок.]]> ЫукпШ C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301984 Tue, 30 Jun 2009 19:30:40 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301984 Цитата albom @
Вторая часть вообще получается простой, разве что тривиальную синхронизацию можно написать.

внутренний буфер меня смущает...


Цитата albom @
Ну разделяешь свой неделимые сообщения неким разделителем, или перед каждым неделимым сообщением передаешь его размер. А на принимающей стороне пишешь читателя, который читает данные из сокета и передает данные дальше в твою программу только порциями, ну а порции он определять сможет или по разделителям или зная размер следующих данных.

понятно]]> zss C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301981 Tue, 30 Jun 2009 19:27:13 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301981 Цитата zss @
а что это даст. Например, если данные потерялись, что tcp сам перезапросит их.
Тут главное чтоб не было так, что я получил часть, а при попытке получения оставшейся произошел обрыв, например.
Ну разделяешь свой неделимые сообщения неким разделителем, или перед каждым неделимым сообщением передаешь его размер. А на принимающей стороне пишешь читателя, который читает данные из сокета и передает данные дальше в твою программу только порциями, ну а порции он определять сможет или по разделителям или зная размер следующих данных.

Цитата zss @
А исходя из этого - можно упростить как-нибудь ?
Вот мне и кажется, что тут проще сделать две нити (или процесса). Один делает важную часть (получает данные и пишет их), а второй просто читает данные (да хоть прямо с диска и читает) и передает их в сеть. Вторая часть вообще получается простой, разве что тривиальную синхронизацию можно написать.]]> albom C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301975 Tue, 30 Jun 2009 19:17:06 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301975 Цитата albom @
то при очередной попытке передачи send будет заблокирован до тех пор, пока не будут переданы уже накопленные данные, и таким образом будут освобождены буферы.

этого я и боялся

Цитата albom @
Реализовать нужный протокол вручную.

а что это даст. Например, если данные потерялись, что tcp сам перезапросит их.
Тут главное чтоб не было так, что я получил часть, а при попытке получения оставшейся произошел обрыв, например.



Цитата albom @
Ну или udp-дейтаграмы слать, если это допустимо.

размер данных более 1500 - не получится.

З.Ы.
Цитата zss @
у тогда нужен промежуточный буфер, который не хотелось заводить.
Мне не критичны потери при передачи по сети. Данные можно и терять (важно лишь сохранение на винт).
Из этого и хотелось реализовать как можно проще...

А исходя из этого - можно упростить как-нибудь ?]]> zss C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301962 Tue, 30 Jun 2009 18:49:20 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301962 Цитата zss @
а как это проявится ?
Передающая сторона уменьшит скорость передачи.
С точки зрения приложения это всё прозрачно, всем этим будет заниматься ОС, сами данные будут накапливаться в буферах на передающей стороне, а когда они будут исчерпаны, то при очередной попытке передачи send будет заблокирован до тех пор, пока не будут переданы уже накопленные данные, и таким образом будут освобождены буферы.

Цитата zss @
это точно ?
в tcp/ip - да

Цитата zss @
Еще вопрос - можно ли каким образом гарантировать транзакцию. Тоесть ли передано все - либо ничего ?
Реализовать нужный протокол вручную.
Ну или udp-дейтаграмы слать, если это допустимо.]]> albom C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301957 Tue, 30 Jun 2009 18:41:10 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301957 Цитата albom @
стандартная ситуация, которая просто сообщает передающей стророне о том, что нужно уменьшить скорость передачи данных.

а как это проявится ?


Цитата albom @
Но на этом этапе данные не теряются, в смысле переполнение буфера на принимающей стороне

это точно ?


З.Ы. Еще вопрос - можно ли каким образом гарантировать транзакцию. Тоесть ли передано все - либо ничего ?

Добавлено
Цитата albom @
Напрашивается вариант сделать два потока: один получает даные и надежно сохраняет из на диск, второй уже передает данные для обработки со своей скоростью.

ну тогда нужен промежуточный буфер, который не хотелось заводить.
Мне не критичны потери при передачи по сети. Данные можно и терять (важно лишь сохранение на винт).
Из этого и хотелось реализовать как можно проще...]]> zss C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301934 Tue, 30 Jun 2009 17:36:04 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301934 Цитата zss @
Но вот если после подключения сервер не успевает обрабатывать данные, то что произойдет
1. Переполнится буфер сервера ?
2. Клиент повиснет на send ?
Если сокет обычный, не блокирующий, то произойдет сначала 1, затем 2. Но на этом этапе данные не теряются, в смысле переполнение буфера на принимающей стороне - стандартная ситуация, которая просто сообщает передающей стророне о том, что нужно уменьшить скорость передачи данных.



Цитата zss @
То есть если все-таки клиент будет заблокирован на send, то он потеряет данные, которые должен постоянно вычитывать из устройства и сохранять на винт, а уже только потом передавать по сети
Напрашивается вариант сделать два потока: один получает даные и надежно сохраняет из на диск, второй уже передает данные для обработки со своей скоростью.
Ну либо делай неблокирующие сокеты и сам следи за временем выполнения сетевых операций, но это сложнее, да и наверно не нужно.]]> albom C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301888 Tue, 30 Jun 2009 13:07:24 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301888 Цитата ЫукпШ @
А если перевести сокет клиента в неблокирующий режим ?

так прежде чем это делать, нужно понять где может быть проблема - на стороне сервера или клиента.


Цитата ЫукпШ @
Впрочем, потеря данных все равно возможна.
Если в бассейн втекает больше чем вытекает, то рано
или поздно польется через край..

меня волнует не потеря со стороны сервера, а потеря со стороны клиенты. То есть если все-таки клиент будет заблокирован на send, то он потеряет данные, которые должен постоянно вычитывать из устройства и сохранять на винт, а уже только потом передавать по сети]]> zss C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301852 Tue, 30 Jun 2009 12:21:27 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301852 Цитата zss @
Меня в данные момент больше интерисует сторона клиента. Он не должен виснуть, иначе пойдет потеря данных.

А если перевести сокет клиента в неблокирующий режим ?

Впрочем, потеря данных все равно возможна.
Если в бассейн втекает больше чем вытекает, то рано
или поздно польется через край..]]> ЫукпШ C/C++: Сетевое программирование https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301750 Tue, 30 Jun 2009 09:46:00 +0000 Сетевая обработка https://forum.sources.ru/index.php?showtopic=276220&view=findpost&p=2301750 В данный момент передача данных синхронная.

Но вот если после подключения сервер не успевает обрабатывать данные, то что произойдет
1. Переполнится буфер сервера ?
2. Клиент повиснет на send ?

З.Ы. Меня в данные момент больше интерисует сторона клиента. Он не должен виснуть, иначе пойдет потеря данных.]]> zss C/C++: Сетевое программирование