На главную
ПРАВИЛА FAQ Помощь Участники Календарь Избранное DigiMania RSS
msm.ru
Соблюдайте Правила
Модераторы: Dark_Sup, Павел Калугин, esperanto
  
    > Как сохранить данные для потомков?
      Вопросец - есть результаты эксеримента, как самым дешёвым способом сохранить 1-2 петабайта данных лет на 10-15? Скорость доступа при хранении особой роли не играет, но желательно сохранить в неповрешдённом виде...
      With the best wishes, Vit
      I have done so much with so little for so long that I am now qualified to do anything with nothing
      Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
        перфокарты....


        А вообще, какие носители сейчас самые обьемные?
          Может что-то из продуктов Capricorn Technologies? Читал что они специализируются на относительно дешевых решениях. Хотя слово дешево применительно к таким объемам вроде не совсем уместно :)
          Ни один победитель не верит в случайность.
            Цитата Vit @
            Вопросец - есть результаты эксеримента, как самым дешёвым способом сохранить 1-2 петабайта данных лет на 10-15? Скорость доступа при хранении особой роли не играет, но желательно сохранить в неповрешдённом виде...
            Петабайт??? :o

            1-2 тысячи терабайтных винтов в контейнер и на склад. :ph34r:
              через Гугл!
                А они что - никак не обжимаются и не вычищаются? WinRAR'у вроде по силам такие объёмы.
                  На видиокасетах, только надо использовать востанавливающие ошибки коды
                  Microsoft SDE -> Intel algorithmist -> Skype SDET 2
                  B.Sc - > M.Sc -> B.Psy -> Scrum Master -> Research Assistent

                  https://www.youtube.com/user/igorkle1?feature=mhee
                  http://igor-eta.livejournal.com/
                  http://www.idea2site.com/
                    Цитата juice @
                    Может что-то из продуктов Capricorn Technologies?

                    Спасибо за наводку

                    Цитата juice @
                    Хотя слово дешево применительно к таким объемам вроде не совсем уместно

                    Ну, естественно речь не идёт о сотне баксов.

                    Цитата Спящий @
                    1-2 тысячи терабайтных винтов в контейнер и на склад.

                    Угу, а сколько из них можно будет через 10 лет прочитать? Я тоже думал что это самый дешёвый способ, но насколько он надёжен?


                    Цитата Koss @
                    через Гугл!

                    Они отказались


                    Цитата Спящий @
                    А они что - никак не обжимаются и не вычищаются? WinRAR'у вроде по силам такие объёмы.

                    Это уже вычещенные и ужатые

                    Цитата esperanto @
                    На видиокасетах, только надо использовать востанавливающие ошибки коды

                    Какие на фиг видеокасеты? Арвид что-ли? Так там записывается 4 гига на одну касету...
                    With the best wishes, Vit
                    I have done so much with so little for so long that I am now qualified to do anything with nothing
                    Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                      Это всего-то 250000 болванок DVD. Для надежности закодировать по принципам RAID-массива с самокорректирующимся кодом.
                      Если для прожига нанять школьников по $10 в час, то получится ...бюджетно. И компактно - в шкаф влезет.
                      Сообщение отредактировано: nvm -
                        Цитата nvm @
                        Это всего-то 25000 болванок DVD. Для надежности закодировать по принципам RAID-массива с самокорректирующимся кодом.



                        Знаешь, года 3-4 назад я хранил все свои данные на DVD, фильмы, файлы и т.п. Уже через пол года 1-2% дисков не читаются, недавно надо было покопаться в своём видеоархиве - хотел найти в raw формате видео которое я делал в 2000 году, чтобы обработать его по другому, на новых технологиях. Итог более чем печальный: через 5 лет не читается более половины DVD дисков и более трети CD дисков. Через 10 лет - у меня из 50 дисков читаются только 2, которые я делал на золотых болванках... Из-за этого я вообще перестал пользоваться CD и особенно DVD - надёжность никакая... Гораздо надёжней купить для домашних целей два внешних харда и на них хратить архивы. Но это для дома. А для этой задачи вопрос такой - как долго хранится информация на выключенном неиспользуемом харде. Т.е. если допустим я куплю 1000 винтов и сброшу на них эту информацию, положу на склад, через 10 лет сколько примерно информации будет утерянно?
                        With the best wishes, Vit
                        I have done so much with so little for so long that I am now qualified to do anything with nothing
                        Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                          Цитата nvm @
                          Для надежности закодировать по принципам RAID-массива с самокорректирующимся кодом.

                          WinRAR, помимо добавления обычной инфы восстановления, умеет создавать т.н. "Тома восстановления" — каждый том восстановления можно использовать, чтобы восстановить один любой(!) утраченный том оригинального архива. The total number of usual and recovery volumes must not exceed 255 and the number of recovery volumes must be less than the number of RAR volumes.
                          Цитата Спящий @
                          WinRAR'у вроде по силам такие объёмы.

                          Цитата
                          WinRAR limitations
                          The number of files, which can be added to an archive, depends upon the amount of available memory and the length of file names. Roughly 128 bytes of memory are required per archived file for RAR archive. For example, it can take about 128 MB to compress one million of files. WinRAR has been tested to handle over one million of files.

                          The size of a RAR archive, as well as the size of any single file within a RAR archive, is limited to 8,589,934,591 GB (9,223,372,036,854,775,807 bytes). Note that to create archives larger than 4 GB, you need to use NTFS, as older file systems do not support such large files.



                          Инфа восстановления может составлять до 10‰ от размера архива, но не более, чем 524288 секторов, каждый из которых позволит восстановить 512 байт отсутствующих данных.

                          Добавлено
                          Цитата Змей @
                          до 10‰

                          очепятко. разумеется, речь о 10%, а не 10‰.

                          Добавлено
                          Vit, я слышал, что есть болванки TDK, для которых, при условии хранения в инертной среде, гарантируется достоверная читабельность через 100 лет... линков дать не могу, ибо не помню, где об этом читал... какой-то компутерный журнал лет пять назад...

                          Цитата Vit @
                          Т.е. если допустим я куплю 1000 винтов и сброшу на них эту информацию, положу на склад, через 10 лет сколько примерно информации будет утерянно?
                          а нелььзя докопаться до фирмы-производителя с этим вопросом?

                          зы. а вообще конечно фторопластовая перфолента рулит — она лет триста точно пролежит без проблем :) только для хранения одного петабайта её понадобится примерно столько, сколько нужно, чтоб обмотать её вокруг экватора 65 тысяч раз :rolleyes:
                          Ходил в бухгалтерию за авансом. Дали. И аванс тоже :)
                            Цитата Змей @
                            Vit, я слышал, что есть болванки TDK, для которых, при условии хранения в инертной среде, гарантируется достоверная читабельность через 100 лет... линков дать не могу, ибо не помню, где об этом читал... какой-то компутерный журнал лет пять назад...


                            Да есть эти болванки в магазинах...Но цена у них очень высокая - это золотые CD диски, поэтому вмещается на них только 700Mb, а стоимость 30$ за 30 штук, т.е. цена по доллару за 700 Mb, т.е. это решение будет стоить около 800 000$ но ещё это будет ещё и очень много места...

                            Цитата Змей @
                            а нелььзя докопаться до фирмы-производителя с этим вопросом?

                            Хрен его знает... веры им нет, им надо продавать... Я помню как появились CD диски и их позиционировали как хранилище на века, в реале оказалось всё совсем не так
                            With the best wishes, Vit
                            I have done so much with so little for so long that I am now qualified to do anything with nothing
                            Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                              Цитата Vit @
                              Через 10 лет - у меня из 50 дисков читаются только 2..

                              Странно. А я-то думал, что болванки могут храниться вечно, так как это пластик, "разрисованный" лазером и там нечему портиться. Вот хард - понятно, может размагнититься.
                                Цитата nvm @
                                транно. А я-то думал, что болванки могут храниться вечно, так как это пластик, "разрисованный" лазером и там нечему портиться. Вот хард - понятно, может размагнититься.



                                На самом деле в CD дисках и тем более на DVD ситуация намного сложнее. Во первых, прожиг - это испарение металла, которое дифундирует в пластмассу. Со временем метал диффундирует дальше. Во вторых, используется алюминий - это очень активный металл, постепенно он химически реагирует с пластиком. И последнее - пластик сам по себе постепенно мутнеет. С DVD дисками ещё сложнее и хуже - они многослойные, поэтому эти процессы текут намного быстрее. Во-вторых DVD очень чувствительные (слои очень тонкие), поэтому они реагируют на свет, на радиацию, на космическое излучение. Достаточно положить DVD диск на солнце чтобы через день на нём почти гарантирвоанно перестало читаться много мест.

                                Чтобы нивелировать эти процессы используются дорогостоящие технологии: стеклянные диски с золотым напылением, такие диски ОЧЕНЬ дорогие(десятки долларов 1 CD диск), или пластиковые диски с золотым покрытием(1 доллар за CD диск). Я не встречал DVD технологий для длительного хранения.

                                Заводские диски работают гораздо больше, чем домашние, так как там используются другие техноголии изготовления и записи
                                With the best wishes, Vit
                                I have done so much with so little for so long that I am now qualified to do anything with nothing
                                Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                  Цитата Vit @
                                  Через 10 лет - у меня из 50 дисков читаются только 2, которые я делал на золотых болванках...

                                  Держу в руках печатную(?) изрядно потёртую и испещрённую мелкими царапинками CD пиратку 1999 г.в. и лицезрею на винте только что удачно сделаный образ (как доказательство отличной читабельности).
                                    Цитата Vit @
                                    Цитата Спящий @
                                    1-2 тысячи терабайтных винтов в контейнер и на склад.

                                    Угу, а сколько из них можно будет через 10 лет прочитать? Я тоже думал что это самый дешёвый способ, но насколько он надёжен?

                                    Пожалуй, раз в 3 года можно закупать новую партию дисков и копировать на них.
                                      Цитата Vit @
                                      Заводские диски работают гораздо больше, чем домашние, так как там используются другие техноголии изготовления и записи
                                      Почему бы не заказать на заводе себе "архивчик"? :rolleyes:
                                        Может какой-нибудь нано- способ? Регулярно же в новостях последних лет что-то мелькало по данному направлению разработки.
                                        концептуальная парадигма коммуникативного модуса в свете парцептуальных субквазитенденций в период имунно-иогенных простраций свидетельствует о недостаточности у индивида метакриптических биоциклоид
                                          Цитата Lavrik @
                                          Может какой-нибудь нано- способ? Регулярно же в новостях последних лет что-то мелькало по данному направлению разработки.

                                          нано способ катит только если надо мега бабки хранить ;)
                                            Кстати, а на чем сейчас эти данные хранятся?

                                            По поводу винтов ... вроде я слышал, что они со временем размагничиваются, но раз в пол года-год можно делать им автоапдейт... помоему для воссстановления ориентации магнитного поля доменов ферромагнитного диска достаточно операции чтения.

                                            Добавлено
                                            Хотя могу тут ошибаться.
                                            Она утром уходит на работу и говорит: «Ты мой небритыш!» или даже так «Ты мой заспанный чебурашка», не-не… «Чебурааааафффффка» :wub:
                                            И вроде это так мило, но так противно =)))))
                                              Цитата Братец Лис @
                                              Кстати, а на чем сейчас эти данные хранятся?

                                              Зная Вита (не лично, по постам на форуме), смогу предположить что данные у него в мозгу.
                                                Vit Как всегда я скажу бред. ;) Всё и так остаётся в памяти места, пространстранства-времени, в камнях, в деревьях, в вещах во всём окружающем, сама Земля - это долгозаписывающая пластинка.. А мы тут со своими петабайтами заморачиваемся... ;)
                                                Кто посеет высохшие семена, тот ничего не пожнёт.
                                                Кто посеет ненависть, тот снимет плоды своего раскаяния...
                                                © История покорителя Мира Чингисхана со слов его учителя, философа и лекаря сопровождавшего его в походах
                                                  во-во :rolleyes: самое надежное - перо и бумага, так что запасайся парой тонн целлюлозной продукции, чернилами и гусями - и сиди идинички нолики пиши :lol: .
                                                    Цитата Vit @
                                                    есть результаты эксеримента, как самым дешёвым способом сохранить 1-2 петабайта данных лет на 10-15?

                                                    Можно нескромный вопрос? Что за эксперимент и что это за данные? Ты решил пойти по стопам гугля и скопировать себе весь интернет? :unsure:

                                                    Добавлено
                                                    Насколько я понимаю, наиболее разумное решение - это две тысячи терабайтных винчестеров. Итого всего ничего 200 тысяч американских денег.

                                                    Добавлено
                                                    Цитата Медведев @
                                                    нано способ катит только если надо мега бабки хранить

                                                    Вот ты носишь гордую фамилию Медведев, а до сих пор не выучил, что надо говорить не тратить, а осваивать бюджет.
                                                      Цитата Братец Лис @
                                                      По поводу винтов ... вроде я слышал, что они со временем размагничиваются, но раз в пол года-год можно делать им автоапдейт... помоему для воссстановления ориентации магнитного поля доменов ферромагнитного диска достаточно операции чтения.

                                                      я в этом не уверен — но можно и прогу для восстановления намагниченности намутить, типа:
                                                      i=0
                                                      do while EndOfDisk
                                                      writeSector i, readsector(i)
                                                      i++
                                                      loop
                                                      :)

                                                      Цитата _lcf_ @
                                                      запасайся парой тонн целлюлозной продукции
                                                      там далеко не пара тонн... приняв округлённо, что ёмкость одного листа а4 составляет 61360 бит (если для каждого бита использовать поле размером в 1мм2, с учётом миллиметровых полей со всех краёв листа), или 7670 байт, а его вес (для стандартной бумаги 80 г/м) составляет 4.9896 грамма, можно рассчитать, что удельная информационная ёмкость офисной бумаги составляет ~1.5К на грамм, а физический вес данных, записанных на неё, составляет приблизительно 0.66 грамма на килобайт, что составляет 682 грамма на мегабайт, или 698.5 килограмма на гигабайт, или приблизительно 757.2 ТОННЫ на петабайт.

                                                      таким образом, затребованная Vit`ом "пара петабайт" превращается в полторы тысячи тонн бумаги... не, мне не нравится.
                                                      Ходил в бухгалтерию за авансом. Дали. И аванс тоже :)
                                                        Цитата Змей @
                                                        если для каждого бита использовать поле размером в 1мм2

                                                        А если в качестве записывающего/считывающего устройства использовать лезарный принтер и сканер, то до скольки реально можно уменьшить размер бита ?
                                                          Хммм... Ни кто не интересовался технологией Blue-Ray? Как с ней дела? Действительно, CD/DVD в роли "хранилища" несколько напряжно использовать. Соглашусь с Vit'ом.
                                                            Не согласен насчет "напряжного" хранения данных на CD/DVD. Они гарантируют минимум десятилетнее хранение информации на дисках (смотрим пост человека выше, который переписал диск десятилетней давности).

                                                            За десять лет технология хранения информации гарантировано шагнет на шаг, если не на два, вперед. Данные можно будет переписать на более надежные и более дешевые носители информации.

                                                            К 2010 ряд компаний обещает выпуск 3D оптических дисков с предполагаемой емкостью до 1 терабайта. Так что имеет смысл подождать, тем более что насколько я могу судить результаты эксперимента еще только планируется получить.

                                                            В идеале в будущем для хранения одного бита будет использоваться один атом. Сохранить один петабайт будет сущим пустяком.
                                                              Цитата
                                                              Хммм... Ни кто не интересовался технологией Blue-Ray? Как с ней дела?

                                                              С ней все нормально, только у нас болванки жутко дорогущие.
                                                                Цитата
                                                                Знаешь, года 3-4 назад я хранил все свои данные на DVD, фильмы, файлы и т.п. Уже через пол года 1-2% дисков не читаются, недавно надо было покопаться в своём видеоархиве - хотел найти в raw формате видео которое я делал в 2000 году, чтобы обработать его по другому, на новых технологиях. Итог более чем печальный: через 5 лет не читается более половины DVD дисков и более трети CD дисков. Через 10 лет - у меня из 50 дисков читаются только 2, которые я делал на золотых болванках... Из-за этого я вообще перестал пользоваться CD и особенно DVD - надёжность никакая... Гораздо надёжней купить для домашних целей два внешних харда и на них хратить архивы.

                                                                Бустер, с приведёнными цифирями согласен. +/-, но так и получается.
                                                                В петабайтах не меряю (нет у меня столько), но работаю с винтами. Приглядываюсь к Blue-Ray, т.к. на PS/3 оно у меня уже есть.

                                                                Добавлено
                                                                Цитата
                                                                только у нас болванки жутко дорогущие.

                                                                i++, ну, если инфа имеет коммерческую ценность, то потратиться можно.
                                                                  А флэш через 10 лет размагнитится ? :unsure:
                                                                    ИМХО рэйд с горячей заменой и автодубликацией подойдет... Правда поддержка накладная.. постоянно менять диски... но как вариант.. каждый винт работает например 3 месяца.. затем меняется.... использованные винты продать... в школы, библиотеки и т.д..

                                                                    действительно, а что за эксперимент? может его проще будет повторить лет через 15, чем хранить столько данных?

                                                                    Добавлено
                                                                    через 15 лет наверняка их все можно будет записать на одну флешку.. :D
                                                                    Если программер - извращенец, то он программер.
                                                                    Обратное не верно.
                                                                      Цитата purpe @
                                                                      А флэш через 10 лет размагнитится ?
                                                                      Скорее всего. Только не размагнитится, а заряд израсходуется. Но если раз в пару лет хотя-бы просто втыкать в комп, то всё будет нормально.
                                                                        Цитата Спящий @
                                                                        Только не размагнитится, а заряд израсходуется.


                                                                        как, простите? на то это и флэш, что энергонезависимая..
                                                                        Если программер - извращенец, то он программер.
                                                                        Обратное не верно.
                                                                          Цитата Muran @
                                                                          как, простите? на то это и флэш, что энергонезависимая..

                                                                          http://ru.wikipedia.org/wiki/Флеш-память - раздел про принципы работы.
                                                                          Сообщение отредактировано: Спящий -
                                                                            помещаешь в идеальные условия и она остается работоспособной в течение ста лет..
                                                                            Если программер - извращенец, то он программер.
                                                                            Обратное не верно.
                                                                              Цитата Vit @
                                                                              сохранить 1-2 петабайта данных


                                                                              Слабо представляю себе, что может сгенерить такой объем данных (если это не мультимедийные, аудио или видео материалы). :unsure:
                                                                              Цитата Discovery @
                                                                              Думаю что США с удовольствием примет Беларусь в НАТО и ЕС.
                                                                                вот оригинал.. EEPROM в разделе Failure Mode написано, что от 10 лет и дольше.. кто-то криво перевел в википедию а потом люди начинают спорить.. читайте тексты в оригинале и будет вам счастье ;)
                                                                                Если программер - извращенец, то он программер.
                                                                                Обратное не верно.
                                                                                  Цитата Muran @
                                                                                  читайте тексты в оригинале и будет вам счастье
                                                                                  Спасибо, за последние 2 года начитался. А производитель может гарантировать что угодно - никто 10-летний опыт проводить не станет.
                                                                                    Цитата MichSpar @
                                                                                    Держу в руках печатную(?) изрядно потёртую и испещрённую мелкими царапинками CD пиратку 1999 г.в. и лицезрею на винте только что удачно сделаный образ (как доказательство отличной читабельности).


                                                                                    Это болванка сделланая заводским способом, а не CD-R.

                                                                                    Цитата MichSpar @
                                                                                    Почему бы не заказать на заводе себе "архивчик"?


                                                                                    Заводской способ производства дисков он достаточно трудоёмок, т.е. делаются там всякие матрицы и т.д., а потом уже массово штампуется. Поэтому сделать 10000 дисков одинаковых на заводе без проблем, а вот разных - это будет не просто дорого, а безумно дорого.


                                                                                    Цитата Братец Лис @
                                                                                    Кстати, а на чем сейчас эти данные хранятся?


                                                                                    Не сервере

                                                                                    Цитата Медведев @
                                                                                    Зная Вита (не лично, по постам на форуме), смогу предположить что данные у него в мозгу.


                                                                                    :lool:

                                                                                    Цитата kardinal-khan @
                                                                                    Vit Как всегда я скажу бред. ;) Всё и так остаётся в памяти места, пространстранства-времени, в камнях, в деревьях, в вещах во всём окружающем, сама Земля - это долгозаписывающая пластинка.. А мы тут со своими петабайтами заморачиваемся..


                                                                                    Угу, как всегда...

                                                                                    Цитата Обедающий философ @
                                                                                    Можно нескромный вопрос? Что за эксперимент и что это за данные? Ты решил пойти по стопам гугля и скопировать себе весь интернет?


                                                                                    Нет, это данные за 5 лет экспериментов на одном из ускорителей элементарных частиц.


                                                                                    Цитата Змей @
                                                                                    там далеко не пара тонн... приняв округлённо, что ёмкость одного листа а4 составляет 61360 бит (если для каждого бита использовать поле размером в 1мм2, с учётом миллиметровых полей со всех краёв листа), или 7670 байт, а его вес (для стандартной бумаги 80 г/м) составляет 4.9896 грамма, можно рассчитать, что удельная информационная ёмкость офисной бумаги составляет ~1.5К на грамм, а физический вес данных, записанных на неё, составляет приблизительно 0.66 грамма на килобайт, что составляет 682 грамма на мегабайт, или 698.5 килограмма на гигабайт, или приблизительно 757.2 ТОННЫ на петабайт.


                                                                                    Молодец! Сам такие приблизительные рассчёты обожаю!

                                                                                    Цитата Бустер @
                                                                                    Не согласен насчет "напряжного" хранения данных на CD/DVD. Они гарантируют минимум десятилетнее хранение информации на дисках (смотрим пост человека выше, который переписал диск десятилетней давности).


                                                                                    Это заводской диск.

                                                                                    Цитата Шадофф @
                                                                                    Ни кто не интересовался технологией Blue-Ray? Как с ней дела?


                                                                                    Ээээ... технология только-только появилась, поэтому её устойчивость во времени ещё большой вопрос.К тому же, насколько я понимаю, на физико-химическом уровне она мало чем отличается от DVD - та же стареющая пластмасса, тот же металл, примерно те же химические реакции. Учитывая, что технология основана на ещё более тонких слоях, то можно предположить (естественно не со 100% вероятностью), что устойчивость записи домашним способом будет ещё меньше или такая же...

                                                                                    Цитата Muran @
                                                                                    ИМХО рэйд с горячей заменой и автодубликацией подойдет... Правда поддержка накладная.. постоянно менять диски... но как вариант.. каждый винт работает например 3 месяца.. затем меняется.... использованные винты продать... в школы, библиотеки и т.д..


                                                                                    Да, это одно из наиболее разумных решений. Правда не дешёвое в эксплуатации - более чем двойной запас винтов + сама система будет стоить как самолёт средних размеров.

                                                                                    Цитата Muran @
                                                                                    действительно, а что за эксперимент? может его проще будет повторить лет через 15, чем хранить столько данных?


                                                                                    Нет не проще, данные собирались более 5 лет, быстрее их не собрать. Просто с современыыми скоростями компьютеров некоторые виды обработки довольно проблематично сделать, желательно дождаться более производительных систем.
                                                                                    With the best wishes, Vit
                                                                                    I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                    Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                      Цитата Спящий @
                                                                                      никто 10-летний опыт проводить не станет

                                                                                      ну вот это не правда... они цифры не с потолка берут... флэш-накопители используются, в частности, в военной технике.. а это не с рядовым пользователем судиться. :D

                                                                                      Добавлено
                                                                                      Цитата Vit @
                                                                                      + сама система будет стоить как самолёт средних размеров.

                                                                                      ну и сама задача не из тривиальных... толкни идею правительству США как один из пунктов плана поддержки экономики.. и производители винтов на пару десятилетий с контрактами, и несколько сот рабочих саппорта при деле.. должны проспонсировать.. из 700 миллиардов долларов миллионов 50 удасться выбить :D

                                                                                      Добавлено
                                                                                      Цитата Vit @
                                                                                      Не сервере

                                                                                      а сейчас проблема не решена? сервер есть, данные храняться... что не так?

                                                                                      Добавлено
                                                                                      придумал ещё один извращенный способ....
                                                                                      находим нечто с отражающей способностью близкой к единице в далеком космосе... на расстояниее 7,5световых лет от Земли... прицеливаемся и передаем туда 2 петебайта данных... через 15 лет считываем их из космоса и обрабатываем... для верности отправляем и на другие звезды подальше, на случай если не будет мощных компов или пропустим прием.. 8-) будем первыми космическими спаммерами..
                                                                                      Если программер - извращенец, то он программер.
                                                                                      Обратное не верно.
                                                                                        Цитата
                                                                                        Ээээ... технология только-только появилась, поэтому её устойчивость во времени ещё большой вопрос.К тому же, насколько я понимаю, на физико-химическом уровне она мало чем отличается от DVD - та же стареющая пластмасса, тот же металл, примерно те же химические реакции. Учитывая, что технология основана на ещё более тонких слоях, то можно предположить (естественно не со 100% вероятностью), что устойчивость записи домашним способом будет ещё меньше или такая же...

                                                                                        Угу... Самого посещали те же мысли...
                                                                                          Цитата Vit @
                                                                                          Это заводской диск.

                                                                                          Откуда такая увереность? Может это диск записанный Васей Пупкиным.

                                                                                          PS
                                                                                          Что-то я так и подумал, что данные с микромира. БАК тоже будет давать гигабайты данных в секунду. Есть смысл обработать данные а не хранить их. В конце концов все петабайты сводятся к одному мегабайту, а именно, что удалось выяснить в результате эксперимента.
                                                                                            Цитата Vit @
                                                                                            Нет, это данные за 5 лет экспериментов на одном из ускорителей элементарных частиц.

                                                                                            А откуда они у тебя и почему их некому сохранить, кроме тебя?

                                                                                            Добавлено
                                                                                            Цитата Бустер @
                                                                                            Есть смысл обработать данные а не хранить их.

                                                                                            :yes: Всех данных не сохранишь. Вообще лично моё мнение - что куда полезнее будет скопировать два петабайта интернета. Ибо частицы всегда одни и те же (а коаллайдеры становятся более мощными), а интернет завтра уже будет совсем другим.
                                                                                              Цитата purpe @
                                                                                              А если в качестве записывающего/считывающего устройства использовать лезарный принтер и сканер, то до скольки реально можно уменьшить размер бита ?

                                                                                              я взял миллиметр из рассчёта на компенсацию погрешностей. а если фигачить в режиме 600 dpi (однопиксельными точками — получится в 558 раз меньше — но и надёжность, как вероятность успешного считывания, упадёт в той же пропорции)

                                                                                              Цитата Бустер @
                                                                                              Не согласен насчет "напряжного" хранения данных на CD/DVD. Они гарантируют минимум десятилетнее хранение информации на дисках (смотрим пост человека выше, который переписал диск десятилетней давности).

                                                                                              Ксли ты сам ещё разок перечитаешь тот пост — обнаружишь, что речь там шла о ШТАМПОВАННОМ (заводском) диске, а не о CDR. а это две огромных разницы.
                                                                                              Ходил в бухгалтерию за авансом. Дали. И аванс тоже :)
                                                                                                Цитата Muran @
                                                                                                а сейчас проблема не решена? сервер есть, данные храняться... что не так?


                                                                                                Сервер продолжает использоваться для новых данных, а старые надо или уничтожить или куда-то деть.

                                                                                                Цитата Бустер @
                                                                                                Есть смысл обработать данные а не хранить их


                                                                                                Цитата Бустер @
                                                                                                В конце концов все петабайты сводятся к одному мегабайту, а именно, что удалось выяснить в результате эксперимента.


                                                                                                Такие заявления обычно дают люди, которые не понимают сути данных и экспериментов. Невозможно обработать всё полностью, можно лишь сравнить данные с существующими теориями. Однако, если появится какая-то новая теория, то данные придётся анализировать снова - там всё "немного" сложнее чем школьный эксперимент по проверке закона Ома.

                                                                                                Цитата Обедающий философ @
                                                                                                А откуда они у тебя и почему их некому сохранить, кроме тебя?


                                                                                                А что? Я не могу быть вовлечённым в какое-нибудь научное исследование? Может мне скучно жить в последнее время?


                                                                                                Цитата Обедающий философ @
                                                                                                Вообще лично моё мнение - что куда полезнее будет


                                                                                                Этот ответ можно дать на 100% вопросов задаваемых на форуме. Спрашивает человек как ему правильно написать SQL запрос, а ты ему: "лучше возьми метлу и преведи впорядок собственный двор, вместо того чтоб хернёй страдать", спрашивает кто-то о том что не может особо навороченную видюху настроить, а ты ему: "вместо того чтобы с жиру беситься, лучше продай её а деньги отдай неграм, голодающим в Центральной Африке"... и т.д. Лично меня бесит, когда вместо ответов по существу, начинаются идиотские разногольствования по поводу целесообразности того что делается :angry:



                                                                                                Цитата Змей @
                                                                                                Ксли ты сам ещё разок перечитаешь тот пост — обнаружишь, что речь там шла о ШТАМПОВАННОМ (заводском) диске, а не о CDR. а это две огромных разницы.


                                                                                                :yes:

                                                                                                Добавлено
                                                                                                Цитата Muran @
                                                                                                флэш-накопители используются, в частности, в военной технике


                                                                                                Тут тоже собака порылась... Обычную флешку в 16 Gb для фотоаппарата покупал недавно за 30$, а SSD диск стоит чуть ли не в 3 раза дороже. Суть в том что это не одно и то же. В SSD во-первых охрененный уровень продублированности информации, к тому же очень сложные алгоритмы избыточного кодирования, да ещё и очень сложные контроллеры которые обеспечивают скорость и надёжность. На самом деле флеш-технологии очень неустойчивые с физической точки зрения. В следствии квантово-механических эффектов (например туннелирования) удержание электронов в магнитной ловушке не может работать даже с 90% гарантией сохранности. Стабильность обеспечивается только очень большой степенью дублирования информации и алгоритмами обработки, постоянным обновлением плохих ячееек, и др. службами поддержаня данных. Для работы это нормально, а для длительного хранения данных - это не работает.
                                                                                                With the best wishes, Vit
                                                                                                I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                  А если копнуть в сторону голографии и опытных голографических дисков в частности?
                                                                                                  Еще есть стереолитография (и еще куча других литографий)...

                                                                                                  А из отработанных технологий - мне кажется, проще действительно сделать это хардами с диким процентом восстановления (типа 10-20%), и раз в 2-3 года проверять и обновлять архив. Уж 2-3 года данные полежат достоверно.

                                                                                                  PS: А данные совсем не сжимаются?..
                                                                                                  "... Мой дух крепчал с минуты на минуту; я чувствовал, как
                                                                                                  проникаюсь верой россиян в то, что всё пофиг, и подсознательно
                                                                                                  учился класть на всё..." (с) А. Белаш. Полет яйца через долину.
                                                                                                    Цитата Kosha @
                                                                                                    А если копнуть в сторону голографии и опытных голографических дисков в частности?
                                                                                                    Еще есть стереолитография (и еще куча других литографий)...

                                                                                                    Не факт что через 15 лет будут аппаратные средства чтобы это все считать. Найдите сейчас 5,25 дисковод или допотопный отечественный стриммер, что писал на обычную аудиокассету (видел такие поделия, работали под досом и подключались через 25-игольчатый КОМ - порт, даже в руках держал :D ) и подключите к современному ПК... То же самое относится кстати и к хардам и флешкам.
                                                                                                    Сообщение отредактировано: @@@ -
                                                                                                    Страшно в темноте играть на баяне...
                                                                                                      Цитата @@@ @
                                                                                                      То же самое относится кстати и к хардам и флешкам.
                                                                                                      Да с хардами проблем буть не должно. IDE даже ещё не умер, а SATA запросто 10 лет протянет. С ффлешками - только если полностью вымрет стандарт USB 2.0. За 10 лет - сомнительно.
                                                                                                        Цитата Спящий @
                                                                                                        Да с хардами проблем буть не должно. IDE даже ещё не умер, а SATA запросто 10 лет протянет. С ффлешками - только если полностью вымрет стандарт USB 2.0. За 10 лет - сомнительно.

                                                                                                        Но определенная доля риска есть, согласись. Да возможность вымирания файловой системы тоже не рассматривается? А почему, вполне возможно... Будет у нас диск с информацией, а прочитать на современной оси мы его не сможем. И древнюю установить не сможем. Ибо дров на новое железо нет. Понимаю конечно, что это сильно утрировано, и реальная опасность довольно мала... Но тем не менее...

                                                                                                        Может и ересь предложу, но тем не менее.

                                                                                                        Имеется то, что точно будет в будующем. Интернет. Имеется дофига серверов в нете. Вся БД разбита по этим серверам. На каждый "кусок" данных имеется три сервера. На каждом из них данные дублируются и реплицируются, что обеспечит процесс чтения/записи, достаточный для того, чтобы диск "не размагнитился". Сервер отдает БД другому счерверу. Тот получает данные и начинает отдавать третьему. Третий получает и отправляет первому, который к тому врекмени уже отдав все второму грохнул.И так на протфжении всех 15 лет. Если какой-то один выходит из строя, два реплицируются друг с другом, а мы снова вводим его вработу. Вероятность слета всех трех сразу довольлно мала.

                                                                                                        1. Стоимость данного решения даже представить не берусь, ибо осознав что бывают цифры с таким количеством нулей и сравнив со своей зп - повешусь. Но с другой стороны если данные врезультате данного эксперимента действительно так важны :whistle: то там как говорится и финансирвоание должное.
                                                                                                        2. Гонять по всему нету петабайт данных... жесть. Так что если у Вас затормозит инет и 15 лет выделенка будет работать со скоростью диалапа - знайте, это Vit послушал мою ересь :D

                                                                                                        Зато:

                                                                                                        1. Мы не рискуем "не дохранить" данные. Ибо копии есть на трех машинах.
                                                                                                        2. Мы не рискуем сохранив их, не смочь их прочитать. Ибо апгрейдить сервера можно с течением технического прогресса.

                                                                                                        Блин, как меня торкнуло то...
                                                                                                        Сообщение отредактировано: @@@ -
                                                                                                        Страшно в темноте играть на баяне...
                                                                                                          Цитата Змей @
                                                                                                          Цитата purpe @
                                                                                                          А если в качестве записывающего/считывающего устройства использовать лезарный принтер и сканер, то до скольки реально можно уменьшить размер бита ?

                                                                                                          я взял миллиметр из рассчёта на компенсацию погрешностей. а если фигачить в режиме 600 dpi (однопиксельными точками — получится в 558 раз меньше — но и надёжность, как вероятность успешного считывания, упадёт в той же пропорции)

                                                                                                          вместо бумаги лучше использовать плёнку - я вот недавно отрыл диафильм... лет 15 ему - точно, посмотрел без проблем - никаких потерь 8) да и с рулонами обращаться удобнее чем с листом..
                                                                                                            Если оставить в стороне специализированные решения, о которых я ничего не знаю, вариант с двумя тысячами терабайтных винтов может быть и не плох - при наличии денег на мониторинг их состояния.

                                                                                                            Давайте прикинем:
                                                                                                            а) если брать розничные цены в первом попавшемся мне интернет-магазине, то два петабайта обойдутся нам в 300 000 USD (курс доллара к рублю для пересчета взят "на глазок", винчестер - "HDD 750Gb Seagate 7200 rpm 32mb SATA", цены нижегородские). В реале будет несколько дешевле, наверное...
                                                                                                            б) если взять средний срок службы винчестера - 5 лет, то за 15 лет парк придется обновлять три раза (выкидываем всё, независимо от того, работает или нет). Итого 900 000 USD.
                                                                                                            в) винчестеры ломаются. поэтому данные надо записывать с информацией для восстановления ошибок. Предположим, что за пять лет половина винчестеров ещё будет кое-как работать (со скрипом, но читают), а вторая половина сдохнет, тогда надо восстанавливать 50%. Опять же "на глазок" это значит, что примерно на столько же увеличится объем хранимых данных (на самом деле не настолько, но это не очень важно). Итого 1 350 000 USD.

                                                                                                            Теперь самое интересное - если винчестер ломается, то надо заменять его и запускать нудную процедуру восстановления потерянных данных. А сколько будет стоить это? При помощи информации для восстановления. Не, можно отдать винчестер в ЦРУ и там восстановят ВСЁ, но проще выкинуть и восстановить путем сложных операций с зарезервированной информацией :) На практике это значит, что надо регулярно весь этот парк а) вытаскивать из контейнера б) подсоединять к компу в) читать, проверять, выкидывать, покупать новый, пить пиво г) класть обратно в контейнер. При скорости чтения один гигабит в секунду (данные из вики) чтение одного винчестера по 750 гигабайт займет 1.7 часа. Ещё час-полтора на беготню по складу, ругательства и возню с проводами, итого примерно 3.0 часа на винчестер. С другой стороны, можно же прихватить за один прием авоську, в которой этих винчестеров аж десять штук и делать всё параллельно - даже один человек сможет, итого 3.0 часа на десять винчестеров. Винчестеров у нас всего 4000 (с учетом информации для восстановления), итого 1200 человекочасов. При средней стоимости человекочаса 10 USD (не знаю, сколько стоит труд в США, пусть так - всё равно квалификация высокая не нужна, да и не захочет профессионал бегать по складу) получаем 12 000 USD на одну проверку парка. Итого - 36 000 USD на три проверки. Можно проверять чаще - раз в год, всё равно копейки по сравнению со стоимостью устройств.

                                                                                                            Итого:
                                                                                                            стоимость устройств хранения данных (по пессимистичному варианту) - 1 350 000 USD.
                                                                                                            стоимость обслуживания - 36 000 USD (три проверки, раз в пять лет, тоже пессимистичный вариант).
                                                                                                            стоимость аренды, электричества и т.д. - неизвестна.

                                                                                                            Кстати, Вит, а если не секрет - укладываются такие суммы в ваш бюджет?

                                                                                                            Добавлено
                                                                                                            Я предполагал, что по истечении пяти лет мы выкидываем все винты, независимо от стостояния - потому что через десять лет они точно будут нерабочими. В принципе, если проводить ежегодный мониторинг, то можно выкидывать не весь парк старых винчестеров, а только то, что сломалось за год. Думаю, это сможет сократить издержки, но насколько - неизвестно. Даже если хотя бы на 30% - получаем экономию 405 000 USD за счет стоимости парка винчестеров, рост затрат на мониторинг - 144 000 USD. Итоговый результат - ежегодный мониторинг позволит сократить затраты минимум на 260 000 USD.

                                                                                                            Интересно было бы узнать, какие параметры и цены у Capricorn Technologies :)
                                                                                                            Just gray...
                                                                                                              Я бы значительно уменьшил цены. Во-первых - 1.5 тысячи винчестеров - это очень хороший опт, и цену каждого можно смело снизить в 2 раза. По автоматизации записи/чтения - ребята-физики из лаборатории 100% за день-два придумают хитрый стенд с вертикальным складированием и автоподачей/автоподключением винтов, с автоматической маркировкой и каталогизатора.

                                                                                                              Срок службы винта также роли не играет - винт, по сути, будет использоваться 2 раза - при записи, а потом при чтении. Вопрос в сохранности данных на винте и спец. требованиях к условиям хранения винта, чтобы данные на нем пролежали как можно дольше.
                                                                                                              Как минимум - перезапись и тестирование данных на низком уровне раз в 2 года - должно быть достаточно.

                                                                                                              По физическим размерам 1000 3.5" винтов получаются вполне маленькими, и позволяют загрузить их на некую компактную ленточную бобину (несколько бобин) на манер вертикального склада с автоподачей. Тогда и запись, и чтение, и каталогизирование, и обслуживание становятся фактически автоматическими, и затраты человекочасов уменьшаются до минимума.

                                                                                                              Фактически, с такой конструкцией можно полностью "забить" на время жизни магнитного слоя - просто запускать обслуживание (перезапись уже записанного) раз в полгода на ночь :)
                                                                                                              "... Мой дух крепчал с минуты на минуту; я чувствовал, как
                                                                                                              проникаюсь верой россиян в то, что всё пофиг, и подсознательно
                                                                                                              учился класть на всё..." (с) А. Белаш. Полет яйца через долину.
                                                                                                                Цитата @@@ @
                                                                                                                Да возможность вымирания файловой системы тоже не рассматривается?
                                                                                                                Учитывая, что новые флешки до сих пор форматируются под FAT12, что ext2 от ext4 отличается не так уж и сильно, что в ядре линя вроде до сих пор есть поддержка ФС minix 1987 года выпуска.... нет, не рассматривается.
                                                                                                                Сообщение отредактировано: Спящий -
                                                                                                                  Цитата Kosha @
                                                                                                                  Я бы значительно уменьшил цены.

                                                                                                                  Согласен, я ж расчет на коленке делал. Правда, мне кажется, что система с автоматической подачей - это сложно. Нет, если есть уже готовые наработки - ок, но разрабатывать специально... Вот ты готов поставить на то, что она там по ночам не будет ронять твои винчестеры из-за отказа датчиков позиционирования? :) Кроме того, если речь идет о стандартных винчестерах, то задача втыкания шлейфа в разъем может оказаться сложна для робота. Живой человек может оказаться дешевле.


                                                                                                                  Цитата Kosha @
                                                                                                                  Срок службы винта также роли не играет - винт, по сути, будет использоваться 2 раза - при записи, а потом при чтении.

                                                                                                                  Целый букет причин, по которым винт может полететь: отказ магнитного слоя, отказ механики, изменение консистенции смазки (там же должна быть смазка?), отказ электроники. Мне кажется, что даже если вообще не использовать винчестер, он через некоторое время перестанет работать. В общем, я считаю, что винчестеры будут ломаться независимо от :)
                                                                                                                  Just gray...
                                                                                                                    Может проще тогда эти винты разместить по корпусам (десяток на корпус), с простейшей материнкой, и связать локалкой. И перевтыкать ничего не надо. Клонировать инсталлированный Линукс со скриптами всевозможных проверок. И затраты на эксплуатацию будут минимальны: включай время от времени, и кластер сам укажет, какой диск когда менять.
                                                                                                                      Цитата nvm @
                                                                                                                      Может проще тогда эти винты разместить по корпусам (десяток на корпус)

                                                                                                                      Мне чего-то кажется, что больно много места займет. И вообще, доля стоимости ручного труда во всем этом процессе не так уж и высока.
                                                                                                                      Just gray...
                                                                                                                        Цитата Vit @
                                                                                                                        А что? Я не могу быть вовлечённым в какое-нибудь научное исследование? Может мне скучно жить в последнее время?

                                                                                                                        Я разве сказал, что не можешь? Мне интересно, как это с тобой произошло. И с тобой ли, или ты просто рассматриваешь это с теоретической точки зрения.

                                                                                                                        Цитата Vit @
                                                                                                                        Спрашивает человек как ему правильно написать SQL запрос, а ты ему: "лучше возьми метлу и преведи впорядок собственный двор, вместо того чтоб хернёй страдать",

                                                                                                                        Так для чего ты создавал тему, кроме как для того, чтобы люди делились своими мыслями? С чисто практической точки зрения ответ очевиден - винчестеры, и никто тебе из здесь присутствующих америки не откроет. Как мне кажется, обсуждать целесообразность всяко лучше, чем миллионный раз рассуждать на тему записывания петабайтов на бумаге с помощью принтера.

                                                                                                                        Цитата shadeofgray @
                                                                                                                        б) если взять средний срок службы винчестера - 5 лет, то за 15 лет парк придется обновлять три раза (выкидываем всё, независимо от того, работает или нет).

                                                                                                                        Ты забываешь, что подавляющее большинство из этих пятнадцати лет винчестеры будут не работать, а пылиться на полке. У меня есть 300-мегабайтный и 1-гигабайтный винчестеры соответственно, каждому более пятнадцати лет, причём активно они использовались не менее пяти лет - оба работают. Был ещё 200 мегабайт, тоже работал, но потерялся.

                                                                                                                        Цитата Kosha @
                                                                                                                        Фактически, с такой конструкцией можно полностью "забить" на время жизни магнитного слоя - просто запускать обслуживание (перезапись уже записанного) раз в полгода на ночь

                                                                                                                        Думаешь, 15 лет не выдержат? Я почему-то склоняюсь к противоположному мнению. Максимум раз в пять лет.

                                                                                                                        Ежели мы боимся вымирания какого-либо стандарта - то попросту надо купить дополнительно к 300 винчестерам штук пять компов. Ежели мы боимся вымирания 220 вольт - то купить два дизель-генератора. Ежели мы боимся вымирания всех разъёмов, включая сетевые - остаётся разве что убиться об стенку. :wall:
                                                                                                                          Цитата shadeofgray @
                                                                                                                          Мне чего-то кажется, что больно много места займет.
                                                                                                                          Зато есть петабайтные сервера вроде Symmetrix DMX-4, небольшие, и дешевые sata2 диски можно с ними использовать.
                                                                                                                          Правда они все-таки не только для хранения предназначены, но и для активной работы с данными, так что может быть много лишнего внутри (ну и дорого будет, соответственно).
                                                                                                                          Убилбытого,ктосломалмойпробел!
                                                                                                                            Емкие винты (от 450 гигабайт и выше) обычно делаются с перпендикулярной записью, и я что-то не встречал данных о сравнении надежности старых винтов и этих новомодных. Но минимум год точно должны пролежать.
                                                                                                                            "... Мой дух крепчал с минуты на минуту; я чувствовал, как
                                                                                                                            проникаюсь верой россиян в то, что всё пофиг, и подсознательно
                                                                                                                            учился класть на всё..." (с) А. Белаш. Полет яйца через долину.
                                                                                                                              Цитата Обедающий философ @
                                                                                                                              Так для чего ты создавал тему, кроме как для того, чтобы люди делились своими мыслями?


                                                                                                                              О сути проблемы, а не о принципиальной целесообразности её решения - чувствуется разница?

                                                                                                                              Цитата Обедающий философ @
                                                                                                                              Ежели мы боимся вымирания какого-либо стандарта - то попросту надо купить дополнительно к 300 винчестерам штук пять компов. Ежели мы боимся вымирания 220 вольт - то купить два дизель-генератора. Ежели мы боимся вымирания всех разъёмов, включая сетевые - остаётся разве что убиться об стенку


                                                                                                                              Согласен. Не думаю, что стандарты будут каким-то образом проблемными за 10 лет. Могут стать за 20-30 лет, и то... если поискать хорошенько, то найдуться систему до сих пор использующие 5 дюймовые диски и т.п.

                                                                                                                              Цитата Обедающий философ @
                                                                                                                              Мне интересно, как это с тобой произошло.


                                                                                                                              Позволь не делиться этой информацией, она несколько конфиденциальная.


                                                                                                                              Цитата Обедающий философ @
                                                                                                                              или ты просто рассматриваешь это с теоретической точки зрения.


                                                                                                                              Нет, не с теоретической
                                                                                                                              With the best wishes, Vit
                                                                                                                              I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                              Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                Да в конце концов, для той стоимости системы, которая получается - вполне можно пару комплектов "железа" для чтения информации положить в коробочку.
                                                                                                                                С торчащим наружу Ethernet, USB или еще чем. Почти наверняка, или что-то из этого будет использоваться хоть как-то через 20 лет, или будет несложно сделать адаптер/конвертер/платку для сопряжения старого железа с новыми компами.

                                                                                                                                А при нынешних темпах развития памяти - скорее всего будет актуально через 5-10 лет просто переписать всё на один современный хард.
                                                                                                                                "... Мой дух крепчал с минуты на минуту; я чувствовал, как
                                                                                                                                проникаюсь верой россиян в то, что всё пофиг, и подсознательно
                                                                                                                                учился класть на всё..." (с) А. Белаш. Полет яйца через долину.
                                                                                                                                  Цитата Vit @
                                                                                                                                  Такие заявления обычно дают люди, которые не понимают сути данных и экспериментов. Невозможно обработать всё полностью, можно лишь сравнить данные с существующими теориями. Однако, если появится какая-то новая теория, то данные придётся анализировать снова - там всё "немного" сложнее чем школьный эксперимент по проверке закона Ома.

                                                                                                                                  Ох неужели мы себя записали в касту ученых физиков-ядерщиков - скромно как, однако.

                                                                                                                                  Почитаем это:
                                                                                                                                  Цитата

                                                                                                                                  The LHC Computing Grid, launched on October 3, 2008,[1] is a distribution network designed by CERN to handle the massive amounts of data produced by the Large Hadron Collider (LHC). It incorporates both private fiber optic cable links and existing high-speed portions of the public Internet.

                                                                                                                                  The data stream from the detectors provides approximately 300 GB/s, which is filtered for "interesting events", resulting in a "raw data" stream of about 300 MB/s. The CERN computer center, considered "Tier 0" of the LHC Computing Grid, has a dedicated 10 Gb/s connection to the counting room.[2]


                                                                                                                                  300 Gb/s данных отфильтровываются в 300 Mb/s сырых данных. Черному по белому написано. То есть оставшиеся 300 Mb будут проходить еще дальнейшую обработку.
                                                                                                                                    Цитата Vit @
                                                                                                                                    О сути проблемы, а не о принципиальной целесообразности её решения - чувствуется разница?

                                                                                                                                    Ну.. философия - это ведь всегда сомнение. ;) Понятное дело, что ты всё равно сделаешь так, как считаешь нужным.

                                                                                                                                    Цитата Vit @
                                                                                                                                    Позволь не делиться этой информацией, она несколько конфиденциальная.

                                                                                                                                    Так бы сразу и сказал.

                                                                                                                                    Добавлено
                                                                                                                                    Цитата Kosha @
                                                                                                                                    А при нынешних темпах развития памяти - скорее всего будет актуально через 5-10 лет просто переписать всё на один современный хард.

                                                                                                                                    :yes: Не обязательно на один, можно на десять для начала.
                                                                                                                                      К тому же первый коллайдер был построен в 1967, когда и 1Mb данных было проблемой сохранить, однако это не мешало получать результаты эксперимента, для сохранения которых не требовались петабайты информации.
                                                                                                                                        Цитата Бустер @
                                                                                                                                        Ох неужели мы себя записали в касту ученых физиков-ядерщиков - скромно как, однако.



                                                                                                                                        Нет, но достаточно примерно представлять себе суть получаемых данных, чтобы понять, что просто так выбрасить raw данные не получится. Отбрасывается только несомненный шум, а вот всё остальное остаётся и его очень много.



                                                                                                                                        Цитата Бустер @
                                                                                                                                        300 Gb/s данных отфильтровываются в 300 Mb/s сырых данных. Черному по белому написано. То есть оставшиеся 300 Mb будут проходить еще дальнейшую обработку.



                                                                                                                                        Угу, только это 300 мегабайт в секунду, за годы их накопиться петабайты... Кроме того, отличить "interesting events" можно только основываясь на существующих теориях.
                                                                                                                                        With the best wishes, Vit
                                                                                                                                        I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                        Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                          Кстати говоря.. насколько я понял, эта информация сейчас где-то хранится, но её хотят выбросить? Может быть, тогда просто выкупить винчестеры по цене б/у железа и приволочь в свой дом?

                                                                                                                                          Добавлено
                                                                                                                                          Цитата Vit @
                                                                                                                                          только это 300 мегабайт в секунду,

                                                                                                                                          Маленькая б - это вроде мегабит.
                                                                                                                                            Цитата Бустер @
                                                                                                                                            К тому же первый коллайдер был построен в 1967, когда и 1Mb данных было проблемой сохранить, однако это не мешало получать результаты эксперимента, для сохранения которых не требовались петабайты информации.



                                                                                                                                            Угу, в каких-то затёртых 70х годах 8ми битные компьютеры с RAM в десятки килобайт рассчитывали космические корабли... Но при тех уровнях невозможно было посмотреть на компьютере фильм. Что фильм сложнее? Или космические корабли надо продолжать рассчитывать с теми средствами? Другая эпоха, другой уровень задач. Да, строение материи 100-150 лет назад изучали при помощи устройств, стоимостью в десятки или сотни долларов, а теперь строят ускорители с миллиардными капиталовложениями. И коллайдеры уже другие, и данные они регистрируют не те и не так, и точности другие, и энергии - новый уровень, он требует новых подходов... То что было легко измерить опираясь на мегабайты информации - уже измерили и открыли, теперь требуется разработка более сложных теорий, требующих более сложных инструментов. Почти всё, что можно было открыть телескопом Галилея - уже открыли, и теперь делают телескопы многомиллионной стоимости, которые могут исследовать то что технологиями прошлого было принципиально недоступно. И сейчас эти петабайты нужны для исследования того, что совершенно невозможно было исследовать коллайдерами 60х годов и мегабайтами событий.

                                                                                                                                            Добавлено
                                                                                                                                            Цитата Обедающий философ @
                                                                                                                                            Маленькая б - это вроде мегабит.


                                                                                                                                            Какая разница? Всё равно речь идёт о петабайтах данных...

                                                                                                                                            Цитата Обедающий философ @
                                                                                                                                            Кстати говоря.. насколько я понял, эта информация сейчас где-то хранится, но её хотят выбросить? Может быть, тогда просто выкупить винчестеры по цене б/у железа и приволочь в свой дом?


                                                                                                                                            С какой тихой радости это надо покупать?
                                                                                                                                            With the best wishes, Vit
                                                                                                                                            I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                            Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                              Цитата Vit @
                                                                                                                                              С какой тихой радости это надо покупать?

                                                                                                                                              Ну, покупать или не покупать - это тебе виднее. Я почему-то сделал вывод, что ты это за свой счёт хочешь провернуть. Моя мысль была в том, что не переписывать всё заново, а использовать то, на чём оно сейчас хранится. А переписать, скажем, через пять лет, когда винчестеры вырастут.
                                                                                                                                                Цитата Обедающий философ @
                                                                                                                                                Ну.. философия - это ведь всегда сомнение.



                                                                                                                                                Извини, я задал вопрос по технологиям и на форуме где собираются люди-специалисты в области информационных технологий. Если б мне потребовалось обсудить филисофскую проблему, я бы её так и формулировал, как философскую проблему. Как програмист, я стремлюсь формулировать то что я хочу предельно точно, чтобы не было разночтений. У меня в топике написано:

                                                                                                                                                Цитата Vit @
                                                                                                                                                как самым дешёвым способом сохранить 1-2 петабайта данных лет на 10-15?


                                                                                                                                                Может ты можешь мне указать место где спрашивается о некоей философской составляющей проблемы? По-моему вопрос задан почти со 100% чёткостью.
                                                                                                                                                With the best wishes, Vit
                                                                                                                                                I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                  Хорошо. Раз я не представляю, то я попробую представить... :rolleyes: . Философ, Машина помогайте представлять.

                                                                                                                                                  Есть труба, по это трубе двигаются с аццкой скоростью протоны навстречу друг другу. Бац, бац - протоны столкнулись и разлетелись. Имеем множество столкновений одинаковых частиц. Протон + Протон = Результат Соударения.

                                                                                                                                                  Протонов по трубе тьма летает - отсюда и большой объем данных. Вот протон стукнулся с другим протоном и разлетелся. Из миллиона соударений одно у нас произошло волшебное. Этм протончикам удалось врезаться лоб в лоб, в результате они слились в нечто, к примеру в квар-глюонную плазму, либо один протончик выбил у другого кварк и стал вести себя не так как другие.

                                                                                                                                                  Но как нам узнать это, когда в трубе летает огромное количество протонов - голова кругом идет :wacko:

                                                                                                                                                  Для этого и существую распределенные вычисления, которые учтут каждый протончик, учтут его результат соударения с другим и из всего этого скопища ненужных соударений (однако учитывая его), вычислениями придут к единичным случаям в результате которого получилось нечто замечательное. Это замечательное соударения и поможет нам доказать или опровергнуть ту или иную гипотезу.

                                                                                                                                                  Все остальные данные слить с громким звуком в унитазе.
                                                                                                                                                    Цитата Обедающий философ @
                                                                                                                                                    Я почему-то сделал вывод, что ты это за свой счёт хочешь провернуть.


                                                                                                                                                    Ээээ... стоимость этого даже по самым бросовым ценам существенно превосходит мои финансовые возможности, причём даже не на один порядок.

                                                                                                                                                    Цитата Обедающий философ @
                                                                                                                                                    Моя мысль была в том, что не переписывать всё заново, а использовать то, на чём оно сейчас хранится. А переписать, скажем, через пять лет, когда винчестеры вырастут.


                                                                                                                                                    Нет, работающий сервер, даже на старых винтах никто курочить не будет, это очень дорогое удовольствие....
                                                                                                                                                    With the best wishes, Vit
                                                                                                                                                    I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                    Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                      Цитата Vit @
                                                                                                                                                      Может ты можешь мне указать место где спрашивается о некоей философской составляющей проблемы?

                                                                                                                                                      В любом вопросе есть философская составляющая! Надо её только найти. :tong:

                                                                                                                                                      Добавлено
                                                                                                                                                      Цитата Vit @
                                                                                                                                                      Нет, работающий сервер, даже на старых винтах никто курочить не будет, это очень дорогое удовольствие....

                                                                                                                                                      Понятно..
                                                                                                                                                        Цитата Бустер @
                                                                                                                                                        Для этого и существую распределенные вычисления, которые учтут каждый протончик, учтут его результат соударения с другим и из всего этого скопища ненужных соударений (однако учитывая его), вычислениями придут к единичным случаям в результате которого получилось нечто замечательное. Это замечательное соударения и поможет нам доказать или опровергнуть ту или иную гипотезу.


                                                                                                                                                        Всё правильно, только есть 2 небольшие поправки:
                                                                                                                                                        1) Отделить шум от полезного сигнала ты можешь исходя из предпосылки что шум как-то отличается от полезного сигнала. А как он отличается? Критерий отличия зависит от проверяемой теории. Если мы имеем при столкновении появление квирка, то мы ожидаем появление в шуме распределения по типу например гиперболы, и нахождение гиперболы будет означать появления квирка при столкновении, а если мы проверяем появление тетракварка, то будем искать другой паттерн. Причём никто не знает какую теорию придумают завтра, и что именно надо будет искать.

                                                                                                                                                        2) При столкновении допустим 2х протонов реально происходит либо столкновение либо столкновение d кварка с u кварком, либо столкновение d кварка с d кварком, либо столкновение u кварка с u кварком, либо столкновение d/u кварка с глюоном, либо столкновение 2х глюонов, а так же так как ядерная материя очень рассеяна и сконцентрирована в очень маленьких кварках, то в подавляющем большинстве вообще никакого столкновения не будет. В результате столкновения может образоваться например заряженный лептон, может образоваться незаряженый гамаквант или получиться заряженная чёрная дыра... Паттерны их будут совершенно разные, причём возможно образование структур неизвестных на сегодняшний день с неизвестными паттернами.

                                                                                                                                                        Другими словами практически невозможно со 100% вероятностью отличить шум от полезного сигнала. Можно лишь сказать, что в шуме присутствует или не присутствует определённая закономерность отвечающая конкретной формуле.
                                                                                                                                                        With the best wishes, Vit
                                                                                                                                                        I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                        Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                          Хмм, моя представлялка пока еще меня не подводит: :rolleyes:

                                                                                                                                                          Что касается БАК:
                                                                                                                                                          Цитата

                                                                                                                                                          Детектор ATLAS будет выдавать огромный объём информации. LHC будет создавать в центре детектора почти 109 протон-протонных столкновений в секунду (как уже отмечалось, протонные банчи будут сталкиваться каждые 25 наносекунд). Такому числу рр-столкновений отвечает объем информации, превышающий 40 миллилонов мегабайт. Однако лишь несколько событий, возникших в результате этого огромного числа столкновений, будут представлять интерес для исследователей, стремящихся к новым открытиям. Для того чтобы выбрать потенциально интересные события (по оценкам их должно быть меньше 100 в секунду), будет использована специальная многоуровневая компьютерная система. Выбранные события подвергнутся особо тщательному off-line анализу.

                                                                                                                                                          Гигантский объём информации, поступающий с детектора ATLAS (примерно 106 гигабайт в год), будет делиться среди примерно 2000 физиков из 34 стран и анализироваться ими. Вычислительные ресурсы, необходимые для такого анализа, эквивалентны более чем 10 000 РС Pentium III с частотой 500 МГц. Для успешной обработки данных с детектора ATLAS будут использованы самые последние достижения компьютерных технологий и операционных систем.


                                                                                                                                                          http://nuclphys.sinp.msu.ru/experiment/detectors/dsystem.htm
                                                                                                                                                            Ох... трудно с тобой... ты черпаешь данные из литературы, учебников и новостей, а я непосредственно от тех кто проводит эксперимент... Если ты прочитаешь тот же отрывок, то заметишь там вот такое словосочетание: "потенциально интересные события". Так вот, эти события отбираются не вообще как интересные, а в контексте определённой теории. Например бозон Хигс, должен давать определённый паттерн события, вот этот паттерн и будет искаться среди гор мусора и всё что на него похоже будет обзываться "потенциально интересное событие"... Но если кто-то ищет квирк, тетракварк или чёрную дыру - им придётся искать "потенциально интересное событие" согласно совершенно (принципиально) другому математическому описанию.

                                                                                                                                                            Суть примерно следующая - есть результаты исследований например уникального острова. Допустим тебе дают гору фотографий природы и ты хочешь найти на них новую неизвестную птичку, ты их отсортироввываешь и отбрасываешь те на которых птичек нет вообще, а те где есть хоть какой-то намёк на птиц ты внимательно исследуешь. Но вот появляется теория согластно которой остров имеет не только уникальных птиц, но ещё и уникально возник и надо найти признаки какого-то редкого минерала. При этом от отобранных фото с птичками тебе не жарко и не холодно. Тебе опять надо брать всю кипу фотографий и начинать искать на них то что похоже на минералы. При этом естественно, что на начальном этапе ты вообще выбрасываешь фото нерезкие, на которых попали допустим люди или которые снимали небо - они вообще не нужны, но критерии нужности остальных зависят от того что именно тебе надо найти.

                                                                                                                                                            Добавлено
                                                                                                                                                            Цитата Оззя @
                                                                                                                                                            Бустер
                                                                                                                                                            Ну и хвилософ кушающий в ту же топку



                                                                                                                                                            Спасибо!
                                                                                                                                                            Был задан конкретный вопрос, а начали разводить какую-то фигню! Если б мне надо было спросить о целесообразности хранения каких-то данных, я бы так и спросил.
                                                                                                                                                            With the best wishes, Vit
                                                                                                                                                            I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                            Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                              Между прочим подобную литературу тоже пишут не недалекие люди - это не аргумент.

                                                                                                                                                              Можно и сварщика дядю Васю(там они тоже нужны), работающего в ГНПЦ Хруничева, спросить о том были ли американцы на Луне, чтобы потом в
                                                                                                                                                              дебатах выдвигать это за аргумент: мол я разговаривал с специалистом с ведущего космического центра России - он сказал, что не были 8-).

                                                                                                                                                              Твоя мысль понятна, но в данном случае она непременима. В рамках БАК я ее не вижу. Не все соударения являются хорошими по простой причини: недостаток энергии, боковое соударение не приводит к разрушению протонов на кварки - они просто разлетаются как упругие шары. Потенциально интересные это те, которые приводят к разрушению протонов. Их нужно отслеживать и такие события происходят крайне редко.

                                                                                                                                                              Оззя, я тоже знаю этого человвека и поболее твоего. В то время ты еще первоклассникам уши только начинал крутить :lol: .
                                                                                                                                                              Сообщение отредактировано: Бустер -
                                                                                                                                                                Цитата Оззя @
                                                                                                                                                                Цитата Бустер @
                                                                                                                                                                Оззя, я тоже знаю этого человвека и поболее твоего. В то время ты еще первоклассникам уши только начинал крутить .

                                                                                                                                                                Ну так и дай СОВЕТ. А не мозгоклюйствуй :tong:

                                                                                                                                                                Я уже говорил: самый экономный вариант это оптические носители. Через лет 5-6 данные можно будет перенести на более емкие, более экономные и более надежные носители.
                                                                                                                                                                  Цитата Бустер @
                                                                                                                                                                  Твоя мысль понятна, но в данном случае она непременима. В рамках БАК я ее не вижу. Не все соударения являются хорошими по простой причини: недостаток энергии, боковое соударение не приводит к разрушению протонов на кварки - они просто разлетаются как упругие шары. Потенциально интересные это те, которые приводят к разрушению протонов. Их нужно отслеживать и такие события происходят крайне редко.



                                                                                                                                                                  А... ну спорить не буду, тебе значит виднее что там на ускорителях делают, а мне требуется в рамках данной задачи сохранить несколько петабайт данных на десять лет.


                                                                                                                                                                  Видишь ли, когда мне работодатель, например, даёт задание написать складской учёт, я не говорю ему в ответ, что склад в этом месте да ещё и таких товаров - это сущий бред, а пишу программу. А работодатель ожидает от меня решения именно той задачи кторую ему дают.

                                                                                                                                                                  Когда я сажусь в такси и говорю везти меня в театр, мне по хрен что думает водитель такси по поводу идущей там пьесы и мне на фиг не нужны его рекомендации вместо спектакля сходить на футбол. Я ему плачу деньги не за это.

                                                                                                                                                                  И в данном случае - есть конкретная техническая задача, которую надо решить. Твои рассуждения о том что на ускорителе работает полторы сотни идиотов (включая нескольких нобелевских лоуреатов) не понимающих тот факт, что эти петабайты хранить не требуется, а их надо "обработать", извини, принимать в рассчёт не буду...
                                                                                                                                                                  With the best wishes, Vit
                                                                                                                                                                  I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                  Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                    Цитата Vit @
                                                                                                                                                                    Видишь ли, когда мне работодатель, например, даёт задание написать складской учёт, я не говорю ему в ответ, что склад в этом месте да ещё и таких товаров - это сущий бред, а пишу программу. А работодатель ожидает от меня решения именно той задачи кторую ему дают.

                                                                                                                                                                    Когда я сажусь в такси и говорю везти меня в театр, мне по хрен что думает водитель такси по поводу идущей там пьесы и мне на фиг не нужны его рекомендации вместо спектакля сходить на футбол. Я ему плачу деньги не за это.

                                                                                                                                                                    И в данном случае - есть конкретная техническая задача, которую надо решить. Твои рассуждения о том что на ускорителе работает полторы сотни идиотов (включая нескольких нобелевских лоуреатов) не понимающих тот факт, что эти петабайты хранить не требуется, а их надо "обработать", извини, принимать в рассчёт не буду...

                                                                                                                                                                    Странно, что американская (или международная) команда c нобелевскими лауреатами, работающая над ускорителям, вынуждена спрашивать совета у русских пользователей Интернета.

                                                                                                                                                                    Палундра!!! Свистать Пурпа на верх - промышленный шпионаж! :lol:

                                                                                                                                                                    Ладно, Vit. Это шуточки все мои - не обращай внимания ;).

                                                                                                                                                                    Я не говорил, что на ускорителях работают идиоты. Я говорил, что иформация сохраняется на момент обработки а потом ее можно сливать. Для потомков эти петабайты уже не понадобятся.
                                                                                                                                                                    Сообщение отредактировано: Бустер -
                                                                                                                                                                      Цитата Бустер @
                                                                                                                                                                      Я говорил, что иформация сохраняется на момент обработки а потом ее можно сливать. Для потомков эти петабайты уже не понадобятся.


                                                                                                                                                                      Хорошо... так и скажу этим физикам - вам эта информация не нужна. То что вы хотели прогнать один алгоритм на этой информации, который на сегодняшний день более ресурсоёмкий чем это возможно сделать - это бред. Тут есть один товарищ, который уже объяснил, что вам эта информация не нужна... Так? Я тебя правильно понял? Именно это я должен ответить?
                                                                                                                                                                      With the best wishes, Vit
                                                                                                                                                                      I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                      Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                        Vit, я недавно для себя считал, что чисто по цене носителя - DVD выходили в несколько раз дешевле (кажись в 2), чем террабайтные винты.

                                                                                                                                                                        Относительно хранения - у меня пока что почти все диски, которые я записывал за последние лет 5 - читаются (почти - около 90%). Хоаню их в обычных кейсах, в которых они продаются новыми не на солнце.

                                                                                                                                                                        В решении с ДВД - мне не нравится - их огромнейшее количество. Проверка данных на них - будет геморрой еще тот... С винтами проще в поддержке.








                                                                                                                                                                        Оооойййй, пока писал, придумал интересное решение. Попробуй поговорить с крупными хостерами. У немалого числа из них - проблемы с тем, что клиенты винты выкушивают не полностью, а вот проц - полностью. Таким образом - они могут согласиться хранить ваши данные. Я не уверен, но за 10 лет, возможно, это выйдет дешевле/соизмеримо, чем организовывать хранение самостоятельно. (тут еще подумал, основано это предположение на том, что одного заказчика били за время ЦП, хотя скрипт - каталог на неск тыс фильмов слабопосещаемый. Но опять же хостинг - украинский)


                                                                                                                                                                        Ну и, естественно, данные стоит разбить так, чтобы при потере одного из винтов - с остальных можно было считать (не непрерывный архив).

                                                                                                                                                                        Посмотри еще по цене вариант со стримерами...

                                                                                                                                                                        Добавлено
                                                                                                                                                                        В продолжение хостинга - некоторые фирмы предоставляют аренду процессорного времени, а некоторые - именно для файловых архивов... И цены там тоже ничего так.

                                                                                                                                                                        Добавлено
                                                                                                                                                                        И напоследок: сейчас все больше западных хостреов предлагают безлимитный дисковый объем за бросовые цены. Понятно, что 5 ПБ за 200 у.е./мес никто не возьмет, но с такими, возможно, тоже имеет смысл поговорить.
                                                                                                                                                                        Портал естественных наук | Блог Soul'a
                                                                                                                                                                        Born to carry the flame, bringing light to the dark
                                                                                                                                                                          Цитата
                                                                                                                                                                          Vit, я недавно для себя считал, что чисто по цене носителя - DVD выходили в несколько раз дешевле (кажись в 2), чем террабайтные винты.

                                                                                                                                                                          Примерно одинаково. Если еще взять стоимость привода, трудоемкость записи такого количества носителей и процент брака - харды дешевле.

                                                                                                                                                                          У меня тоже читаются только одни из самых первых болванок - Verbatim Metal AZO синие. Уже почти лет 10 как писались. Новые DVD больше 2-3 месяцев достоверно не живут в любых условиях хранения. Уж через год не считываются полностью абсолютно все.
                                                                                                                                                                          "... Мой дух крепчал с минуты на минуту; я чувствовал, как
                                                                                                                                                                          проникаюсь верой россиян в то, что всё пофиг, и подсознательно
                                                                                                                                                                          учился класть на всё..." (с) А. Белаш. Полет яйца через долину.
                                                                                                                                                                            Цитата Kosha @
                                                                                                                                                                            Цитата
                                                                                                                                                                            Vit, я недавно для себя считал, что чисто по цене носителя - DVD выходили в несколько раз дешевле (кажись в 2), чем террабайтные винты.

                                                                                                                                                                            Примерно одинаково. Если еще взять стоимость привода, трудоемкость записи такого количества носителей и процент брака - харды дешевле.

                                                                                                                                                                            У меня тоже читаются только одни из самых первых болванок - Verbatim Metal AZO синие. Уже почти лет 10 как писались. Новые DVD больше 2-3 месяцев достоверно не живут в любых условиях хранения. Уж через год не считываются полностью абсолютно все.

                                                                                                                                                                            Надо же, у меня дивидишка несколько лет читается на ура. Так может не стоит использовать их в качестве подставки для сковородок?
                                                                                                                                                                              В общем, ядерных центров способных насобирать столько информации за пять лет не так уж и много. SLAC в Штатах, CERN в Европе, Дубна и ИЯФ в России, KEK в Японии ... да пожалуй и все, ну может какие по мельче, хотя, сомнительно. Японцы всегда решали свои проблемы самостоятельно, CERN многие годы подряд являлся источником новых идей в области информационных технологий, в России платить за идеи не принято, остается SLAC )

                                                                                                                                                                              По всей видимости, система в которой сейчас хранятся эти данные, была заложена как раз пять лет назад, и нынешних террабайтных винчестеров тогда не было... очевидно, что все эти данные хранятся на стримерах, либо унифицированных, либо специализированных.

                                                                                                                                                                              Для решения этой задачи требуется кардинально новый подход, потому как технологии хранения данных несколько лет по сути не менялись, уменьшались физические размеры бита и улучшались алгоритмы восстановления. Кардинально новый подход могут предложить технологические лидеры (IBM? SUN?) но с мизерными бюджетами ядерщиков им возиться не с руки. Значит требуется система хранения не зависимая от технологии носителя данных. Например, предложить хранить данные пользователям интернета за определенную плату. Это позволит избежать покупки оборудования и платить только за сохранность данных. Чтоб заинтересовать пользователей можно предложить прогрессивную шкалу оплаты в зависимости от срока хранения. Получится что-то типа депозита, информация под проценты © :) Правда придется вложиться в софт и его локализацию. А через пару лет и появятся новые носители данных )

                                                                                                                                                                              зы. меня удивляют люди которые утверждают, что пять лет назад писали DVD болванки :) пишущий DVDпривод пять лет назад стоил примерно как сам компьютер, то есть в районе килобакса, и две чистых болванки к нему стоили как средненький винчестер в то время. Кто меня сможет убедить, что у него есть DVD болванка записанная до начала 2004 года? :)
                                                                                                                                                                                Проснись и пой, кто тут говорил про DVD пятилетней давности. И не свисти про DVD-привод за килобакс в 2004.

                                                                                                                                                                                Одни из первых DVD стоили в районе 100-200 уе. Почитай чтоли: http://articles.softportal.com/aprint-335.html

                                                                                                                                                                                Добавлено
                                                                                                                                                                                Даже я со своей дырявой памятью не помню таких бешеных цен на 2004 год.
                                                                                                                                                                                  Цитата Бустер @
                                                                                                                                                                                  Даже я со своей дырявой памятью не помню таких бешеных цен на 2004 год.

                                                                                                                                                                                  вполне обычные цены на новинки, сколько пол года назад стоил Blu-Ray привод и диски к нему? а год назад?

                                                                                                                                                                                  Добавлено
                                                                                                                                                                                  Цитата Бустер @
                                                                                                                                                                                  Одни из первых DVD стоили в районе 100-200 уе.

                                                                                                                                                                                  ага, болванки столько первые стоили
                                                                                                                                                                                    Цитата Бустер @
                                                                                                                                                                                    Надо же, у меня дивидишка несколько лет читается на ура. Так может не стоит использовать их в качестве подставки для сковородок?



                                                                                                                                                                                    Угу, у меня тоже есть такие... Но статистику на одной не сделаешь. Когда начал делатьсвои архивы видео и фото, то оказалось, что DVD которые читаются через 2-3 года - есть, но гораздо больше тех которые не читаются. Уверен что и через 50 лет среди огромной стопки DVD найдётся какое-то количество читающихся. А по поводу сковородок - такие обвинения на твоей совести: я говорю об ахривных DVD, которые записаны и положены в коробку, и трогаются не просто редко, а очень редко - реже одного раза в год, так что не надо про физические повреждения.
                                                                                                                                                                                    With the best wishes, Vit
                                                                                                                                                                                    I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                    Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                      Мег, все таки ты не прв или путаешь DVD болванки с приводами. DVD сделаны по той же технологии что и CD - единственное увеличили плотность записи. Стоимость под 1000 уе это сильное приувеличение. Тем более насколько я помню 2004 года - стоимость была в районе сотки. У нас админ первый приобрел DVD-привод, это было в мои университетские годы. 2004-2005. В 2005 я универ окончил.


                                                                                                                                                                                      Здесь нужно искать компромисс между стоимостью и надежностью.
                                                                                                                                                                                        Цитата Бустер @
                                                                                                                                                                                        Мег, все таки ты не прв или путаешь DVD болванки с приводами. DVD сделаны по той же технологии что и CD - единственное увеличили плотность записи. Стоимость под 1000 уе это сильное приувеличение. Тем более насколько я помню 2004 года - стоимость была в районе сотки. У нас админ первый приобрел DVD-привод, это было в мои университетские годы. 2004-2005. В 2005 я универ окончил.

                                                                                                                                                                                        каюсь, преувеличил. DVD привод стоил в районе 500 баксов в начале 2003 года, в конце 2003 года привод стоил около 250 уе.
                                                                                                                                                                                          Ну это уже больше похоже на правду :) .
                                                                                                                                                                                            Это всё конечно очень интересно, но не имеет отношения к оригинальному вопросу :) Подозреваю, что в конце-концов всё сведется к решению на основе HDD - либо специализированному, либо самодельному. Было бы интересно услышать, чем же эта история закончилась и какое решение - самодельное или специализированное - будет выбрано...
                                                                                                                                                                                            Just gray...
                                                                                                                                                                                              Я тоже склоняюсь к HDD с дублированием информации и с ежегодной проверкой читабельности... Но решать, естественно, не мне - мой голос лишь совещательный.
                                                                                                                                                                                              With the best wishes, Vit
                                                                                                                                                                                              I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                              Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                                Люди, а вот CD-болваночки на золоте сейчас где взять можно? Каких фирм? Ничего найти не могу :wall:
                                                                                                                                                                                                Что из современного продается? Я бы взял 10-20 штук.
                                                                                                                                                                                                  Цитата Vovan @
                                                                                                                                                                                                  Люди, а вот CD-болваночки на золоте сейчас где взять можно? Каких фирм? Ничего найти не могу



                                                                                                                                                                                                  Ну например такие:

                                                                                                                                                                                                  http://www.microcenter.com/single_product_results.phtml?product_id=0238718
                                                                                                                                                                                                  With the best wishes, Vit
                                                                                                                                                                                                  I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                                  Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                                    Цитата MeG @
                                                                                                                                                                                                    пишущий DVDпривод пять лет назад стоил примерно как сам компьютер

                                                                                                                                                                                                    Не говори ерунду :)
                                                                                                                                                                                                    Аккурат в феврале 2004-ого я защитил диплом - это было ровно 5 лет тому назад :) И весь мой диплом хранится на Verbatim DVD+RW. Купил я пишуший DVD толи летом, толи осенью 2003-ого и стоил он тогда около 150 баксов ;)

                                                                                                                                                                                                    Добавлено
                                                                                                                                                                                                    Может нучно что-то вроде Sony DMS8800?
                                                                                                                                                                                                    - Завтра или послезавтра придет фруктовый пароход из Мобила, - сказал Джонни. - А до той поры нам делать нечего.
                                                                                                                                                                                                    - Но что вы намерены делать? Создать спрос?
                                                                                                                                                                                                    - Много вы понимаете в политической экономии, - ответил консул довольно невежливо. - Спроса создать нельзя. Но можно создать условия, которые вызовут спрос.
                                                                                                                                                                                                      В Германии еще продают какие-то DiskXtender: http://www.google.de/products?q=petabyte&hl=de&scoring=pd
                                                                                                                                                                                                      - Завтра или послезавтра придет фруктовый пароход из Мобила, - сказал Джонни. - А до той поры нам делать нечего.
                                                                                                                                                                                                      - Но что вы намерены делать? Создать спрос?
                                                                                                                                                                                                      - Много вы понимаете в политической экономии, - ответил консул довольно невежливо. - Спроса создать нельзя. Но можно создать условия, которые вызовут спрос.
                                                                                                                                                                                                        Спасибо.. Но у нас ничего похожего уже не продают вроде :(

                                                                                                                                                                                                        А так хотелось бы хотя бы 10-15 Гигов заархивить для истории...
                                                                                                                                                                                                        Сообщение отредактировано: Vovan -
                                                                                                                                                                                                          У меня на винте до сих пор валяются наработки с 98-го, каждые 3-4года покупаю новый винт и переписываю всё на него.
                                                                                                                                                                                                            Цитата purpe @
                                                                                                                                                                                                            У меня на винте до сих пор валяются наработки с 98-го, каждые 3-4года покупаю новый винт и переписываю всё на него.

                                                                                                                                                                                                            Я тоже так же... Но, всякое бывает...
                                                                                                                                                                                                            Хочу всё же болванки такие золотые.
                                                                                                                                                                                                              Теоретически могу купить и тебе послать.
                                                                                                                                                                                                              With the best wishes, Vit
                                                                                                                                                                                                              I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                                              Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                                                Цитата Vit @
                                                                                                                                                                                                                Теоретически могу купить и тебе послать.

                                                                                                                                                                                                                Спасибо большое!!! Но это не горит, что бы так заморачиваться сейчас...

                                                                                                                                                                                                                Вот на амазоне выбор неплохой:
                                                                                                                                                                                                                http://www.amazon.com/s/ref=nb_ss_gw?url=search-alias%3Daps&field-keywords=cd-r+gold&x=0&y=0

                                                                                                                                                                                                                Книги там уже заказывал. Как ещё раз буду заказывать, закажу и болванки.

                                                                                                                                                                                                                Добавлено
                                                                                                                                                                                                                UPD: Ая яй...
                                                                                                                                                                                                                Болванки это не книги и даже не диски по их классификации :(
                                                                                                                                                                                                                Цитата
                                                                                                                                                                                                                *** We're sorry. This item can't be shipped to your selected destination. You may either change the shipping address or delete the item from your order by changing its quantity to 0 and clicking the update button below. ( See geographical restrictions.) ***


                                                                                                                                                                                                                Ну да ладно, что-нибудь найдем :)
                                                                                                                                                                                                                Сообщение отредактировано: Vovan -
                                                                                                                                                                                                                  Ну если надо, стучись в приват, я могу на себя купить и тебе послать
                                                                                                                                                                                                                  With the best wishes, Vit
                                                                                                                                                                                                                  I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                                                  Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                                                    Ученые записали 1,14 ТБ на квадратный дюйм сапфира
                                                                                                                                                                                                                    Сообщение отредактировано: _lcf_ -
                                                                                                                                                                                                                      Цитата
                                                                                                                                                                                                                      Ученые не раскрывают способ чтения информации
                                                                                                                                                                                                                      Угу, ждем новости "Ученые наконец прочитали 1,14 ТБ с квадратного дюйма сапфира". Кроме того, сколько квадратных дюймов сапфира потребуется для записи ПБ (ждем Змея с калькулятором)? Как раз крышу Пентагона застелить :rolleyes: А каков гарантированный срок хранения данных? А почем решение? :)
                                                                                                                                                                                                                      В споре никогда не рождается истина.
                                                                                                                                                                                                                        Кто что скажет про DVD_RAM по надежности хранения?

                                                                                                                                                                                                                        Добавлено
                                                                                                                                                                                                                        Ни разу за жизнь даже в руках не держал :)
                                                                                                                                                                                                                          Цитата Vovan @
                                                                                                                                                                                                                          Кто что скажет про DVD_RAM по надежности хранения?


                                                                                                                                                                                                                          Насколько я понимаю, принцип их действия такой же как DVD. Отличия с точки зрения физических процессов записи незначительные, следовательно вряд ли можно ожидать координальных отличий от DVD
                                                                                                                                                                                                                          With the best wishes, Vit
                                                                                                                                                                                                                          I have done so much with so little for so long that I am now qualified to do anything with nothing
                                                                                                                                                                                                                          Самый большой Delphi FAQ на русском языке здесь: www.drkb.ru
                                                                                                                                                                                                                            Vit, прошу прощения, если вопрос задавался, а нельзя ли сии данные не хранить вечно, а например, загнать на обсчёт на каком-нибудь "кластере"/супер-компьютере? Или алгоритмы поиска зерна истины в терабайтах шита неизвестны?
                                                                                                                                                                                                                              Да, такое уже обсуждалось. На имеющиеся вопросы ответ можно получить уже сейчас, однако не исключено, что через пару лет возникнут новые вопросы. Для получения ответа на них надо либо иметь "сырые", не обработанные данные - либо повторять эксперимент.
                                                                                                                                                                                                                              Just gray...
                                                                                                                                                                                                                                Цитата
                                                                                                                                                                                                                                Создана память долговечностью миллиард лет


                                                                                                                                                                                                                                Американские ученые создали нанопамять, которая может хранить заархивированные данные в течение миллиарда лет. Ее теоретическая емкость составляет триллион бит на квадратный дюйм.

                                                                                                                                                                                                                                Исследователи американской Национальной лаборатории энергетики Лоренца Беркли (Energy's Lawrence Berkeley National Laboratory) и Университета Калифорнии (University of California) во главе с физиком Алексом Зеттлом (Alex Zettl) создали прототип запоминающего устройства, обладающего беспрецедентными характеристиками емкости и долговечности памяти, передает The Register. Оно может хранить данные в течение миллиарда лет.

                                                                                                                                                                                                                                Устройство разработано на основе частиц железа нановеличины (около 1/50000 толщины человеческого волоса), которые перемещаются вдоль углеродной нанотрубки. За эти свойства оно названо «челночной памятью» (shuttle memory).

                                                                                                                                                                                                                                «Челночная память имеет характеристики, позволяющие архивировать данные с плотностью триллион бит на квадратный дюйм, а также обладает термодинамической стабильностью, превышающей миллирд лет», - заявил Зеттл. «Кроме того, поскольку эта система естественно герметична, она обладает превосходными свойствами защиты от любых загрязнений окружающей среды», - добавил он.

                                                                                                                                                                                                                                Вместе с тем, исследователи заверяют, что запись данных на устройство и их считывание может осуществляться при помощи обычного напряжения, доступного в производстве цифровой электроники уже сегодня. Разработчики настаивают, что простой электрический метод записи и считывания информации обеспечивает памяти легкую интеграцию с любыми кремниевыми системами сегодняшних дней.
                                                                                                                                                                                                                                  Цитата
                                                                                                                                                                                                                                  Американские ученые создали нанопамять, которая может хранить заархивированные данные в течение миллиарда лет. Ее теоретическая емкость составляет триллион бит на квадратный дюйм.


                                                                                                                                                                                                                                  Каков гарантийный срок устройства и куда обращаться в сучае выхода из строя? :whistle:
                                                                                                                                                                                                                                  Подпись выключена.
                                                                                                                                                                                                                                    http://www.computerra.ru/own/432061/ :)

                                                                                                                                                                                                                                    Добавлено
                                                                                                                                                                                                                                    Цитата DrUnkard @
                                                                                                                                                                                                                                    Каков гарантийный срок устройства и куда обращаться в сучае выхода из строя? :whistle:

                                                                                                                                                                                                                                    Уверен, тебе сумеют доказать, что ты не соблюдал условия гарантийного обслуживания :lol:
                                                                                                                                                                                                                                      Мяут, про гарантии ничё не сказано!
                                                                                                                                                                                                                                      Подпись выключена.
                                                                                                                                                                                                                                        Цитата
                                                                                                                                                                                                                                        Создан вечный DVD

                                                                                                                                                                                                                                        Ученые из США разработали DVD, гарантирующий сохранность данных в течение тысячалетий. Самые современные диски предлагают срок хранения порядка 300 лет. Технологию планируется вывести на массовый рынок. Уже разработан специальный настольный DVD-привод.

                                                                                                                                                                                                                                        Американский стартап Millenniata разработал DVD, способный хранить данные в течение тысяч лет. При этом диск не нужно помещать в какие-то особые условия, сообщает Daily Herald.

                                                                                                                                                                                                                                        Современные диски, изготовленные методом штамповки, способны хранить информацию более ста лет, однако пользователь не может записать на них собственные данные. В настоящий момент пользователи не имеют возможности архивировать фотографии и другую личную информацию на длительный срок. Производители DVD-R говорят о сроке службы в сто и более лет, однако данные, записанные на диск в домашних условиях, могут перестать читаться уже через пять лет, даже если за это время его ни разу не доставали из коробки.

                                                                                                                                                                                                                                        По словам изобретателей, самым недолговечным материалом в DVD-R является органический слой, на который производится запись данных. Он защищен слоем пластика, который, тем не менее, не способен защитить носитель от старения. Регистрирующий слой начинает деградировать сразу же после записи, просто этот процесс проходит очень медленно. И с каждым годом вероятность того, что данные не удастся считать, возрастает. Некоторые компании, например, Kodak, выпускают диски с заявленным сроком службы 300 лет. В них для отражающего слоя используется золото вместо алюминия. Улучшение кроется в том, что золото не подвергается коррозии. Однако данные в таком диске все равно записываются на органический пластик. Ученые из Millenniata предложили заменить регистрирующий органический слой на слой из неорганического материала, который не подвергается старению вне зависимости от того, в каких условиях хранится носитель.


                                                                                                                                                                                                                                        user posted image
                                                                                                                                                                                                                                        Внешний DVD-привод для записи M-ARC Disc


                                                                                                                                                                                                                                        Технология была разработана Бэрри Лантом (Barry Lunt), профессором в области информационных технологий из Университета Бриэма Янга в Юте, США. Рассматривая наскальные рисунки в 1996 г., Лант обратил внимание на то, что они были сделаны путем соскабливания верхнего слоя камня темного цвета, обнажая более светлый внутренний состав. Таким образом, данные в течение многих столетий хранились, запечатленные посредством цветового контраста. Позже он вплотную занялся исследованием этого открытия и возможности его применения для записи цифровых данных. Вместе со своим коллегой профессором химии Мэттью Линфольдом (Matthew Linford) Лант основал компанию Millenniata.

                                                                                                                                                                                                                                        M-ARC Disc, разработанный Millenniata, выглядит почти так же, как обычный DVD. Для записи такого диска требуется специальный привод, но для чтения подойдет и вполне обычный. Разработка базируется на ряде запатентованных технологий, владельцами которых являются различные компании, включая Philips. В настоящее время стороны договариваются о коммерческом производстве дисков и приводов. Первоначально сделать технологию доступной планируется для научных организаций и государственных учреждений, оперирующих большими объемами архивных данных, затем — вывести на розничный рынок. Представленное Millenniata устройство для записи дисков M-Writer Drive выглядит как обычный внешний DVD-привод. Оно оснащено интерфейсом USB 2.0, может читать обычные CD и DVD.

                                                                                                                                                                                                                                        В компании полагают, что позже технологию можно будет перенести на Blu-ray-диски и таким образом увеличить емкость носителя до 50 ГБ. По словам ученых, теоретически емкость архивного носителя можно увеличить до 200 ГБ и больше. Ожидается, что стоимость диска с емкостью обычного DVD составит около $25-30. Для сравнения, сегодняшняя стоимость DVD составляет менее $1. Однако цену носителя с лихвой компенсирует гарантия сохранности данных при жизни многих поколений, уверены разработчики. Представить готовые продукты планируется 1 сентября 2009 г.
                                                                                                                                                                                                                                          Цитата MichSpar @
                                                                                                                                                                                                                                          Ученые из США разработали DVD, гарантирующий сохранность данных в течение тысячалетий.

                                                                                                                                                                                                                                          От меня убивают подобные заявления. Модно подумать что даже через 50 лет к кому то можно будет предъявить претензии :wall:
                                                                                                                                                                                                                                          И свободных славян обратили рабами,
                                                                                                                                                                                                                                          И в тюрьму превратили Великую Русь!
                                                                                                                                                                                                                                            Цитата FullArcticFox @
                                                                                                                                                                                                                                            От меня убивают подобные заявления.
                                                                                                                                                                                                                                            А ты бы как о таком открытии заявил?
                                                                                                                                                                                                                                            0 пользователей читают эту тему (0 гостей и 0 скрытых пользователей)
                                                                                                                                                                                                                                            0 пользователей:


                                                                                                                                                                                                                                            [ Script Execution time: 0,6459 ]   [ 15 queries used ]   [ Generated: 20.12.14, 05:46 GMT ]  

                                                                                                                                                                                                                                            Rambler's Top100