Удалить дубликаты строк - Delphi/RAD XE3+

[Kirilis2018]

^D^ima
Очень дельный совет . Буду пробовать, после отпишусь. Человеческое спасибо!

Добавлено 19.04.18, 17:32
^D^ima,
Кстати, когда прописываю в uses System.Hash. Он подчеркивается и надпись: cannot resolve unit name System.Hash. Что за ошибка ?, не могу понять... А если IdHashSHA то все нормально.

[^D^ima]

В uses аросто hash

[Kirilis2018]

^D^ima, Так тоже пробовал так же само пишет. Может косяк в Delphi ?

[^D^ima]

Я в 10 пробовал

[Kirilis2018]

^D^ima,
Поставлю 2010 и тоже попробую. Скорее всего глюк в Delphi. Спасибо.

[Gonarh]

Извращенцы! awk '!a[$0]++' in.file > out.file

[^D^ima]

Цитата Kirilis2018 @ 19.04.18, 17:59

Поставлю 2010

я писал о 10-м

[Kirilis2018]

Цитата ^D^ima @ 19.04.18, 19:24

Аааа, я понял

Сообщение отредактировано: Kirilis2018 - 19.04.18, 19:54

[^D^ima]

Цитата Славян @ 19.04.18, 14:01

хэш (CRC32 какой-нибудь)

Кстати да, срс32 это циклический код(контрольная сумма) который имеет огромную коллизию, хеш который у всех на слуху, криптографический типа sha1,md5,sha2 имеет значительно меньшие коллизии и именно их имеют в виду в первую очередь говоря о хеше. Так что никто crc32 хранит не собирается

[Славян]

Да я понимаю, ^D^ima, просто CRC32 простой и сразу пришёл на память. Но все остальные кэши - лишь уменьшают вероятность "сбоя", не приводя оную к 0. А таковой вероятностный (негарантированный) алгоритм я бы лично не принял. Да и задача явно не про такие ухищрения.

[MIF]

Тогда хранить в Dictionary. Там тоже поиск О(1), но коллизия исчезает. Есть в Дeльфи Dictionary?

[^D^ima]

Цитата Славян @ 20.04.18, 01:12

Но все остальные кэши - лишь уменьшают вероятность "сбоя", не приводя оную к 0.

Но почти приводящую.
Для SHA1 кстати нашли алгоритм подбора коллизий для разного набора данных, но:

за десять лет с момента изобретения SHA-1 не было известно ни об одном практическом способе генерации коллизий.

для подбора потребовалось:

проводила компания Google. В общей сложности было произведено девять квинтиллионов вычислений SHA-1 (9 223 372 036 854 775 808), что потребовало 6500 процессорных лет на первой фазе и 110 лет GPU на второй фазе атаки.

Так что если и захочешь, не найдешь.

В Гитхабе и много где ещё SHA1 используется, а тут для простого прикладного примера. Не нравится SHA1, используй SHA2. Тем более в delphi, стандартном модуле hash используется SHA2 512, самый большой

Добавлено 20.04.18, 06:36

Цитата MIF @ 20.04.18, 06:25

Есть в Дeльфи Dictionary?

да

[korvin]

Цитата Славян @ 20.04.18, 01:12

А таковой вероятностный (негарантированный) алгоритм я бы лично не принял

Лол. Почитай как HashSet/HashMap устроен, про разрешение коллизий.

Цитата Славян @ 20.04.18, 01:12

Да и задача явно не про такие ухищрения.

Какие ухищрения? Использование HashSet/HashMap — стандартный способ решения этой задачи.

[Славян]

Цитата korvin @ 20.04.18, 19:03

Цитата Славян @ 20.04.18, 01:12

А таковой вероятностный (негарантированный) алгоритм я бы лично не принял.

Почитай как HashSet/HashMap устроен, про разрешение коллизий.

Что мне почитать - я уж как-нибудь сам придумаю; а если у вас есть обоснованные возражения о вероятностном характере получаемого алгоритма с хэшем - вполне могли бы здесь и набросать оные.

[korvin]

Цитата Славян @ 20.04.18, 19:38

Что мне почитать - я уж как-нибудь сам придумаю

Но тогда не стоит писать и делать выводы о том, о чём имеешь плохое представление.

Цитата Славян @ 20.04.18, 19:38

а если у вас есть обоснованные возражения о вероятностном характере получаемого алгоритма с хэшем

Ты бы вместо набора слов писал бы лучше осмысленными выражениями. Какой ещё «вероятностный характер» в алгоритме с хэшами? Никакого random там не используется.

Цитата Славян @ 20.04.18, 19:38

вполне могли бы здесь и набросать оные

Зачем мне заниматься копипэйстингом?