Форум на Исходниках.RU

Вопрос по regexp_replace

#SI# — Thu, 28 Jan 2016 09:24:55 +0000

#SI#: Получается :D

Вопрос по regexp_replace

#SI# — Tue, 26 Jan 2016 20:09:11 +0000

#SI#:

Цитата amk @ 26.01.16, 19:54

Те записи, которые не удалось обработать вывел в отдельный файл.

Это операторы ручками доправят. Особенно с учётом специфики. Мне в неё лезть - только время терять. Мне проще дать им утилитку, которая будет выдавать на гора записи с э-э-э сомнительной (по моему мнению) информацией. А ~95% можно раскрутить регулярками. Та сотня вариантов (в спойлере) сводится где-то к 5-6 шаблонам.

Цитата amk @ 26.01.16, 19:54

С текстовым файлом я могу многократно обрабатывать весь набор не боясь, что я что-нибудь испорчу

Именно поэтому я сначала копирую в новую колонку и разбираю именно её, а не сами комментарии.

Добавлено 26.01.16, 20:09
JoeUser, жуй-жуй! Глотай! :D

Добавлено 26.01.16, 20:10

Цитата amk @ 26.01.16, 19:54

Просто в тексте я сразу вижу много записей

В гриде я из все вижу. Более того - могу видеть и обработанные данные в новой колонке и исходные в старой. И отселектить по любому критерию.

Вопрос по regexp_replace

amk — Tue, 26 Jan 2016 19:54:58 +0000

amk:

Цитата #SI# @ 26.01.16, 18:37

создал поле в таблице, тупо копирую в него комментарии, чтобы не трогать то, что есть, и потом работаю уже с этим полем

На самом деле я вытащил бы это всё в текстовый файл не поэтому. В таблице БД лучше всё сделать за один проход. Но сразу сформировать нужный набор регулярок вряд ли удастся. С текстовым файлом я могу многократно обрабатывать весь набор не боясь, что я что-нибудь испорчу.
Скорее всего я бы сделал так.
Отловил какое-то количество записей и разобрал их. Те записи, которые не удалось обработать вывел в отдельный файл.
Посмотрел их, изменил процедуру обработки. Снова вывел в отдельный файл то, с чем процедура не справилась.
И так пока процедура наконец не обработает весь набор.

Просто в тексте я сразу вижу много записей, могу их как-то сортировать, чтобы обобщать. Иначе всё сведётся к отдельному действию для каждой строки, что не намного лучше ручной обработки.

Вопрос по regexp_replace

JoeUser — Tue, 26 Jan 2016 18:58:37 +0000

JoeUser:

Цитата #SI# @ 26.01.16, 18:37

ЗЫ - в следующий раз ссылайся на сюда. Тут - по делу.

:popcorn:

Вопрос по regexp_replace

#SI# — Tue, 26 Jan 2016 18:37:57 +0000

#SI#:

Цитата amk @ 26.01.16, 14:21

ты не ответил, что именно хочешь сделать с приведённой ранее записью

Эти 800 000 записей хочу разобрать по полочкам. Источники - в своё поле, варианты - в своё и т.п.

Цитата JoeUser @ 26.01.16, 18:09

Еще в начале декабря я такое уже посоветовал

Щяс ещё раз получишь - иди и перечитай ЧТО я просил и ЧТО ты :whistle: мне посоветовал.
ЗЫ - в следующий раз ссылайся на сюда. Тут - по делу.

Добавлено 26.01.16, 18:40

Цитата amk @ 26.01.16, 14:21

это что-то типа перечня оборудования или чего-то подобного

Это Федеральный каталог названий географических объектов. Клепали его 15 лет пара десятков контор, потом слили до кучи. Разработчиков уже нет в живых.

Добавлено 26.01.16, 18:48

Цитата amk @ 26.01.16, 14:21

я скорее всего просто извлёк бы информацию сперва в текстовый файл

Понятно, что не видя всего этого кошмара, трудно дать чёткий совет.
Что я измыслил - создал поле в таблице, тупо копирую в него комментарии, чтобы не трогать то, что есть, и потом работаю уже с этим полем. Для начала все "стандартные заголовки" хочу заменить на фразы типа , , etc... А затем выбирать фрагменты например от до следующего символа < и писать их в соответствующее новое поле. Специфика информации такова, что в ней этих символов нет (таки можно проверить, ЧТО за этим символом).

Вопрос по regexp_replace

JoeUser — Tue, 26 Jan 2016 18:09:33 +0000

JoeUser:

Цитата amk @ 26.01.16, 14:21

Так что я скорее всего просто извлёк бы информацию сперва в текстовый файл, а потом смотрел бы, что с этими записями можно сделать.

Еще в начале декабря я такое уже посоветовал. В результате "получил по щям", за то что мешаю прогать на SQL-е :lol: Легкие пути ищут только слабаки, как я понял :lol:

Вопрос по regexp_replace

amk — Tue, 26 Jan 2016 14:21:15 +0000

amk: Я так понял, это что-то типа перечня оборудования или чего-то подобного. Записи вносили разные люди, и каждый сокращал надпись, как бог на душу положит. И ты хочешь это дело как-то стандартизовать, чтобы неразбериху уменьшить.

Обычно мысль как-то стандартизовать используемые сокращения приходит, когда БД приходит в описанное тобой состояние, у нас на работе так в материальной группе с БД материалов произошло, из-за чего один и тот же материал одного производителя иногда под несколькими названиями в БД присутствует, а там периодически цены и другие данные меняются. У нас для этого пришлось структуру БД менять, и не уверен, что с такой практикой справились (сейчас я с ними мало контактирую).

Но ты не ответил, что именно хочешь сделать с приведённой ранее записью. В чём собственно состоит проблема.

Добавлено 26.01.16, 14:25
Я как-то мало работал с собственно БД (только организовывал бэкапы) и пару раз помогал извлечь нужную информацию из готового отчёта (каждый раз это была срочная разовая работа, так что создавать новый отчёт резона не было). Так что я скорее всего просто извлёк бы информацию сперва в текстовый файл, а потом смотрел бы, что с этими записями можно сделать.

Вопрос по regexp_replace

#SI# — Tue, 26 Jan 2016 04:10:40 +0000

#SI#:

Цитата amk @ 25.01.16, 20:49

Что сделать-то с этой строкой хочешь?

Вот тут - варианты "стандартного" заголовка:

Скрытый текст

Дополнительные источники нормализованного названия
дополнительные источники нормализованного названия
Дополнительные источники норм. названия
Дополнительные источники норм.названия
дополнительные источники норм. названия
дополнительные источники норм.названия
Дополнительные норм.названия
Дополнительные источники названия
Дополн. источники норм. названия
Доп источники нормализованного названия
Доп. источники норм. названия
Доп.источники норм. названия
Доп. источники норм.названия
Доп.источника норм.названия
Доп.источники норм.названия
Доп источники норм. названия
Доп. источники нором. названия
Доп. источники норм. анзвания
Доп. источники норм. нозвания
Доп. источники норм. Названия
Доп.источники норм. Названия
доп.источники норм названия
доп.источники норм. названия
Доп.источники нрм.названия
Доп.источники норм.названия;
Доп.источникинорм. названия
Доп. И;сточники норм. названия
Доп.источники норм. Названия;
Доп. норм. названия
Доп. Источник;и норм. названия
Доп. Источники; норм. названия
Доп. источники норм. значения
Доп.источеики ном. названия
Доп.Я норм. названия
Доп.источники нормал. названия
Доп.ир норм. названия
Доп.источники но;1998;звания
Доп. Источники норм. yазвания
Доп. источники норм. yазвания
Доп. Источники норм.yазвания
Доп. Источники норм. названия
Доп. источники норм названия
Доп.источ;ики норм. названия
Доп. Ист; очники норм. названия
Доп.источники нрм. названия
Доп.источники. названия
Доп.источн;ки норм. названия
Доп.источнки норм. названия
Доп.источнии норм. названия
Доп.источник норм. названия
Доп.истоники норм. названия
Доп.источники норм названия
Доп. Источники норм. названия
Доп. источники норм. навания
Доп.источник норм. названия
Доп.ис; то;m ,чники норм. названия
Доп. сточники норм. названия
Доп .источники норм. названия
Доп. источники норм. Названия
Доп.иточники норм. названия
Доп.источнки норм. названия
Доп.истоники норм. названия
Доп.источни норм. названия
Доп.источнки норм. названия
Доп.источнии норм. названия
доп. источники норм. названия
Доп.источнии норм. названия
Доп.истчники норм. названия
Доп.источники ро. названия
Доп.источники нор. названия
Доп.источник норм. названия
Доп. иcточники норм. названия
Доп.и сточники норм. названия
доп.источники норм. Названия
доп.источники норм.названия
Доп.и сточники норм. названия
Доп. источник нормативного названия
Доп источники норм названия
Доп.ист.норм.названия
Доп. источники норм. навания

Доп. источники норм. назван
Доп.источники норм. названи
Доп. источники норм. названи
Доп.источники норм. названи
Доп.источники норм. названий
Доп.источники норм. название
Доп. источники норм. названиz
Доп. источники норм. назв

Доп.источники норм.
Доп. источники норм.
Доп.источники норм
Доп. источники норм
Доп.источники норм

Доп. Ист. н. н.
Доп.источники норм. ир

Дополнительные источ
Доп.источники
Доп. источники
Доп.ист

Дп.источники норм. названия
Д.источники норм. названия

Количество записей ~800 000. Кроме Доп.источников есть ещё Варианты типа объекта и ещё много чего. И всё это в одной помойке под названием Комментарии к объекту. А я хочу эту помойку разгрести в соответствующие новые поля в таблицах. Понятно, что без окончательного ручного редактирования ничего не выйдет, но основной объём таки можно растащить по ключевым словам (заголовкам).

Вопрос по regexp_replace

amk — Mon, 25 Jan 2016 20:49:57 +0000

amk: Что сделать-то с этой строкой хочешь?
'(текст)' если не надо превращать в группу, можно заменить на '(?:текст)', иногда без этого трудно разобраться
Если ZZ могут стоять, а могут не стоять напиши '(?:ZZ)?'
Если перед ZZ может стоять ещё и пробел ' ?(:?ZZ)'?
Если перед ZZ может стоять двоеточие и/или пробел ':? ?(:?ZZ)'?
Если перед ZZ может стоять двоеточие и пробел или ничего '(?:: )?(:?ZZ)'?
Если надо выделить в группу текст, стоящий перед ZZ, исключив из него концевые пробелы '(.+?) *(:?ZZ)'
Если надо проверить, что какой-то текст повторяется несколько раз можно написать '(abc).+\1'. Например '^(.+)\1$' соответствует строке, состоящей из двух одинаковых половинок.
Так же может сработать RE с именованной группой '(P.*)(P=name)'. В таком случае в строке замены на такую группу можно сослаться как '\q'

Вообще при помощи одних только регулярных выражений можно сделать почти всё, вплоть до реализации какой-нибудь арифметики. Просто может понадобиться последовательно применять несколько RE.

Вопрос по regexp_replace

#SI# — Mon, 25 Jan 2016 20:11:04 +0000

#SI#: Всем здравствуйте!
Если кому интересно - ноги растут отсюда Можно ли расчистить помойку только средствами PL/SQL?.
А проблема вот в чём - есть строки вида бла-бла-бла;Доп. источ.названия:ZZПостановление № ...; дополн.ист.названZZУказ № ...;бла-бла-бла.
Заголовок может кончаться двоеточием, перед названием документа могут стоять 2 символа Z (раньше там были CR/LF если что).
Пытаюсь заменить "стандартные" заголовки на :

select regexp_replace('бла-бла-бла;Доп. источ.названия:ZZПостановление № ...; дополн.ист.названZZУказ № ...;бла-бла-бла', 'доп(.*?)(назв)(.*?){0,5}?(:)?(ZZ)', '<NAME>', 1, 0, 'i') as res from dual

С двоеточием разобрался - ( : ) ? . -- если БЕЗ пробелов - то вылезет смайлик.
А с двойным Z сломал мозг :wall: ! Третий час пляшу с бубном... :wall:
На что у меня ума не хватает?