Форум на Исходниках.RU https://forum.sources.ru Форум на Исходниках.RU Форум на Исходниках.RU https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791808 Tue, 05 Mar 2019 13:43:42 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791808 В описанном мной варианте можно сразу выгружать все, сколько есть, сто тыщ мильёнов записей, без всех этих заморочек с маркированием. Всё одно на следующем этапе оно на куски порежется. Да, при этом нужен двойной объём дискового пространства, но с местом, как я понимаю, проблем нет.]]> Akina Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791801 Tue, 05 Mar 2019 12:33:24 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791801 Цитата Akina @

Примерно так я и делаю.
Создаю таблицу только уникальных записей,
Маркирую из этой таблицы тор 100м записей ключом i.
Отмаркированные записи выгружаю в файл.
увеличиваю ключ, маркирую следующие 100м и так по циклу пока все записи не будут отмаркированы]]> Орт_ИКС Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791759 Tue, 05 Mar 2019 04:24:39 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791759 Цитата Орт_ИКС @
нужна автоматизация процесса

Ну так всё автоматизируется в рамках одного скрипта. Скажем, VBS.
Сначала стартует клиент командной строки (bcp), которому скармливается запрос на выгрузку. Он выполняет запрос и копирует нужные записи в файл с заданным именем в заданном каталоге. По завершении работы клиента скрипт рубит этот файл на нужные куски. В принципе всё укладывается в десяток строк кода. Оператору достаточно запустить скрипт (а если надо - то можно это поручить планировщику, и тогда вмешательство человека будет не то что минимальным - вообще нулевым), дождаться окончания его работы, и дальше делать с требуемым пакетом файлов, что ему нужно.

PS. И обратите серьёзное внимание на то, что сортировка, в которой все отбираемые записи уникальны - необходима. Без неё в выходной файл попадёт заданное число случайных записей из всех, которые отвечают требованиям (условиям отбора в запросе). Конечно, это не актуально и не требуется, если количество отбираемых записей заведомо меньше заданного количества, и TOP 1000000 туда засунут чисто "от фонаря".]]> Akina Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791678 Mon, 04 Mar 2019 13:05:16 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791678 Цитата ^D^ima @

как сделать "врукопашную" я понимаю, нужна автоматизация процесса.
Возможно я не понял предложенного, тогда прошу развернуть идею]]> Орт_ИКС Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791675 Mon, 04 Mar 2019 12:43:29 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791675 ^D^ima Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791669 Mon, 04 Mar 2019 12:01:29 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791669 Akina, 100000000 это очень скромная часть. База "весит" десятки гигов. Потому и не хочу привлекать сторонние "приблуды" чтобы все собиралось отрабатывалось и собиралось в одном месте с минимальным вмешательством человека..]]> Орт_ИКС Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791647 Mon, 04 Mar 2019 10:20:20 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791647 Хотя бы потому, что для выгрузки в несколько файлов средствами (хранимая процедура) сервера потребуется в запрос добавить сортировку, причём ключ сортировки должен быть уникальным.]]> Akina Базы данных: SQL https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791613 Mon, 04 Mar 2019 09:14:40 +0000 Выгрузка из SQL в TXT https://forum.sources.ru/index.php?showtopic=414359&view=findpost&p=3791613 Есть представление, например
    CREATE VIEW SM1 AS SELECT  DISTINCT TOP(100000000) PaWo FROM mPa WHERE Length>7 AND Cat<>'EUc_1' and Typ='all'

его я выгружаю в файлик
    exec PaWo..xp_cmdshell 'bcp "SELECT * FROM PaWo.dbo.SM1 " queryout e:3.txt -c -C 1251 -r \n -T'

с этим проблем нет - все работает.
Но как сделать так, чтобы выгружалось не в 1 файл с 100000000 записей а в 1000 по 100000.
То что делать нужно в цикле я понимаю :) , но вот личный уровень кунг-фу не позволяет это сделать. :(
Буду рад любым подсказкам.

PS: сейчас решаю задачу отдельным приложением, что очень долго и громоздко.]]> Орт_ИКС Базы данных: SQL