Как экспортировать данные из txt в sql

woofster

rебята, вот такой квест:
есть txt-файл, с данными разделенными запятой
как проще всего эти данные перенести в базу данных MsSQL?
ах, да. файл весит 13 гигов

hoha32

там разве нет аналога mysql-ного load data infile?
отключи индексацию только сначала

nas1234

я никогда не занимался бд, но мне всегда казалось что любая субд имеет некий язык, который подобные вещи может легко сделать. а то и готовый инструмент.

Kira

в management studio правой кнопкой по базе-> импорт данных-> источник - "неструктурированный файл"

woofster

ага. а если у меня каждое поле заключено в кавычки, а в БД эти кавычки нужно убрать?

nas1234

а если у меня каждое поле заключено в кавычки, а в БД эти кавычки нужно убрать?
ну так потом SELECT и UPDATE тебе в руки :p

Dimon89

ах, да. файл весит 13 гигов
отрежь маленький кусочек, потренируй скрипт на нем. Как доведешь до идеала, запускай на основном файле.

Kira

там какая-то достаточно гибкая настройка, так что скорее всего можно

iravik

я обычно всякими sed-ами генерю текстовый файлик со строками insert into ...

oksan4ik79

я обычно всякими sed-ами генерю текстовый файлик со строками insert into ...
Угу, и получаешь скрипт работающий 5 часов на базах MyISAM, и 8 часов на InnoDB :) +генерить второй файлик на харде размером 20 Гигов в дополнение к этому 13-гиговому - грусть и печаль, да ещё и займёт прилично времени :)
Хотя, если объеденить инсерты, и слать в mysql через pipe, то, может, выйдет лучше, конечно, но всё-равно лишние телодвижения, проще воспользоваться встроенным функционалом импорта из csv :)

Alena_08_11

1. поботать про bulk insert или bcp
2. "всякими sed'-ами" (c) или пятистрочным скриптом на питоне/перле/etc подготовить файл для bulk insert
3. выполнить bulk insert

hoha32

Угу, и получаешь скрипт работающий 5 часов на базах MyISAM, и 8 часов на InnoDB
вот для того чтоб такого не было и отключаются индексы
быстрее будет перестроить их потом

Filan

вот для того чтоб такого не было и отключаются индексы
быстрее будет перестроить их потом
Это не спасает, вернее этого не достаточно.
И при булке они тоже выключаются.
Оставить комментарий
Имя или ник:
Комментарий: