Дано:
1. FreeBSD 8
2. MySQL 5.5
3. Куча CSV-файлов размерами от 500 МБ до 3 ГБ.
Вопрос:
Как эти CSV-файлы засунуть в одну базу данных разными таблицами, прилагая минимум усилий?
Заранее большое спасибо.
14 Responses to CSV-файлы засунуть в одну базу данных разными таблицами
Добавить комментарий
Последние просмотренные
SAP — Стоит ли оно того?
Привет, блогеряне. Я уже год эдак так восьмой занимаюсь внедрением и поддержкой различного ПО для бизнеса:...Регистрация домена — ошибся в номере паспорта
Доброй ночи! У меня такая проблема — зарегал свой через ZASTOLBI-REG-RIPN. Он 15 августа прекратил свою работу....Дефейс официального сайта ЕГЭ Санкт-Петербурга recovery mode
Дефейс официального сайта ЕГЭ Санкт-Петербурга recovery...Друзья, нужен хороший предельно надежный хостинг, в серьезной компании, за пределами России.
Друзья, нужен хороший предельно надежный хостинг, в серьезной компании, за пределами России. Как там сейчас...ОС для информационного киоска
Алоха!Возникла тут необходимость в нашей компании расставить по филиалам информационные киоски, закупили...Вопросы для инженеров техподдержки
А давайте понапридумываем вопросиков для инженеров техподдержки всех уровней? Винды, никсы, роутеры, вся...подключить монитор двумя шнурами (hdmi и dvi-d)
Мужики, а объясните мне, пожалуйста, как я могу подключить монитор двумя шнурами (hdmi и dvi-d) и переключать...несколько тысяч дисков CD и DVD — перегнать их на винты
Ребят, возникла не совсем стандартная задача. Есть несколько тысяч дисков (CD и DVD). Нужно перегнать их на...the bat стал терять письма!
Эхх Уважаемые нужна помощь Есть почтовый ящик и есть The Bat + отдельный комп + 20 гб почты и вот этот...Как передавать файлы между компьютерами Windows и OS X
Apple предусмотрели несколько способов установки соединения с компьютерами на базе операционной системы Windows...
Из одного CSV-файла .
Для кучи, вероятно, нужен скрипт с циклом.
а как без предварительного создания таблицы? phpMyAdmin как-то делает, но только мелкие файлы…
Он и создает сначала, наверное.
Вообще, создать таблицы надо до импорта. С такой структурой, какую надо.
Типов полей в csv-файлах нет — не в varchar же все поля импортировать. Имена полей тоже не всегда из первой строки файла можно взять.
Perl+DBD::CSV
Я на баше подобные мульки писал
man BULK INSERT
Если самому лень — на питонах напишу.
сколько будет стоить? Это не для меня, а для моего клиента.
структуру таблиц покажите.
если плоская вообще — то за пару тысчонок до реальных данных в реальном мускуле. Если сложная структура — то можно и неделю повозиться.
и да — объём всех csvшек расскажите, а то окажется, что там 20 терабайт в гзипе-9. :о)
да нет там никакой структуры еще. Есть, скажем, файл «leads.csv» с колонками «first name», «last name», «e-mail». В базе должна создаться таблица «leads» с аналогичными тремя полями.
Объем — да кто его знает, несколько гигабайт (непакованых).
хуйня, айдишники есть? Архивируйте эти ваши базы пожощще и на фтп какой-нибудь выкладывайте. Будет вам всё.
И, может быть, всё-таки сразу структуру продумывать? Ключи там, нормализация, юзеры в одну таблицу, товар в другую?
Кроче, давайте ТЗ, описание что есть сейчас, чтобы потом не перепиздячивать всю структуру, csv архивированный настоящий, как у себя напишу — а это хуйня вообще по времени, ссш на сервер и готово.
Контакты в профиле.
Пост, посвященный набору CREATE TABLE & LOAD DATA INFILE в sql-клиенте.