Дано:
1. FreeBSD 8
2. MySQL 5.5
3. Куча CSV-файлов размерами от 500 МБ до 3 ГБ.
Вопрос:
Как эти CSV-файлы засунуть в одну базу данных разными таблицами, прилагая минимум усилий?
Заранее большое спасибо.
14 Responses to CSV-файлы засунуть в одну базу данных разными таблицами
Добавить комментарий
Последние просмотренные
Кабинет.
Кабинет. В нём два компьютера. Один (winxp) смотрит в (и)нтернет. Второй (win7) в изолированную сетку под (в)ипнетом....кто сколько платит за интернеты в офисах ?
Приветствую! Хотелось бы узнать, кто сколько платит за интернеты в офисах, а то меня эта ситуация крайне...Ребятушки, мы тут третий месяц усердно трудимся над разработкой сервиса анализа текстов.
Ребятушки, мы тут третий месяц усердно трудимся над разработкой сервиса анализа текстов. И столкнулись с...Сколько денег просить за сайт ?
Пасаны, нужен совет.Есть сайт — http://numpedia.comПосещаемость — 500 человек в день, есть группы...Пацаны, тут такое дело на фриланс.
Пацаны, тут такое дело на фриланс. Мне нужен js-гуру который не ссыт от сложного параллакса, способный...jQuery vs Dojo
Пришел к следующему выводу:— если вся херня проходит на клиенте, а сервер только для хранения и валидации,...Представляю вашему вниманию
Представляю вашему вниманию мою презентацию о MongoDBКратко и обо всем, думаю будет полезно...Как сделать выборку строки с определенным id
Есть mysql таблица с несколькими полями — id,f1,f2…f30Состояние полей f может быть либо «on» либо NULL Как...@import и http-request
Коллеги, есть пяток цссов, водключаемых через @import. Создает ли каждый @import http-request или нет? на стековефлоу...Debian — как прозрачно перенаправить трафик с одного сервера на другой ?
Друзья, я сломал мозг. Подскажите, как прозрачно перенаправить трафик с одного сервера на другой. Оба...
Из одного CSV-файла .
Для кучи, вероятно, нужен скрипт с циклом.
а как без предварительного создания таблицы? phpMyAdmin как-то делает, но только мелкие файлы…
Он и создает сначала, наверное.
Вообще, создать таблицы надо до импорта. С такой структурой, какую надо.
Типов полей в csv-файлах нет — не в varchar же все поля импортировать. Имена полей тоже не всегда из первой строки файла можно взять.
Perl+DBD::CSV
Я на баше подобные мульки писал
man BULK INSERT
Если самому лень — на питонах напишу.
сколько будет стоить? Это не для меня, а для моего клиента.
структуру таблиц покажите.
если плоская вообще — то за пару тысчонок до реальных данных в реальном мускуле. Если сложная структура — то можно и неделю повозиться.
и да — объём всех csvшек расскажите, а то окажется, что там 20 терабайт в гзипе-9. :о)
да нет там никакой структуры еще. Есть, скажем, файл «leads.csv» с колонками «first name», «last name», «e-mail». В базе должна создаться таблица «leads» с аналогичными тремя полями.
Объем — да кто его знает, несколько гигабайт (непакованых).
хуйня, айдишники есть? Архивируйте эти ваши базы пожощще и на фтп какой-нибудь выкладывайте. Будет вам всё.
И, может быть, всё-таки сразу структуру продумывать? Ключи там, нормализация, юзеры в одну таблицу, товар в другую?
Кроче, давайте ТЗ, описание что есть сейчас, чтобы потом не перепиздячивать всю структуру, csv архивированный настоящий, как у себя напишу — а это хуйня вообще по времени, ссш на сервер и готово.
Контакты в профиле.
Пост, посвященный набору CREATE TABLE & LOAD DATA INFILE в sql-клиенте.