Дано:
1. FreeBSD 8
2. MySQL 5.5
3. Куча CSV-файлов размерами от 500 МБ до 3 ГБ.

Вопрос:
Как эти CSV-файлы засунуть в одну базу данных разными таблицами, прилагая минимум усилий?

Заранее большое спасибо.

14 Responses to CSV-файлы засунуть в одну базу данных разными таблицами

  1. Aobko:

    Из одного CSV-файла вот так.
    Для кучи, вероятно, нужен скрипт с циклом.

  2. Putty:

    а как без предварительного создания таблицы? phpMyAdmin как-то делает, но только мелкие файлы…

  3. Aobko:

    Он и создает сначала, наверное.

    Вообще, создать таблицы надо до импорта. С такой структурой, какую надо.
    Типов полей в csv-файлах нет — не в varchar же все поля импортировать. Имена полей тоже не всегда из первой строки файла можно взять.

  4. Lliwhite:

    Perl+DBD::CSV

  5. KNTSnow:

    Я на баше подобные мульки писал

  6. Htoer:

    man BULK INSERT

  7. Htoer:

    Если самому лень — на питонах напишу.

  8. Putty:

    сколько будет стоить? Это не для меня, а для моего клиента.

  9. Htoer:

    структуру таблиц покажите.

  10. Htoer:

    если плоская вообще — то за пару тысчонок до реальных данных в реальном мускуле. Если сложная структура — то можно и неделю повозиться.

  11. Htoer:

    и да — объём всех csvшек расскажите, а то окажется, что там 20 терабайт в гзипе-9. :о)

  12. Putty:

    да нет там никакой структуры еще. Есть, скажем, файл «leads.csv» с колонками «first name», «last name», «e-mail». В базе должна создаться таблица «leads» с аналогичными тремя полями.
    Объем — да кто его знает, несколько гигабайт (непакованых).

  13. Htoer:

    хуйня, айдишники есть? Архивируйте эти ваши базы пожощще и на фтп какой-нибудь выкладывайте. Будет вам всё.

    И, может быть, всё-таки сразу структуру продумывать? Ключи там, нормализация, юзеры в одну таблицу, товар в другую?

    Кроче, давайте ТЗ, описание что есть сейчас, чтобы потом не перепиздячивать всю структуру, csv архивированный настоящий, как у себя напишу — а это хуйня вообще по времени, ссш на сервер и готово.

    Контакты в профиле.

  14. Naref:

    Пост, посвященный набору CREATE TABLE & LOAD DATA INFILE в sql-клиенте.

Добавить комментарий