Linuxoids.org

CSV-файлы засунуть в одну базу данных разными таблицами

· 14 комментариев

Дано:
1. FreeBSD 8
2. MySQL 5.5
3. Куча CSV-файлов размерами от 500 МБ до 3 ГБ.

Вопрос:
Как эти CSV-файлы засунуть в одну базу данных разными таблицами, прилагая минимум усилий?

Заранее большое спасибо.

Tagged with → • • • • •  

14 Responses to CSV-файлы засунуть в одну базу данных разными таблицами

  1. Aobko:
    14.08.2012 в 19:38

    Из одного CSV-файла вот так.
    Для кучи, вероятно, нужен скрипт с циклом.

    Ответить
  2. Putty:
    14.08.2012 в 19:52

    а как без предварительного создания таблицы? phpMyAdmin как-то делает, но только мелкие файлы…

    Ответить
  3. Aobko:
    14.08.2012 в 22:27

    Он и создает сначала, наверное.

    Вообще, создать таблицы надо до импорта. С такой структурой, какую надо.
    Типов полей в csv-файлах нет — не в varchar же все поля импортировать. Имена полей тоже не всегда из первой строки файла можно взять.

    Ответить
  4. Lliwhite:
    17.08.2012 в 09:00

    Perl+DBD::CSV

    Ответить
  5. KNTSnow:
    21.08.2012 в 18:10

    Я на баше подобные мульки писал

    Ответить
  6. Htoer:
    21.08.2012 в 18:14

    man BULK INSERT

    Ответить
  7. Htoer:
    21.08.2012 в 18:19

    Если самому лень — на питонах напишу.

    Ответить
  8. Putty:
    02.09.2012 в 00:55

    сколько будет стоить? Это не для меня, а для моего клиента.

    Ответить
  9. Htoer:
    02.09.2012 в 21:38

    структуру таблиц покажите.

    Ответить
  10. Htoer:
    02.09.2012 в 21:39

    если плоская вообще — то за пару тысчонок до реальных данных в реальном мускуле. Если сложная структура — то можно и неделю повозиться.

    Ответить
  11. Htoer:
    02.09.2012 в 21:42

    и да — объём всех csvшек расскажите, а то окажется, что там 20 терабайт в гзипе-9. :о)

    Ответить
  12. Putty:
    02.09.2012 в 22:17

    да нет там никакой структуры еще. Есть, скажем, файл «leads.csv» с колонками «first name», «last name», «e-mail». В базе должна создаться таблица «leads» с аналогичными тремя полями.
    Объем — да кто его знает, несколько гигабайт (непакованых).

    Ответить
  13. Htoer:
    02.09.2012 в 23:36

    хуйня, айдишники есть? Архивируйте эти ваши базы пожощще и на фтп какой-нибудь выкладывайте. Будет вам всё.

    И, может быть, всё-таки сразу структуру продумывать? Ключи там, нормализация, юзеры в одну таблицу, товар в другую?

    Кроче, давайте ТЗ, описание что есть сейчас, чтобы потом не перепиздячивать всю структуру, csv архивированный настоящий, как у себя напишу — а это хуйня вообще по времени, ссш на сервер и готово.

    Контакты в профиле.

    Ответить
  14. Naref:
    03.09.2012 в 00:00

    Пост, посвященный набору CREATE TABLE & LOAD DATA INFILE в sql-клиенте.

    Ответить

Добавить комментарий