Нужно спарсить много данных (имена, фамилии, адреса, контакты всяческие; около 1млн. человек) с сайтов. Как это лучше сделать и куда все это писать? MongoDB?

Tagged with →  

11 Responses to Как спарсить много данных

  1. RedHDD:

    Говорят, для парсинга Scrapy очень хорош. А складывать — зависит от того, что потом с ними делать. ПРосто хранить — хоть в текстовые файлы клади.

  2. LinuxSpb:

    Scrapy он для скрейпинга. Парсить можно даже тупым lxml.

    Вообще, если сайт в меру просто структурирован, зачастую обойтись чем-нибудь однострочным вроде

    curl … | grep … | tee …

  3. GniSnow:

    Он ни хуя не просто структурирован 🙁 Там asp.net

  4. Ran:

    да похер, что там. даже на мелкософтовских серверах бывают приличные вещи.

  5. RedHDD:

    можешь пояснить, в чем разница? Я не очень понял.

  6. GniSnow:

    Заходим сюда http://gzakupki.ru/guide/supplier.aspx вводим циферку «1», например, и потом пытаемся перейти с первой страницы на вторую. Я попытался проснифать запрос и вот что увидел:
    __EVENTTARGET:
    __EVENTARGUMENT:
    __VIEWSTATE:/wEPDwUKMTA3NDQxMDUwMQ9kFgJm D2QWAgIEDxYCHgVzdHlsZQURbWluLXdpZHRoOjEy MjBweDsWAgIDD2QWBAIBDxYCHwAFEW1pbi13aWR0 aDoxMjIwcHg7FgJmDxYCHwAFDXdpZHRoOjEyMjBw eDsWBAIBDxYCHwAFDXdpZHRoOjExNzJweDsWAgIC D2QWDAIDDzwrAAUBAA8WAh4FVmFsdWVlZGQCBw88 KwAFAQAPFgIfAWVkZAIPDzwrAAQBAA8WAh4HVmlz aWJsZWhkZAIRDzwrAAQBAA8WAh8CaGRkAhMPD2QP EBYCZgIBFgIWAh4OUGFyYW1ldGVyVmFsdWVlFgIf A2UWAmZmZGQCFQ8PZA8QFgJmAgEWAhYCHwNlFgIf A2UWAmZmZGQCAw8WAh8ABQx3aWR0aDo5MDZweDsW BAICD2QWAgIBDzwrABYBAA8WAh4PRGF0YVNvdXJj ZUJvdW5kZ2RkAgQPZBYIZg88KwAFAQAPFgIfAQUB MWRkAgIPPCsABAEADxYCHwFkZGQCAw88KwAWAgAP FgIfBGdkBg9kEBYEZgIBAgICAxYEPCsACwEAFgYe CVNvcnRJbmRleAL/////Dx4KR3JvdXBJbmRleAL/ ////Dx4JU29ydE9yZGVyCyl7RGV2RXhwcmVzcy5E YXRhLkNvbHVtblNvcnRPcmRlciwgRGV2RXhwcmVz cy5EYXRhLnYxMS4yLCBWZXJzaW9uPTExLjIuMTIu MCwgQ3VsdHVyZT1uZXV0cmFsLCBQdWJsaWNLZXlU b2tlbj1iODhkMTc1NGQ3MDBlNDlhADwrAAsBABYG HwUC/////w8fBgL/////Dx8HCysEADwrAAsBABYG HwUC/////w8fBgL/////Dx8HCysEADwrAAsBABYG HwUC/////w8fBgL/////Dx8HCysEAA8WBAIBAgEC AQIBFgEFmgFEZXZFeHByZXNzLldlYi5BU1B4R3Jp ZFZpZXcuR3JpZFZpZXdEYXRhVGV4dENvbHVtbiwg RGV2RXhwcmVzcy5XZWIuQVNQeEdyaWRWaWV3LnYx MS4yLCBWZXJzaW9uPTExLjIuMTIuMCwgQ3VsdHVy ZT1uZXV0cmFsLCBQdWJsaWNLZXlUb2tlbj1iODhk MTc1NGQ3MDBlNDlhFgICAQ9kFgJmD2QWAmYPZBYC Zg9kFgIFC0RYTWFpblRhYmxlD2QWFAUKRFhEYXRh Um93MA9kFgQFCXRjY2VsbDBfMA9kFgJmD2QWAmYP ZBYCAgEPFCsABA8WBB8BBS9+L2d1aWRlL3N1cHBs aWVyZGV0LmFzcHg/c3VwcGxpZXJJbm49NzcxMzU2 ODU0Mx8EZ2RkZDwrAAQBABYCHgRUZXh0BQo3NzEz NTY4NTQzZAUJdGNjZWxsMF8yD2QWAmYPZBYCZg9k FgICAQ8UKwAEDxYEHwEFL34vZ3VpZGUvc3VwcGxp ZXJkZXQuYXNweD9zdXBwbGllcklubj03NzEzNTY4 NTQzHwRnZGRkPCsABAEAFgIfCAUVItCh0JTQoS3R gdC10YDQstC40YEiZAUKRFhEYXRhUm93MQ9kFgQF CXRjY2VsbDFfMA9kFgJmD2QWAmYPZBYCAgEPFCsA BA8WBB8BBS9+L2d1aWRlL3N1cHBsaWVyZGV0LmFz cHg/c3VwcGxpZXJJbm49NDAyODA0NjA1OR8EZ2Rk ZDwrAAQBABYCHwgFCjQwMjgwNDYwNTlkBQl0Y2Nl bGwxXzIPZBYCZg9kFgJmD2QWAgIBDxQrAAQPFgQf AQUvfi9ndWlkZS9zdXBwbGllcmRldC5hc3B4P3N1 cHBsaWVySW5uPTQwMjgwNDYwNTkfBGdkZGQ8KwAE AQAWAh8IBU3QntCe0J4gItCY0L3RhNC+0YDQvNCw 0YbQuNC+0L3QvdGL0LUg0YHQuNGB0YLQtdC80Ysi ICjQntCT0KDQnSAxMDk0MDI4MDAyNTYyKWQFCkRY RGF0YVJvdzIPZBYEBQl0Y2NlbGwyXzAPZBYCZg9k FgJmD2QWAgIBDxQrAAQPFgQfAQUvfi9ndWlkZS9z dXBwbGllcmRldC5hc3B4P3N1cHBsaWVySW5uPTY0 NTAwNDMyMTMfBGdkZGQ8KwAEAQAWAh8IBQo2NDUw MDQzMjEzZAUJdGNjZWxsMl8yD2QWAmYPZBYCZg9k FgICAQ8UKwAEDxYEHwEFL34vZ3VpZGUvc3VwcGxp ZXJkZXQuYXNweD9zdXBwbGllcklubj02NDUwMDQz MjEzHwRnZGRkPCsABAEAFgIfCAVs0JPQntCj0JTQ ntCUICLQodCe0KHQlNCu0KHQqNCe0KAg0L/QviDQ sdCw0LTQvNC40L3RgtC+0L3Rgywg0L3QsNGB0YLQ vtC70YzQvdC+0LzRgyDRgtC10L3QvdC40YHRgyDQ uCDRg9GI0YMiZAUKRFhEYXRhUm93Mw9kFgQFCXRj Y2VsbDNfMA9kFgJmD2QWAmYPZBYCAgEPFCsABA8W BB8BBS9+L2d1aWRlL3N1cHBsaWVyZGV0LmFzcHg/ c3VwcGxpZXJJbm49NzcxNTU4MTYyMB8EZ2RkZDwr AAQBABYCHwgFCjc3MTU1ODE2MjBkBQl0Y2NlbGwz XzIPZBYCZg9kFgJmD2QWAgIBDxQrAAQPFgQfAQUv fi9ndWlkZS9zdXBwbGllcmRldC5hc3B4P3N1cHBs aWVySW5uPTc3MTU1ODE2MjAfBGdkZGQ8KwAEAQAW Ah8IBVjQntCx0YnQtdGB0YLQstC+INGBINC+0LPR gNCw0L3QuNGH0LXQvdC90L7QuSDQvtGC0LLQtdGC 0YHRgtCy0LXQvdC90L7RgdGC0YzRjiDCqzMg0YHQ vMK7ZAUKRFhEYXRhUm93NA9kFgQFCXRjY2VsbDRf MA9kFgJmD2QWAmYPZBYCAgEPFCsABA8WBB8BBS9+ L2d1aWRlL3N1cHBsaWVyZGV0LmFzcHg/c3VwcGxp ZXJJbm49NTY0MTAwNDE4OR8EZ2RkZDwrAAQBABYC HwgFCjU2NDEwMDQxODlkBQl0Y2NlbGw0XzIPZBYC Zg9kFgJmD2QWAgIBDxQrAAQPFgQfAQUvfi9ndWlk ZS9zdXBwbGllcmRldC5hc3B4P3N1cHBsaWVySW5u PTU2NDEwMDQxODkfBGdkZGQ8KwAEAQAWAh8IBeYB 0KPQv9GA0LDQstC70LXQvdC40LUg0YHQvtGG0LjQ sNC70YzQvdC+0Lkg0LfQsNGJ0LjRgtGLINC90LDR gdC10LvQtdC90LjRjyDQsNC00LzQuNC90LjRgdGC 0YDQsNGG0LjQuCDQvNGD0L3QuNGG0LjQv9Cw0LvR jNC90L7Qs9C+INC+0LHRgNCw0LfQvtCy0LDQvdC4 0Y8g0J/QvtC90L7QvNCw0YDQtdCy0YHQutC40Lkg 0YDQsNC50L7QvSDQntGA0LXQvdCx0YPRgNCz0YHQ utC+0Lkg0L7QsdC70LDRgdGC0LhkBQpEWERhdGFS b3c1D2QWBAUJdGNjZWxsNV8wD2QWAmYPZBYCZg9k FgICAQ8UKwAEDxYEHwEFMX4vZ3VpZGUvc3VwcGxp ZXJkZXQuYXNweD9zdXBwbGllcklubj0xMDAxMTEy OTIzNTEfBGdkZGQ8KwAEAQAWAh8IBQwxMDAxMTEy OTIzNTFkBQl0Y2NlbGw1XzIPZBYCZg9kFgJmD2QW AgIBDxQrAAQPFgQfAQUxfi9ndWlkZS9zdXBwbGll cmRldC5hc3B4P3N1cHBsaWVySW5uPTEwMDExMTI5 MjM1MR8EZ2RkZDwrAAQBABYCHwhlZAUKRFhEYXRh Um93Ng9kFgQFCXRjY2VsbDZfMA9kFgJmD2QWAmYP ZBYCAgEPFCsABA8WBB8BBS9+L2d1aWRlL3N1cHBs aWVyZGV0LmFzcHg/c3VwcGxpZXJJbm49NzEwMzA0 MTEwNx8EZ2RkZDwrAAQBABYCHwgFCjcxMDMwNDEx MDdkBQl0Y2NlbGw2XzIPZBYCZg9kFgJmD2QWAgIB DxQrAAQPFgQfAQUvfi9ndWlkZS9zdXBwbGllcmRl dC5hc3B4P3N1cHBsaWVySW5uPTcxMDMwNDExMDcf BGdkZGQ8KwAEAQAWAh8IBRvQntCe0J4gItCn0J7Q nyAi0JrQsNGA0LDRgiJkBQpEWERhdGFSb3c3D2QW BAUJdGNjZWxsN18wD2QWAmYPZBYCZg9kFgICAQ8U KwAEDxYEHwEFL34vZ3VpZGUvc3VwcGxpZXJkZXQu YXNweD9zdXBwbGllcklubj02MDE3MDAxMzMxHwRn ZGRkPCsABAEAFgIfCAUKNjAxNzAwMTMzMWQFCXRj Y2VsbDdfMg9kFgJmD2QWAmYPZBYCAgEPFCsABA8W BB8BBS9+L2d1aWRlL3N1cHBsaWVyZGV0LmFzcHg/ c3VwcGxpZXJJbm49NjAxNzAwMTMzMR8EZ2RkZDwr AAQBABYCHwgFItCc0KMgItCf0L7RgNGF0L7QstGB 0LrQsNGPINCm0KDQkSJkBQpEWERhdGFSb3c4D2QW BAUJdGNjZWxsOF8wD2QWAmYPZBYCZg9kFgICAQ8U KwAEDxYEHwEFL34vZ3VpZGUvc3VwcGxpZXJkZXQu YXNweD9zdXBwbGllcklubj03ODM5MzUyMTAxHwRn ZGRkPCsABAEAFgIfCAUKNzgzOTM1MjEwMWQFCXRj Y2VsbDhfMg9kFgJmD2QWAmYPZBYCAgEPFCsABA8W BB8BBS9+L2d1aWRlL3N1cHBsaWVyZGV0LmFzcHg/ c3VwcGxpZXJJbm49NzgzOTM1MjEwMR8EZ2RkZDwr AAQBABYCHwgFN9CS0LvQsNC00JzQtdC00J/QvtGB 0YLQsNCy0LrQsCDQodC10LLQtdGA0L4t0JfQsNC/ 0LDQtCJkBQpEWERhdGFSb3c5D2QWBAUJdGNjZWxs OV8wD2QWAmYPZBYCZg9kFgICAQ8UKwAEDxYEHwEF L34vZ3VpZGUvc3VwcGxpZXJkZXQuYXNweD9zdXBw bGllcklubj02OTAxMDQ1ODY1HwRnZGRkPCsABAEA FgIfCAUKNjkwMTA0NTg2NWQFCXRjY2VsbDlfMg9k FgJmD2QWAmYPZBYCAgEPFCsABA8WBB8BBS9+L2d1 aWRlL3N1cHBsaWVyZGV0LmFzcHg/c3VwcGxpZXJJ bm49NjkwMTA0NTg2NR8EZ2RkZDwrAAQBABYCHwgF HNCe0J7QniDQp9Ce0J8gItCi0LLQtdGA0LTRjCJk AgQPD2QPEBYDZgIBAgIWAxYCHwMC/////w8WAh8D BQExFgIfA2QWAwIFZmZkZAIDDxYCHwAFDXdpZHRo OjExNzJweDsWAgIDDxYCHwAFDHdpZHRoOjkwNnB4 O2QYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFj a0tleV9fFgUFHmN0bDAwJE5hdmlnYXRpb24kTmF2 aWdhdGlvbkJhcgUWY3RsMDAkTG9naW4kYnRuRXhl Y3V0ZQUcY3RsMDAkRmVhdHVyZXMkQVNQeEdyaWRW aWV3MQUeY3RsMDAkQ29udGVudEhvbGRlciRidG5S ZWZyZXNoBR9jdGwwMCRDb250ZW50SG9sZGVyJGdy ZFN1cHBsaWVyg4seUvQtWGpfwJxmSQVEVW5//raC nm8qnd/23a+DDYA=
    ctl00_Navigation_NavigationBarGS:0;0;0;0 ;0;0;1;0;0;0;0;0;0;0;0
    ctl00$Login$txtLogin:
    ctl00$Login$txtPassword:
    ctl00_ContentHolder_txtOrganizationName_ Raw:1
    ctl00$ContentHolder$txtOrganizationName: 1
    ctl00$ContentHolder$chkConform:I
    ctl00$ContentHolder$grdSupplier$DXSelInp ut:
    ctl00$ContentHolder$grdSupplier$DXKVInpu t:[]
    ctl00$ContentHolder$grdSupplier$Callback State:BwIHAgIERGF0YQbECQAAAAD27AQA9uwEAA AAAAAKAAAAAAUAAAADaW5uA2lubgcAABBvcmdhbm l6YXRpb25Gb3JtEW9yZ2FuaXphdGlvbiBGb3JtBw AAEG9yZ2FuaXphdGlvbk5hbWURb3JnYW5pemF0aW 9uIE5hbWUHAAAOZmFjdHVhbEFkZHJlc3MPZmFjdH VhbCBBZGRyZXNzBwAABGhyZWYEaHJlZgcAAAoAAA AKc3VwcGxpZXJJRARzbUlED3BhcnRpY2lwYW50VH lwZQNrcHALcG9zdEFkZHJlc3MMY29udGFjdEVNYW lsDGNvbnRhY3RQaG9uZQpjb250YWN0RmF4DmFkZG l0aW9uYWxJbmZvCmFjdHVhbERhdGUHAAcABwAHAA b//wcCCjc3MTM1Njg1NDMHAgNPT08HAhUi0KHQlN ChLdGB0LXRgNCy0LjRgSIHAlwxMjcyNDcsINCzLi DQnNC+0YHQutCy0LAsINCU0LzQuNGC0YDQvtCy0Y HQutC+0LUg0YjQvtGB0YHQtSwg0LQuIDEwMCwg0Y HRgtGALiAyLCDQutC+0YDQvy4gNAcCL34vZ3VpZG Uvc3VwcGxpZXJkZXQuYXNweD9zdXBwbGllcklubj 03NzEzNTY4NTQzBwAHAAb//wcCCjQwMjgwNDYwNT kHAgNPT08HAk3QntCe0J4gItCY0L3RhNC+0YDQvN Cw0YbQuNC+0L3QvdGL0LUg0YHQuNGB0YLQtdC80Y siICjQntCT0KDQnSAxMDk0MDI4MDAyNTYyKQcCOD I0ODAyMdCzLiDQmtCw0LvRg9Cz0LAs0YPQuy4g0J /QvtC70LUg0KHQstC+0LHQvtC00YssMTI5BwIvfi 9ndWlkZS9zdXBwbGllcmRldC5hc3B4P3N1cHBsaW VySW5uPTQwMjgwNDYwNTkHAAcABv//BwIKNjQ1MD A0MzIxMwcCA2k3MgcCbNCT0J7Qo9CU0J7QlCAi0K HQntCh0JTQrtCh0KjQntCgINC/0L4g0LHQsNC00L zQuNC90YLQvtC90YMsINC90LDRgdGC0L7Qu9GM0L 3QvtC80YMg0YLQtdC90L3QuNGB0YMg0Lgg0YPRiN GDIgcCPjQxMDAzOSwg0LMuINCh0LDRgNCw0YLQvt CyLCDQv9GALtCt0L3RgtGD0LfQuNCw0YHRgtC+0L IgNTgg0LAuBwIvfi9ndWlkZS9zdXBwbGllcmRldC 5hc3B4P3N1cHBsaWVySW5uPTY0NTAwNDMyMTMHAA cABv//BwIKNzcxNTU4MTYyMAcCA09PTwcCWNCe0L HRidC10YHRgtCy0L4g0YEg0L7Qs9GA0LDQvdC40Y fQtdC90L3QvtC5INC+0YLQstC10YLRgdGC0LLQtd C90L3QvtGB0YLRjNGOIMKrMyDRgdC8wrsHAgEtBw Ivfi9ndWlkZS9zdXBwbGllcmRldC5hc3B4P3N1cH BsaWVySW5uPTc3MTU1ODE2MjAHAAcABv//BwIKNT Y0MTAwNDE4OQcCA2k3MgcC5gHQo9C/0YDQsNCy0L vQtdC90LjQtSDRgdC+0YbQuNCw0LvRjNC90L7QuS DQt9Cw0YnQuNGC0Ysg0L3QsNGB0LXQu9C10L3QuN GPINCw0LTQvNC40L3QuNGB0YLRgNCw0YbQuNC4IN C80YPQvdC40YbQuNC/0LDQu9GM0L3QvtCz0L4g0L 7QsdGA0LDQt9C+0LLQsNC90LjRjyDQn9C+0L3Qvt C80LDRgNC10LLRgdC60LjQuSDRgNCw0LnQvtC9IN Ce0YDQtdC90LHRg9GA0LPRgdC60L7QuSDQvtCx0L vQsNGB0YLQuAcCtgE0NjE3ODAsINCg0L7RgdGB0L jQudGB0LrQsNGPINCk0LXQtNC10YDQsNGG0LjRjy wg0J7RgNC10L3QsdGD0YDQs9GB0LrQsNGPINC+0L HQu9Cw0YHRgtGMLNCf0L7QvdC+0LzQsNGA0ZHQst GB0LrQuNC5INGA0LDQudC+0L0s0YEu0J/QvtC90L 7QvNCw0YDRkdCy0LrQsCzRg9C7LtCh0L7QstC10Y LRgdC60LDRjyzQtC45MwcCL34vZ3VpZGUvc3VwcG xpZXJkZXQuYXNweD9zdXBwbGllcklubj01NjQxMD A0MTg5BwAHAAb//wcCDDEwMDExMTI5MjM1MQwMBw I80KDQmiwg0LMuINCf0LXRgtGA0L7Qt9Cw0LLQvt C00YHQuiwg0YPQuy4g0J7QutGC0Y/QsdGA0Y8gNi wxBwIxfi9ndWlkZS9zdXBwbGllcmRldC5hc3B4P3 N1cHBsaWVySW5uPTEwMDExMTI5MjM1MQcABwAG// 8HAgo3MTAzMDQxMTA3BwIDT09PBwIb0J7QntCeIC LQp9Ce0J8gItCa0LDRgNCw0YIiBwI5MzAwMDAyLC DQsy4g0KLRg9C70LAsINGD0LsuINCe0LrRgtGP0L HRgNGM0YHQutCw0Y8sINC0LjE2BwIvfi9ndWlkZS 9zdXBwbGllcmRldC5hc3B4P3N1cHBsaWVySW5uPT cxMDMwNDExMDcHAAcABv//BwIKNjAxNzAwMTMzMQ wHAiLQnNCjICLQn9C+0YDRhdC+0LLRgdC60LDRjy DQptCg0JEiBwJSMTgyNjIwLCDQn9GB0LrQvtCy0Y HQutCw0Y8g0L7QsdC7Liwg0LMu0J/QvtGA0YXQvt CyLCDRg9C7LtCc0LXQsdC10LvRjNC90LDRjywg0L QuNAcCL34vZ3VpZGUvc3VwcGxpZXJkZXQuYXNweD 9zdXBwbGllcklubj02MDE3MDAxMzMxBwAHAAb//w cCCjc4MzkzNTIxMDEHAgNPT08HAjfQktC70LDQtN Cc0LXQtNCf0L7RgdGC0LDQstC60LAg0KHQtdCy0L XRgNC+LdCX0LDQv9Cw0LQiBwJeMTkwMDA1LCDQsy 4g0KHQsNC90LrRgi3Qn9C10YLQtdGA0LHRg9GA0L Ms0YPQuy4gNy3RjyDQmtGA0LDRgdC90L7QsNGA0L zQtdC50YHQutCw0Y8sINC0LiAyNS8xNAcCL34vZ3 VpZGUvc3VwcGxpZXJkZXQuYXNweD9zdXBwbGllck lubj03ODM5MzUyMTAxBwAHAAb//wcCCjY5MDEwND U4NjUHAgNPT08HAhzQntCe0J4g0KfQntCfICLQot Cy0LXRgNC00YwiBwI2MTcwMDAxLCDQsy7QotCy0L XRgNGMLCDQv9GALdGCINCa0LDQu9C40L3QuNC90L AsINC0LjIzBwIvfi9ndWlkZS9zdXBwbGllcmRldC 5hc3B4P3N1cHBsaWVySW5uPTY5MDEwNDU4NjUCBV N0YXRlBz0HBAcEAgEHBAIBBwQCAQcGAgEHAAcABw AHAAUAAACACQIACQIAAgADBwQCAAcAAgEF9uwEAA cAAgEHAAcA
    DXScript:1_42,1_75,1_60,2_34,2_41,2_27,1 _52,1_66,3_7,2_30,1_41
    __CALLBACKID:ctl00$ContentHolder$grdSupp lier
    __CALLBACKPARAM:c0:KV|2;[];GB|20;12|PAGE RONCLICK3|PN1;
    __EVENTVALIDATION:/wEWAwKHv7aFAQL968avAg KKuNa8CPKZ7NFYmjxpfmwr2f762AmQ7zu0QI5fDM rLzyjZHqBX

  7. GniSnow:

    Это какой-то ебаный ад же!

  8. Ele-Ele_akhsap:

    теплый ламповый аспнет

  9. Ran:

    и чо? content-type в заголовке не стоит? мне лень лезть смотреть, если честно, но скорее всего, стоит. и скорее всего, это base64. декодировать и все.

  10. LinuxSpb:

    Надо было написать «для crawiling-а». В смысле что в scrapy основной функционал вокруг того, как по ссылкам правильно ходить, а парсится все там стандартными средствами.

  11. LinuxSpb:

    и чо?

    Ну то, что голым грепом тут конечно не обойдешься.

Добавить комментарий