Tweet
Web scraping, harvesting etc... Някой има ли опит с тези неща???
Здравейте,
Някой има ли опит с т.н. Web scraping, harvesting etc... ?
Нуждая се от практически съвети и може би и от малко напътствия за едно мое начинание.
Имам идея да скрейпвам множество сайтове за продажба на автомобили, да събирам конкретни данни, веднъж събрани данните ще ги наливам или в файлове и после в Оракъл ДБ, след това ще правя анализи и сравняване за определени условия и при изпълнение на условията ще пускам нотификация.
На български казано, идеята ми е да търся примерно обява за Нисан патрул, след 1997 година и ако цената е под сума ХХХХ.ХХ ще получа съобщение по електронна поща с данните на обявата. Целта ми е да прескоча повечето разни автоджамбази да се докопат до хубавите оферти за джипки и да съм един от първите, които да се свържат със собственика.
Миналата седмица закъснях с един час точно и джамбазите вече пътуваха към обявата, след още 30 мин бяха купили супер мега ултра изгоден джип и след една седмица видях същия джип на двойна цена като джамбазите бяха инвестирали колосалната сума от 50 кинта за гориво и 20 кинта за автомивка... супер ме е яд и се надъхах да впрегна усилия и воля и да ги цакам на мой терен, ако ме разбирате какво искам да кажа
Освен сайтове за обяви, мисля да скрейпвам и форуми, там хубавите оферти са още по-обещаващи по принцип...
За сега съм инсталирал Scrapy on Debian 7.0 + Oracle 11g XE.
Знам, че има множество програмки - платени(3 цифрена сума) и няколко платени (6-7 цифрена сума) но все пак искам да започна с нещо малко и безплатно и ако има хляб в идеята ми ще инвестирам в софтуер и в платена подръжка примерно.
Всякакви идеи ПО ТЕМАТА са добре дошли?
Благодаря предварително,
Жоро
Някой има ли опит с т.н. Web scraping, harvesting etc... ?
Нуждая се от практически съвети и може би и от малко напътствия за едно мое начинание.
Имам идея да скрейпвам множество сайтове за продажба на автомобили, да събирам конкретни данни, веднъж събрани данните ще ги наливам или в файлове и после в Оракъл ДБ, след това ще правя анализи и сравняване за определени условия и при изпълнение на условията ще пускам нотификация.
На български казано, идеята ми е да търся примерно обява за Нисан патрул, след 1997 година и ако цената е под сума ХХХХ.ХХ ще получа съобщение по електронна поща с данните на обявата. Целта ми е да прескоча повечето разни автоджамбази да се докопат до хубавите оферти за джипки и да съм един от първите, които да се свържат със собственика.
Миналата седмица закъснях с един час точно и джамбазите вече пътуваха към обявата, след още 30 мин бяха купили супер мега ултра изгоден джип и след една седмица видях същия джип на двойна цена като джамбазите бяха инвестирали колосалната сума от 50 кинта за гориво и 20 кинта за автомивка... супер ме е яд и се надъхах да впрегна усилия и воля и да ги цакам на мой терен, ако ме разбирате какво искам да кажа
Освен сайтове за обяви, мисля да скрейпвам и форуми, там хубавите оферти са още по-обещаващи по принцип...
За сега съм инсталирал Scrapy on Debian 7.0 + Oracle 11g XE.
Знам, че има множество програмки - платени(3 цифрена сума) и няколко платени (6-7 цифрена сума) но все пак искам да започна с нещо малко и безплатно и ако има хляб в идеята ми ще инвестирам в софтуер и в платена подръжка примерно.
Всякакви идеи ПО ТЕМАТА са добре дошли?
Благодаря предварително,
Жоро
Коментар