Как парсить выдачу Google?

[st0nx]

Как парсить выдачу Google без использования Google Web Search API? Не могу понять как саму сраницу с результатами получить. (С++ Asio).

[m0Hze]

data = curl.get('http://www.google.de/search?num=30&q=Porno');

Э?
Выражайся точнее, что именно не получается, что не можеш ьпонять.

[tipsy]

Гугл капчу выдаст после несокльких запросов (чем подозрительнее запрос, тем быстрее)

[st0nx]

Сообщение от tipsy

Гугл капчу выдаст после несокльких запросов (чем подозрительнее запрос, тем быстрее)

Есть варианты, как обойти?

[napas_hd]

Использовать компонент IE, задержки, прокси.

[m0Hze]

Задержки (рандомно! 7-30 сек), очистка куков, смена юзер агента, смена доменных зон = удачный парсинг гугла.

[ont]

Есть еще вариант google ajax, который у меня уже работает около года без банов и прочего:

import urllib2
url_google = 'http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=' + 'test'
ans = urllib2.urlopen( url_google ).read().decode( 'utf8' )
print ans

P.S. эээ... если это google api, то сорррии, протупил

[M_script]

Сообщение от m0Hze

Задержки (рандомно! 7-30 сек), очистка куков, смена юзер агента, смена доменных зон = удачный парсинг гугла.

Почему рандомно с восклицательным знаком? Гугл не сравнивает интервалы между запросами. Задержка должна быть одинаковой и минимально возможной.
Куки можно вообще не принимать.
В смене юзер-агента нет необходимости, это никак не поможет.
Насчет доменных зон, возможно, правда, но я предпочитаю с серверами гугла работать по IP.
Все просто - чем больше быстрых соксов, тем лучше.

[Aels]

апи гугла вообще странная штука, автор видимо просил без него, потому что если брать больше 10ти результатов, то от аякса уводит на основной сайт (ну все что дальше первой страницы)

От себя советую юзать скрипт, который дает выдачу в гугл-инстант. с ним проблем никаких не было еще месяца 2 назад, при голом запросе с минимальными заголовками (и отлично настраивается количество результатов в запросе).

Пардон линк не дам... не могу найти где он у меня включается (

[Ctacok]

Делал как то на C#, не банит. Реализация, самая ебучая наверное. Софт нужен был что бы поюзать раз в пару дней. Так что если надо дописывай сам.
http://files.myopera.com/Ctacok/files/GoogleTopParser.zip - билд
http://files.myopera.com/Ctacok/files/GoogleTopPars3er.zip - Сорсы