Google limits
Данную статью я назвал Google Limits, потому что в ней я хочу рассказать о некоторых ограничениях поиска в Гугл:
- Запрос не должен превышать 32х слов (раньше было 10);
- Количество запросов с одного IP не должно превышать 25 000 в сутки.
По поводу первого числа у меня нет сомнений, а вот по поводу второго они все-таки возникают. Хотя на практике еще не приходилось подходить к барьеру в 25 000 запросов.
Надо будет как-то на эксперименте проверить.
Kane:
А есть ли какие нибудь данные, при какой частоте запросов google начинает банить? И эти второй лимит относится ко всем датацентрам или нет. Вообще, очень интересно, насколько целесообразно обращаться к разным датацентрам.
18 Декабрь 2007, 3:40 дпadmin:
Добрый день.
За все время своей работы у меня не разу ни возникало необходимости обращаться к разным датацентрам. По поводу частоты запросов вам надо уточнить, что вы под этими словами подразумеваете.
22 Декабрь 2007, 2:36 ппКак я сказал выше, в сутки Гугл не должен получать с вашего IP более 25 000 запросов. А также вам нужно постараться максимально обходить запросы с модификаторами inurl, потому что некоторые из них Гугл начинает блокировать со второй страницы. А вообще эта тема спорная и проще всего проверять на основе экспериментальных данных. Потому что, например, я никогда еще в лоб с одного IP не заваливал Гугл запросами.
Сквoрeц:
Для Kane.
3 Август 2009, 9:04 дпРаньше обращение к разным датацентрам спасало. Сейчас у гугла стоит один фильтр на все датацентры и излишне рьяных вебмастеров он банит на-ура. К тому же выдача-то меняется от датаценра к датацентру, что сказывалось на качестве выборки. Кстати парсинг через прокси (теми что можно напарсить или купить) на поверку дело облегчает не на много.
admin:
Согласен. И вообще лучше отходить от парсинга поисковиков
5 Август 2009, 12:23 пп