Комментарии на запись: Google limits http://www.parse.com.ua/2007/10/14/google-limits/ Профессиональный парсинг/граббинг/сбор информации Mon, 06 Sep 2010 06:28:33 +0000 http://wordpress.org/?v=2.2.3 От: admin http://www.parse.com.ua/2007/10/14/google-limits/#comment-3152 admin Wed, 05 Aug 2009 09:23:30 +0000 http://www.parse.com.ua/2007/10/14/google-limits/#comment-3152 Согласен. И вообще лучше отходить от парсинга поисковиков ;) Согласен. И вообще лучше отходить от парсинга поисковиков ;)

]]> От: Сквoрeц http://www.parse.com.ua/2007/10/14/google-limits/#comment-3148 Сквoрeц Mon, 03 Aug 2009 06:04:50 +0000 http://www.parse.com.ua/2007/10/14/google-limits/#comment-3148 Для Kane. Раньше обращение к разным датацентрам спасало. Сейчас у гугла стоит один фильтр на все датацентры и излишне рьяных вебмастеров он банит на-ура. К тому же выдача-то меняется от датаценра к датацентру, что сказывалось на качестве выборки. Кстати парсинг через прокси (теми что можно напарсить или купить) на поверку дело облегчает не на много. Для Kane.
Раньше обращение к разным датацентрам спасало. Сейчас у гугла стоит один фильтр на все датацентры и излишне рьяных вебмастеров он банит на-ура. К тому же выдача-то меняется от датаценра к датацентру, что сказывалось на качестве выборки. Кстати парсинг через прокси (теми что можно напарсить или купить) на поверку дело облегчает не на много.

]]> От: admin http://www.parse.com.ua/2007/10/14/google-limits/#comment-59 admin Sat, 22 Dec 2007 11:36:40 +0000 http://www.parse.com.ua/2007/10/14/google-limits/#comment-59 Добрый день. За все время своей работы у меня не разу ни возникало необходимости обращаться к разным датацентрам. По поводу частоты запросов вам надо уточнить, что вы под этими словами подразумеваете. Как я сказал выше, в сутки Гугл не должен получать с вашего IP более 25 000 запросов. А также вам нужно постараться максимально обходить запросы с модификаторами inurl, потому что некоторые из них Гугл начинает блокировать со второй страницы. А вообще эта тема спорная и проще всего проверять на основе экспериментальных данных. Потому что, например, я никогда еще в лоб с одного IP не заваливал Гугл запросами. Добрый день.

За все время своей работы у меня не разу ни возникало необходимости обращаться к разным датацентрам. По поводу частоты запросов вам надо уточнить, что вы под этими словами подразумеваете.
Как я сказал выше, в сутки Гугл не должен получать с вашего IP более 25 000 запросов. А также вам нужно постараться максимально обходить запросы с модификаторами inurl, потому что некоторые из них Гугл начинает блокировать со второй страницы. А вообще эта тема спорная и проще всего проверять на основе экспериментальных данных. Потому что, например, я никогда еще в лоб с одного IP не заваливал Гугл запросами.

]]> От: Kane http://www.parse.com.ua/2007/10/14/google-limits/#comment-58 Kane Tue, 18 Dec 2007 00:40:25 +0000 http://www.parse.com.ua/2007/10/14/google-limits/#comment-58 А есть ли какие нибудь данные, при какой частоте запросов google начинает банить? И эти второй лимит относится ко всем датацентрам или нет. Вообще, очень интересно, насколько целесообразно обращаться к разным датацентрам. А есть ли какие нибудь данные, при какой частоте запросов google начинает банить? И эти второй лимит относится ко всем датацентрам или нет. Вообще, очень интересно, насколько целесообразно обращаться к разным датацентрам.

]]>