Комментарии на запись: Экономим трафик. Увеличиваем скорость. http://www.parse.com.ua/2008/06/22/ekonomim-trafik-uvelichivaem-skorost/ Профессиональный парсинг/граббинг/сбор информации Mon, 06 Sep 2010 06:29:55 +0000 http://wordpress.org/?v=2.2.3 От: admin http://www.parse.com.ua/2008/06/22/ekonomim-trafik-uvelichivaem-skorost/#comment-3071 admin Tue, 26 May 2009 15:43:29 +0000 http://www.parse.com.ua/2008/06/22/ekonomim-trafik-uvelichivaem-skorost/#comment-3071 Спасибо за позитивные отклики. На ваши вопросы можно очень просто ответить, если посмотреть на проблему с другой стороны. Пример. У вас есть сайт. Как вы сможете определить факт парсинга информации? Большое количество запросов? Большая загрузка? Я на некоторых сайтах определяю факт база по 404 ошибке обращения к куче картинок. Когда ответите на эти запросы, то посмотрите в логи сервера. Есть ли там еще какая-то информация о пользователе помимо UA и IP? Нет. Значит и эммитировать более ничего не нужно. Спасибо за позитивные отклики.
На ваши вопросы можно очень просто ответить, если посмотреть на проблему с другой стороны.
Пример. У вас есть сайт. Как вы сможете определить факт парсинга информации? Большое количество запросов? Большая загрузка?
Я на некоторых сайтах определяю факт база по 404 ошибке обращения к куче картинок.
Когда ответите на эти запросы, то посмотрите в логи сервера. Есть ли там еще какая-то информация о пользователе помимо UA и IP? Нет. Значит и эммитировать более ничего не нужно.

]]> От: NetEarner http://www.parse.com.ua/2008/06/22/ekonomim-trafik-uvelichivaem-skorost/#comment-3060 NetEarner Tue, 26 May 2009 11:24:16 +0000 http://www.parse.com.ua/2008/06/22/ekonomim-trafik-uvelichivaem-skorost/#comment-3060 У вас очень интересный ресурс.. и редкий по такой тематике. =) Интересует, какие еще HTTP заголовки, кроме UserAgent нужно добавить, чтобы сервер, который мы парсим, принял скрипт за обычный веб-браузер? И вообще, кроме имитации браузера, пауз при парсинге и запросов с разных ip (скрипты на разных хостингах, вызывающие один код?) нужно ли придерживаться еще каких-либо правил, что-бы не быть забаненным?... Заранее спасибо за ответ.. =) P.S. Надеюсь, это не сильно вас затруднит. У вас очень интересный ресурс.. и редкий по такой тематике. =)
Интересует, какие еще HTTP заголовки, кроме UserAgent нужно добавить, чтобы сервер, который мы парсим, принял скрипт за обычный веб-браузер?

И вообще, кроме имитации браузера, пауз при парсинге и запросов с разных ip (скрипты на разных хостингах, вызывающие один код?) нужно ли придерживаться еще каких-либо правил, что-бы не быть забаненным?…

Заранее спасибо за ответ.. =)
P.S. Надеюсь, это не сильно вас затруднит.

]]>