Наши преимущества
Что умеет наш парсер/грабер
Наш парсер/грабер является уникальным, так как он:
- Умеет обходить любую блокировку IP адреса;
- Может эмулировать 42 основных и 117 дополнительных User-Agent’ов броузеров (в том числе и мобильных устройств);
- Может эмулировать 13 основных и 18 дополнительных User-Agent’ов поисковых пауков;
- Имеет настроенный и протестированный функционал;
- Производит парсинг/грабинг очень быстро за счет использования параллельных процессов, промежуточных серверов и сжатия трафика.
И это всего лишь малая часть его возможностей. Да и перечислять их просто нет смысла. Лучше попробовать!
Архитектура
Преимущество нашего парсера/грабера проявляется даже в его архитектуре. Рассмотрим на примерах.
Классическая архитектура, которой пользуются постоянно, имеет следующий вид:
У этой архитектуры есть только одно преимущество:
- Простота и скорость реализации.
Однако недостатков она имеет целый ряд:
- В случае блокировки IP адреса на сервере-обьекте грабинг будет невозможным;
- Грабинг/парсинг по подобной схеме создает высокую временную нагрузку на сервер-обьект (что очень хорошо видно администратору);
- Скорость грабинга/парсинга не высокая и увеличить ее без изменения архитектуры достаточно сложно.
Даже если в данной архитектуре используется прокси-сервер, то он легко блокируется на сервере-объекте, что заставляет разработчика либо искать новый прокси, либо строить сложную цепочку динамически изменяемых прокси (что само по себе достаточно сложно и затратно по времени).
В свою очередь наш грабер/парсер в своей работе использует более развитую архитектуру:
Подобная архитектура лучше, потому что:
- Заблокировать IP адрес невозможно, так как сервер-обьект видит IP адрес только промежуточного сервера. В качестве промежуточного сервера может использоваться любой сайт с установленным небольшим скриптом.
- Скорость грабинга/парсинга увеличивается за счет того, что промежуточный сервер выступает в качестве фильтра. То есть промежуточный сервер передает нашему серверу не всю информацию, а только определенные блоки. Также промежуточный сервер производит gz сжатие информации, что также ускоряет процес обработки.
Данная архитектура развивалась и оттачивалась в течении долгого времени, потому что наша компания ориентируется на долгосрочные проекты, а не на разовый “фриланс”.
Команда
Но главным преимуществом, как всегда, являются кадры. И у нас они самые лучшие!
Среди наших профессионалов ВСЕ имеют опыт программирования не менее 5 лет, а также обладают идеальным знанием сетевых технологий. Поэтому вы можете не переживать за качество выполненной нами работы.
