Comments on: Уйти от скриптов? http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/ Профессиональный парсинг/граббинг/сбор информации Thu, 08 Jan 2009 11:32:22 +0000 http://wordpress.org/?v=2.2.3 By: admin http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-156 admin Sun, 02 Mar 2008 07:48:08 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-156 <blockquote>Если заказ на 1 источник, то “узкое место”, как правило собвстенно сайт-донор и нет смысла писать на C++ (если только сайт не хоститься на ферме серверов).</blockquote> А на чем вы еще пишите? На пхп? Притом сайтов, которые имеют кластерное построение ОЧЕНЬ МАЛО :) <blockquote>К сожалению, 100 % лекарства нет, есть некоторые хитрости как “разгрузить” донора, но это все равно не панацея (поискать зеркала, собирать страницы не с источника а кеша поисковиков или веб-архивов и т.д.) у них есть свои недостатки.</blockquote> Кстати, кстати. Я пишу сейчас небольшую статью о методах разгрузки сайта-донора и мне было бы очень приятно выслушать ваше мнение по данному вопросу. Какие-то более хитрые уловки нежели просто зеркала и кеши? Я, например, очень часто использую селективные http запросы, лимитирую длину получаемого контента, использую граббинг PDA версий сайта, емейл рассылки и много прочего. Чем пользуетесь вы?

Если заказ на 1 источник, то “узкое место”, как правило собвстенно сайт-донор и нет смысла писать на C++ (если только сайт не хоститься на ферме серверов).

А на чем вы еще пишите? На пхп? Притом сайтов, которые имеют кластерное построение ОЧЕНЬ МАЛО :)

К сожалению, 100 % лекарства нет, есть некоторые хитрости как “разгрузить” донора, но это все равно не панацея (поискать зеркала, собирать страницы не с источника а кеша поисковиков или веб-архивов и т.д.) у них есть свои недостатки.

Кстати, кстати. Я пишу сейчас небольшую статью о методах разгрузки сайта-донора и мне было бы очень приятно выслушать ваше мнение по данному вопросу. Какие-то более хитрые уловки нежели просто зеркала и кеши? Я, например, очень часто использую селективные http запросы, лимитирую длину получаемого контента, использую граббинг PDA версий сайта, емейл рассылки и много прочего. Чем пользуетесь вы?

]]> By: Andrey http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-155 Andrey Fri, 29 Feb 2008 07:04:12 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-155 Если заказ на 1 источник, то "узкое место", как правило собвстенно сайт-донор и нет смысла писать на C++ (если только сайт не хоститься на ферме серверов). К сожалению, 100 % лекарства нет, есть некоторые хитрости как "разгрузить" донора, но это все равно не панацея (поискать зеркала, собирать страницы не с источника а кеша поисковиков или веб-архивов и т.д.) у них есть свои недостатки. Если заказ на 1 источник, то “узкое место”, как правило собвстенно сайт-донор и нет смысла писать на C++ (если только сайт не хоститься на ферме серверов).
К сожалению, 100 % лекарства нет, есть некоторые хитрости как “разгрузить” донора, но это все равно не панацея (поискать зеркала, собирать страницы не с источника а кеша поисковиков или веб-архивов и т.д.) у них есть свои недостатки.

]]> By: admin http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-147 admin Wed, 27 Feb 2008 07:18:00 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-147 А если заказ только на 1 источник? :)) Сервер бд упадет и при 20 потоках и на перловом / пхппешном граббере. Так что это не показатель. И как вы с подобными проблемами боретесь, кста? А если заказ только на 1 источник? :))
Сервер бд упадет и при 20 потоках и на перловом / пхппешном граббере. Так что это не показатель. И как вы с подобными проблемами боретесь, кста?

]]> By: Andrey http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-145 Andrey Sun, 24 Feb 2008 08:43:33 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-145 Мы делаем серверные приложения, и грабим как правило не 1 источник, по жтому узкое место либо канал либо ресурсы. Если запустить даже на 10Mb/s C++ граббер на средниый сайт, то он проработает секунды 3 (на 100 потоков), потому упадет сервер БД. Мы делаем серверные приложения, и грабим как правило не 1 источник, по жтому узкое место либо канал либо ресурсы. Если запустить даже на 10Mb/s C++ граббер на средниый сайт, то он проработает секунды 3 (на 100 потоков), потому упадет сервер БД.

]]> By: admin http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-142 admin Fri, 22 Feb 2008 07:49:55 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-142 Но как я понимаю при работе на С++ также сложно проходит и процесс отладки. Потому что это уже компилиремый язык в отличии от общераспространенных интерпритируемых скриптов. И как понять "узкое место перемещается на канал"? Предположим у меня гигабитный инет. Так вот я уверен, что при максимальной скорости и прочих благоприятных условиях узкое место переместится на сайт источник, потому что в инете (особенно в русском) не так много сайтов, которые могут отдавать динамические страницы (а чаще всего именно они и собираются) с большой скоростью. Но как я понимаю при работе на С++ также сложно проходит и процесс отладки. Потому что это уже компилиремый язык в отличии от общераспространенных интерпритируемых скриптов.
И как понять “узкое место перемещается на канал”? Предположим у меня гигабитный инет. Так вот я уверен, что при максимальной скорости и прочих благоприятных условиях узкое место переместится на сайт источник, потому что в инете (особенно в русском) не так много сайтов, которые могут отдавать динамические страницы (а чаще всего именно они и собираются) с большой скоростью.

]]> By: Andrey http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-141 Andrey Fri, 22 Feb 2008 07:07:31 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-141 Не сравнивали, т.к. не пишем на перле, да и на C многопоточность можно реализовывать по-разному (зачастую простого мултикурла хватает для решения задачи). При работе с С узкое место перемещается на канал (если есть прокси то на них). Не сравнивали, т.к. не пишем на перле, да и на C многопоточность можно реализовывать по-разному (зачастую простого мултикурла хватает для решения задачи).
При работе с С узкое место перемещается на канал (если есть прокси то на них).

]]> By: admin http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-139 admin Fri, 22 Feb 2008 06:49:32 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-139 А какой выигрыш по скорости мы получим, например, при переходе с PERL POE на C++ событийные машины и ее (сишную) реализацию многопоточности??? Это главный вопрос! А какой выигрыш по скорости мы получим, например, при переходе с PERL POE на C++ событийные машины и ее (сишную) реализацию многопоточности??? Это главный вопрос!

]]> By: Andrey http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-135 Andrey Thu, 21 Feb 2008 08:16:51 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-135 Все действительно требовательное к ресурсам/скорости делаем на C(++). + работает на любом выделенном сервере/vps - как правило требуется установка доп. библиотек Все действительно требовательное к ресурсам/скорости делаем на C(++).

+ работает на любом выделенном сервере/vps
- как правило требуется установка доп. библиотек

]]> By: admin http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-131 admin Mon, 18 Feb 2008 06:58:28 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-131 Мне тут просто один многоуважаемые "про" усердно рассказывал, что "все" высоконагруженные системы (к которым также относится и парсинг) надо писать на C#. Мне тут просто один многоуважаемые “про” усердно рассказывал, что “все” высоконагруженные системы (к которым также относится и парсинг) надо писать на C#.

]]> By: Anarki http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-121 Anarki Tue, 12 Feb 2008 16:35:02 +0000 http://www.parse.com.ua/2008/01/25/ujti-ot-skriptov/#comment-121 Ну C# явно врядли подойдет, ибо платформы нужны соответствующие Mono или .NET, а они тормозные и их еще устанавливать дополнительно нужно. Ну C# явно врядли подойдет, ибо платформы нужны соответствующие Mono или .NET, а они тормозные и их еще устанавливать дополнительно нужно.

]]>