Комментарии на запись: Многопоточный парсер ТИЦ на Perl http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/ Профессиональный парсинг/граббинг/сбор информации Mon, 06 Feb 2012 01:40:52 +0000 http://wordpress.org/?v=2.2.3 От: nagual http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3848 nagual Tue, 06 Jul 2010 19:12:07 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3848 Как заставить перл освобождать память занятую отработавшими тредами? Как заставить перл освобождать память занятую отработавшими тредами?

]]> От: admin http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3161 admin Wed, 05 Aug 2009 10:01:39 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3161 Согласен. Но это еще не повод, чтобы с ними не эксперементировать. Согласен. Но это еще не повод, чтобы с ними не эксперементировать.

]]> От: nagual http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3158 nagual Wed, 05 Aug 2009 09:51:28 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3158 Треды пока что нестабильны ... и на многих машинах перл собран без них так что и поэкспериментировать неполучится ... Треды пока что нестабильны … и на многих машинах перл собран без них так что и поэкспериментировать неполучится …

]]> От: admin http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3154 admin Wed, 05 Aug 2009 09:25:35 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3154 Помогает. Но каждую задачу можно решить как минимум двумя путями. Вы назвали второй, я - первый ;) Помогает. Но каждую задачу можно решить как минимум двумя путями. Вы назвали второй, я - первый ;)

]]> От: nagual http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3140 nagual Tue, 28 Jul 2009 13:41:11 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3140 А что РОЕ непомогает? и без всяких тредов ... А что РОЕ непомогает? и без всяких тредов …

]]> От: admin http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3073 admin Tue, 26 May 2009 16:29:57 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3073 У каждого процесса есть свой pid (process id), а у потока - нет. Поэтому любое приложение порождающее процессы называется многопроцесовым, а не многопоточным. И это даже близко не эмуляция многопоточности. У каждого процесса есть свой pid (process id), а у потока - нет. Поэтому любое приложение порождающее процессы называется многопроцесовым, а не многопоточным. И это даже близко не эмуляция многопоточности.

]]> От: Гвоздь http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3072 Гвоздь Tue, 26 May 2009 16:18:59 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3072 >>> У пхп нет нормального механизма реализации многопоточности, кроме всяких хитростей наподобии неблокирующих сокетов и т.п. >>> неблокирующие сокеты и multiCURL это только для запросов. с их же помощью можно создать новый процесс скрипта, что является продолжением темы многопоточности это из того, что имеет распространение. вроде есть еще пара методов, но они малораспространены и для их работы нужно поднимать VPS, потому что они являются каким-то довольно нестандартным расиширением. по крайней мере бинарников под венды в архиве PHP нету для дела парсинга этих эмуляций многопоточности вполне достаточно, ИМХО >>>
У пхп нет нормального механизма реализации многопоточности, кроме всяких хитростей наподобии неблокирующих сокетов и т.п.
>>>
неблокирующие сокеты и multiCURL
это только для запросов. с их же помощью можно создать новый процесс скрипта, что является продолжением темы многопоточности
это из того, что имеет распространение.
вроде есть еще пара методов, но они малораспространены и для их работы нужно поднимать VPS, потому что они являются каким-то довольно нестандартным расиширением. по крайней мере бинарников под венды в архиве PHP нету

для дела парсинга этих эмуляций многопоточности вполне достаточно, ИМХО

]]> От: admin http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3069 admin Tue, 26 May 2009 15:38:15 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3069 У пхп нет нормального механизма реализации многопоточности, кроме всяких хитростей наподобии неблокирующих сокетов и т.п. По поводу скорости я с вами согласен. Все быстро можно сделать на пхп и еще раз повторяю, что этот скрипт на перл был закинут просто для затравки и не более ;) У пхп нет нормального механизма реализации многопоточности, кроме всяких хитростей наподобии неблокирующих сокетов и т.п.
По поводу скорости я с вами согласен. Все быстро можно сделать на пхп и еще раз повторяю, что этот скрипт на перл был закинут просто для затравки и не более ;)

]]> От: admin http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3062 admin Tue, 26 May 2009 15:14:39 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3062 Выше в комментах есть подсказки на решение. Выше в комментах есть подсказки на решение.

]]> От: Гвоздь http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3056 Гвоздь Mon, 25 May 2009 21:09:47 +0000 http://www.parse.com.ua/2008/01/26/mnogopotochnyj-parser-tic-na-perl/#comment-3056 >>>>> На моем компе проверку 100 URL он произвел за 220 секунду, то есть по 2 секунды на адрес - ОЧЕНЬ МЕДЛЕННО! >>>>> а почему так медленно-то? я не так давно писал на PHP многопоточный парсер ТИЦ и ЯК работал он в 100 потоков на моей машине эта куча отрабатывала менее чем за 7 секунд, гарантировано. на хостинге за 0.1-0.2 секунды в среднем, а то и сотые секунды из-за большого выставленного таймаута, один поток мог затормозить процесс до 3секунд на 100 URL-ов что замечательно, что этот URL для чекинга не банится яндексом, по количеству запросов. >>>>>
На моем компе проверку 100 URL он произвел за 220 секунду, то есть по 2 секунды на адрес - ОЧЕНЬ МЕДЛЕННО!
>>>>>
а почему так медленно-то?
я не так давно писал на PHP многопоточный парсер ТИЦ и ЯК
работал он в 100 потоков
на моей машине эта куча отрабатывала менее чем за 7 секунд, гарантировано.
на хостинге за 0.1-0.2 секунды в среднем, а то и сотые секунды
из-за большого выставленного таймаута, один поток мог затормозить процесс до 3секунд на 100 URL-ов
что замечательно, что этот URL для чекинга не банится яндексом, по количеству запросов.

]]>