http://www.parse.com.ua/2008/01/25/uvelichivaem-otkazoustojchivost-parsingagrabbinga/ Профессиональный парсинг/граббинг/сбор информации Fri, 10 Sep 2010 01:33:09 +0000 http://wordpress.org/?v=2.2.3 http://www.parse.com.ua/2008/01/25/uvelichivaem-otkazoustojchivost-parsingagrabbinga/#comment-91 admin Sat, 26 Jan 2008 08:16:07 +0000 http://www.parse.com.ua/2008/01/25/uvelichivaem-otkazoustojchivost-parsingagrabbinga/#comment-91 Об этом вы не должны беспокоиться. Потому что по завершении сбора вы можете выгрузить дамп при помощи команды: mysql params < dump_file.sql которая сама возмет на себя ответственность по распределению нагрузки. Я выгружая даже дампы по 200-300 метров еще не разу не замечал, чтобы сервак падал. Об этом вы не должны беспокоиться. Потому что по завершении сбора вы можете выгрузить дамп при помощи команды:
mysql params < dump_file.sql
которая сама возмет на себя ответственность по распределению нагрузки. Я выгружая даже дампы по 200-300 метров еще не разу не замечал, чтобы сервак падал.

]]> http://www.parse.com.ua/2008/01/25/uvelichivaem-otkazoustojchivost-parsingagrabbinga/#comment-90 ACID Jesus Sat, 26 Jan 2008 07:51:44 +0000 http://www.parse.com.ua/2008/01/25/uvelichivaem-otkazoustojchivost-parsingagrabbinga/#comment-90 "проще всего всю информацию записывать в CSV или SQL dump файл, а по окончании парсинга одним запросом выгружать это в БД" - главное осталось не положить мускул в этот момент этим одним мегазапросом/пачкой запросов 8-) “проще всего всю информацию записывать в CSV или SQL dump файл, а по окончании парсинга одним запросом выгружать это в БД” - главное осталось не положить мускул в этот момент этим одним мегазапросом/пачкой запросов

]]>