Комментарии на запись: Обнаружение и удаление дублирующихся записей

От: admin

admin — Sun, 14 Jun 2009 12:13:47 +0000

Кстати, классное решение на особо задубленных базах. Сейчас реализую его в своем чистильщике. Спасибо!

От: Гвоздь

Гвоздь — Sat, 13 Jun 2009 17:52:30 +0000

я бы предожил бы первый код сократить до нижеследующего вида
все запросы по удалению dub-1 записи мы объединили в один
выигрыш производительности
PS спасибо за статью. оказалась полезной для меня
$query=’SELECT COUNT(*) AS dub, region, job_group, job_mask, job_info
FROM work GROUP BY region, job_group, job_mask, job_info HAVING dub>1′;
$res=$db->query($query);
if(!$res) {
echo $db->error();
} else {
while($row=$db->fetchAssoc($res)) {
$region=$row[’region’];
$job_mask=$row[’job_mask’];
$job_group=$row[’job_group’];
$job_info=$row[’job_info’];
$dub=$row[’dub’];

$query=”DELETE FROM work
WHERE region=’$region’ AND job_mask=’$job_mask’
AND job_group=’$job_group’ AND job_info=’$job_info’ LIMIT “.($dub-1);

$result=$db->query($query);
}
}

От: admin

admin — Thu, 26 Jun 2008 09:17:57 +0000

2 таблицы - не очень удобно. Но я думаю, что быстрее будет, чем тот скрипт, что предоставил я.
Я уже когда-то пробовал мастерить с двумя таблицами, но к сожалению постоянно надо контроллировать этот процесс, что не очень удобно. Со скриптом же все проще - врубил и можешь идти пить чай.

От: M.C.A.U.

M.C.A.U. — Mon, 23 Jun 2008 12:28:30 +0000

- работает если запустить один раз.
если повторно запускать, то нужно вначале проверить не пуста ли таблица “tmp”, иначе он сотрет все из `work`

От: M.C.A.U.

M.C.A.U. — Mon, 23 Jun 2008 12:20:58 +0000

немного извращенный вариант

CREATE TEMPORARY TABLE `tmp` SELECT `ID` FROM `work` GROUP BY `region`, `job_group`, `job_mask`, `job_info` HAVING COUNT(*)>1;
DELETE FROM `work` WHERE `ID` NOT IN (SELECT `ID` FROM `tmp`);
DROP TABLE `tmp`;