Citar:
¿que tipos de datos aparecen duplicados? ¿imagenes, direcciones url?
Si fueran imágenes podías hacer alguna subrutina que comprobara el tamaño, nombre, para encontrarlas. Y comprobarlo a la vez que se meta el dato (este método seria lento, porque lo haría cada vez que metas un dato), o cuando hayáis metidos muchos datos, y que os diera un listado de "posibles" duplicados, para su revisión
Saludos