VisiPics : Dédoublonnage d'images

Site Internet · de **Lightfox** » 03 Jan 2005, 17:21

Je ne sais pas pour les autres, mais moi, je suis impatient d'avoir la version finale! C'est vraiment un programme dont je rêve depuis des années ^^...je vais enfin pouvoir dire bye bye à tous mes doublons ^^

de **Ozone Griffox** » 04 Jan 2005, 09:51

La version BETA 1 de mon logiciel est disponible :

http://www.griffox.info/index/VisiPics-BETA1.exe (obsolète)

J'ai voulu sortir rapidement un produit efficace, donc attendez-vous à quelques manques en ergonomie et intuitivité. J'attends en particulier des retours sur :
- La stabilité du programme
- Le nombre d'images chargées par rapport au total dans votre disque
- La rapidité du chargement
- La rapidité de la comparaison
- L'efficacité de la reconnaissance de doublons
- Les choix proposés par l'Auto-Select

Et tout ce qui vous passe par la tête.
Je n'ai pas encore programmé la sauvegarde qui permettra de ne plus avoir à recharger les images à chaque fois. C'est encore à venir.

de **Ozone Griffox** » 04 Jan 2005, 10:44

Bugs reportés + corrections pour la beta 2:
- AutoSelect sélectionne parfois toutes les images d'un groupe / Corrigé
- Unselect plante parfois / Corrigé
- Retirer un répertoire de la liste avec << est très très lent / Corrigé
- Retirer un répertoire et le rajouter lorsque le moteur de chargement est arrêté ne le recharge pas / Corrigé
- Message d'erreur "Kernel32" en quittant l'application / Non reproduisible
- Le nom, taille et résolution d'un fichier débordent sur la droite en cas de chemin très long / Corrigé
- Il faudrait pouvoir empêcher un groupe "mauvais" d'être effacé par AutoSelect
- Le moteur de comparaison se plante parfois si on retire un répertoire / Corrigé
- Les images sélectionnées pour effacement le sont toujours après un changement du filtre, celle qui n'apparaissent pas à l'écran sont effacées aussi / Corrigé (celles qui ne sont pas à l'écran ne sont plus effacées)

de **VobE** » 04 Jan 2005, 13:08

Et bien mais c' est fort sympatique tout ca !
Je viens de faire un petit essai sur une partie de ma collec', 25000 images et 120 mo de ram uttilisée.
Le programme chargeait 10 a 40 images par secondes autour des 15000.
J' ai remarqué aussi que le truc le plus lent n' était pas la comparaison, (au debut, en tout cas), mais plutot la lecture des fichiers et les acces disque.

Pas de probleme majeur au niveau du filtre, il trouve parfois des ressemblances entre deux images qui n ont rien a voire, mais un pti coup de tweak et ca disparait.

Ca manque de bouton Cancel aussi.
Bon sinon c' est deja relativement rapide d autant plus que c est le genre de truc a lancer le soir pour avoir un resultat le lendemain matin ^^
Wala, c' etait mon humble avis sur la chose

PS : version linux un jour ?

de **Ozone Griffox** » 04 Jan 2005, 14:18

L'algorithme que j'ai programmé fait la comparaison en deux passes : une très rapide pour dégrossir et une plus sérieuse. Cela garantie une vitesse très impressionnante.

Le chargement est dépendant des DLLs ImageMagick, j'ai bien essayé de voir pour l'accelerer encore, mais il semble évidant que les objets Delphi ne sont pas fait pour le bidouillage bas niveau. Il serait possible de taper plus bas en passant par les Buffers système, mais autant faire confiance aux experts d'ImageMagick pour ça.

Tu dis que certaines images sont détectées et n'ont rien à voir ? Des en noir et blanc ? Pour les images en couleur je n'ai jamais vu de problème. Néanmoins J'ai quelques idées supplémentaires pour améliorer encore l'algorithme de comparaison, a suivre...

Pas besoin de bouton Cancel car en fait il suffit de retirer un répertoire avec "<<" pour annuler le chargement. Le programme garde les images déjà chargées en mémoire, ce qui permet de jongler avec les répertoires comme on veut (du moins dans la BETA 2, la 1 plante facilement encore).

Et Linux ? Bah pas moi, mais si un gars sérieux veut se le retaper sous Linux, je l'attends

de **Sundance** » 04 Jan 2005, 15:07

Ozone Griffox a écrit:L'algorithme que j'ai programmé fait la comparaison en deux passes : une très rapide pour dégrossir et une plus sérieuse. Cela garantie une vitesse très impressionnante.

Curiosité: c'est en quelle complexité, ton algorithme? O(n²)?

de **Ozone Griffox** » 04 Jan 2005, 15:25

Sundance a écrit:Curiosité: c'est en quelle complexité, ton algorithme? O(n²)?

C'est le même que j'avais dis il y a quelques jours à quelques détails près:
- Redimensionnant de l'image en 50x50
- Recalibration du contraste au maximum utilisable
- Passe 1 : 10 x 10 step 5
- Passe 2 : comparaison à plein potentiel

Mon idée c'est de revoir l'algo de recalibration du contraste de façon à ce qu'il soit fait par portion d'image. Ce que j'ai vu souvent qui pose problème, c'est une image très blanche dans l'ensemble mais avec un titre bien noir, ca casse mon algo de contraste et perturbe la comparaison.

de **Sundance** » 04 Jan 2005, 16:30

Ozone Griffox a écrit:C'est le même que j'avais dis il y a quelques jours...

Voué, mais ça ne répond pas à ma question, ça -- c'est l'algorithme de comparaison de deux images. Ma question portait sur la complexité algorithmique de tout le système, ce qui est une fonction du nombre d'image traitées. Si tu compares toutes les images deux à deux, c'est du O(n²) -- c'est-à-dire que le temps de calcul augmente avec le carré du nombre d'images à traiter. Est-ce que tu as trouvé une astuce pour rendre le traitement plus optimal?

de **Ozone Griffox** » 04 Jan 2005, 21:31

Pas d'astuces pour l'instant. Peut-être plus tard

de **Ozone Griffox** » 05 Jan 2005, 03:29

La version BETA 2 est dans les bacs (oui je sais, déjà, je bosse comme un fou, je dors pas, j'ai plus de vie, mais je m'amuse) :dance:

Surtout désinstallez les versions précédentes avant d'installer celle-ci :

http://www.griffox.info/index/VisiPics-BETA2.exe

Différences entre BETA 1 et BETA 2 :
- Fixed a crash in "Unselect"
- Fixed a crash in the comparison engine
- Fixed a bug in "AutoSelect" causing all pictures of a group being selected
- Fixed a thread sync problem while removing a directory
- Fixed a problem with files set for deletion not reseting correctly after a filter change
- Fixed a minor bug in the directory selection
- Fixed filename / size / resolution display so it is right-aligned
- Improved "Unselect" speed
- Improved greatly the graphical speed when a lots of groups exists
- Improved the Auto-Select algoryhtm
- Improved the comparison engine speed
- Improved the comparison algorythm
- Tuned the expert/default values for the new comparison algorythm
- Added more checks before sending files to trash bin
- Added a progress bar to the removing directory process
- Inversed in AutoSelect config "Filesize" and "Resolution" to fit the real algorythm

de **Ozone Griffox** » 06 Jan 2005, 13:02

J'ai trouvé une astuce pour rendre le traitement optimal. Dans la BETA 3 j'ai appliqué un nouveau type de filtre basé sur la couleur moyenne de toute l'image. Une comparaison des composantes R/V/B permet de trouver les images ayant une probabilité d'être identiques. Cela élimine en moyenne, sur la valeur "Normale", 90% des traitements (donc encore plus rapide, woot!)

Pour l'instant le filtre est appliqué sur la liste globale, mais avec un système de chaine et en additionnant des valeurs R/V/B, je devrais pouvoir limiter le scope de recherche aux images approchantes. Je suis incapable de faire le calcul mathématique, mais dans ma petite tête je pense que cela devrait encore éliminer 80% des recherches.

Le problème c'est que pour gérer la chaine, il faut scanner toutes les images une fois au chargement. Au final la comparaison sera extrêmement rapide, mais le chargement initial devra être encore un peu plus long.

On sent venir l'intérêt de la sauvegarde de la base de donnée...

de **bongawonga** » 06 Jan 2005, 16:58

Sympa comme idée d'application, en effet c'est tres interressant pour ceux qui ont d'enorme galerie d'image télécharger
mais chez moi (avec win2000Pro) l'application affiche un mesage erreur desque j'essaye de faire qoique ce soit

au démarrage il affiche

Code: Tout sélectionner: Access violation at adress 00000000. Read of adress 000000

puis un autre pas mal aussi

Code: Tout sélectionner: Access violation at adress 4784CE in module "VisiPics.exe". Read of adress 00000044

et des que j'atouteun dossier j'ai droit à un

Code: Tout sélectionner: Access violation at adress 00478692 in module "VisiPics.exe". Read of adress 00000004

et quand je veut quitter 'application elle me dit sur un ton plutot insolant

Code: Tout sélectionner: Access violation at adress 0041B550 in module "VisiPics.exe". write of adress 0000000D

je trouve que ton application à un vocabulaire bien grossier, tu devrais lui apprends un minimum de savoir vivre!

Site Internet · de **Lightfox** » 06 Jan 2005, 19:44

Et bien moi avec Win XP home, ça marche nickel et sans accro (pour le moment...)! Sauf que bon, je ne pense pas que je vais un jour utiliser le sytème d'auto-select :p

de **Ozone Griffox** » 06 Jan 2005, 19:55

Bonga: c'est parce qu'il te manque une DLL, ce sera corrigé dans la version BETA 3. Si tu es pressé, tu peux télécharger le package : http://www.griffox.info/index/VisiPics-DebugDLLs.zip

Je suis en train de me battre contre certains bugs qui ne se produisent que très rarements. L'enfer...

LightFox: L'autoselect n'efface rien, il ne fait qu'une proposition des images les plus aptes a être supprimées. Je vais l'améliorer de toute facon, mais si tu as des idées, je suis preneur.

Site Internet · de **Lightfox** » 06 Jan 2005, 22:22

Ne t'inquière pas, j'avais compris tout de suite que l'auto selcet n'efface rien mais fait une selection automatique...seulemeny, elle ne me convient généralement pas (mais bon, je n'ai pas essayé les règlages à fond).

VisiPics : Dédoublonnage d'images

Calendar