Image clonées et synchronisation

[skurty]

Merci pour cette longue et complète explication !

Je viens d'essayer le workflow que tu préconisais en enlevant la synchronisation avec Synology Cloud Station. Sur l'un de mes PC, je suis sous Ubuntu et j'accède à mon NAS via un partage Webdav avec davfs2 en passant par internet. Mais le partage webdav semble être vraiment lent et l'importation des fichiers prend énormément de temps (plus de 20 min pour 240 fichiers). Je vais essayer de voir  comment améliorer ça.

Edit : je viens d'essayer en FTP (il faudra que je passe en SFTP après) mais ça semble déjà plus rapide que Webdav, est-ce la meilleure solution pour accéder au fichiers de mon NAS en WAN ?

[aurelienpierre]

WebDAV, Samba, FTP… la meilleure façon, c'est celle qui marche ;-) sFTP n'apportera pas grand chose si tu es sur ton réseau domestique.

Ton WebDAV lent, il passe par le réseau local (IP du style 192.168.x.X) ou il sort par internet (genre en passant par un DNS) ? Il n'y a pas de raison pour que ça soit plus lent qu'un autre protocole, c'est la vitesse du réseau qui limite. À moins que la lib davfs2 soit bugguée.

[skurty]

Sur mon réseau local, j'utilise Samba sans aucun problème de performances donc la question du protocole ne se pose pas vraiment.

Par contre en passant par internet (si je travaille à l'extérieur de mon domicile), j'ai des lenteurs avec davfs2 parce qu'il y avait déjà une différence de vitesse en parcourant un dossier monté avec davfs2 et via l'option "Connexion à un serveur" d'Ubuntu.

Je viens d'essayer en SFTP et cela a pris environ 6 min pour importer 3000 fichiers dans la bibliothèque et 4 min pour copier localement 120 images, c'est déjà mieux

Je verrai à l'usage si ce protocole me convient

[skurty]

Après quelques essais, je trouve le montage du NAS en disque réseau trop contraignant :
- performances assez mauvaises, il faut pas mal de temps pour importer, afficher les miniatures et copier les raw localement
- les fichiers ne sont pas en local donc pas très pratique pour les ouvrir dans gimp par exemple (j'ai aussi des JPEG)
- cela ne résout pas mon problème initial de clones

En relisant tes explications, j'ai l'impression d'avoir mal formulé ma façon de fonctionner avec le NAS. J'indiquais utiliser Synology Cloud Station pour synchroniser mes fichiers ce qui implique que tous les fichiers passent par le NAS. Le partage de fichiers reste donc centralisé (comme Git/SVN) mais j'ai les copies des fichiers sur chacun de mes PC.

Ceci étant, mon problème de clones reste présent et est indépendant de la méthode de synchronisation ou l'utilisation de copies locales. Pour preuve, si tu crées des clones manuellement en ajoutant des fichiers XXX_01.xmp, XXX_02.xmp à la main avec le contenu du fichier xmp original, darktable ne les détecte pas (même avec l'option de relecture des xmp au démarrage), ce qui est normal puisque ce sont des fichiers séparés. Il n'y a donc que la base de données qui pourrait être au courant d'un quelconque clone et le fait d'utiliser des copies locales ne change pas le problème.

Et comme partager une base de données est n'est pas envisageable (problèmes de corruption et différences entre les systèmes d'exploitation), je ne vois pas trop comment darktable peut détecter des clones créés sur un autre PC

[aurelienpierre]

Là je sais pas trop quoi te dire. Le processus de travail avec les copies locales marche très bien quand tu passes par un disque dur externe et que tu veux embarquer des photos à retoucher en déplacement sur ton portable. C'est surtout pour ça que ça avait été pensé.

Je sais que Pascal Obry utilise un NAS pour ses photos, il faudrait voir comment il se débrouille.

Sinon, investiguer sur les causes de la lenteur des accès au NAS… Ce n'est pas normal que ça soit si lent en réseau local.

[skurty]

Voici le test que j'ai fait en utilisant le NAS en disque réseau et les copies locales mais où le problème de clone est toujours présent :

PC A :
- monter le NAS comme disque réseau
- lancer darktable et importer un dossier du NAS contenant un fichier RAW

PC B :
- monter le NAS comme disque réseau
- lancer darktable et importer le dossier du NAS
- fermer darktable

PC A :
- faire une copie locale du RAW
- cloner l'image
- modifier l'image
- modifier le clone
- resynchroniser les copies locales des 2 images

PC B :
- lancer darktable
- accepter les changements du fichier XMP
=> le fichier RAW est bien présent avec les modifications effectuées mais le clone n'est pas là
=> même en réimportant le dossier du NAS, le clone n'est pas affiché dans darktable

Sur un 3ème ordinateur, j'ai essayé d'importer le dossier pour la première fois et le fichier RAW et son clone sont bien affichés dans darktable.

Pour ces tests, il n'y avait aucune configuration de darktable (dossiers .config/darktable ou AppData/Local/darktable supprimés) et l'option de relecture des XMP était bien activée.

Il y a donc bien un problème au niveau des images clonées sur d'autres machines avec la base de données de darktable qui n'arrive pas à détecter de nouveaux clones. Le seul cas où le clone est bien détecté c'est avec une nouvelle bdd et un import du dossier.

[skurty]

Petite rectification : en important de nouveau un dossier, les clones créés sont bien détectés mais si l'on supprime un clone sur le PC A, le PC B va toujours garder le clone dans sa bibliothèque même si le fichier XMP n'existe plus. Le plus drôle c'est qu'en faisant une copie locale et une resynchronisation de la copie locale, il va recréer le fichier XMP