Problème de perf à l'export de raw vers jpeg

[pascal]

Ah oui c'est vraiment beaucoup plus lent As-tu essayé sans OpenCL ?

[Jean-Francois]

Ah oui c'est vraiment beaucoup plus lent As-tu essayé sans OpenCL ?

Oui, ça ne change rien.
Ce qui est vraiment bizarre c'est qu'au moment où je lance l'export, pendant 2s je vois tous les CPU chargés puis, ça retombe et ça reste comme ça jusqu'à la fin.

[pascal]

As-tu essayé de supprimer (tu fasi un backup bien entendu) le fichier ~/.config/darktable/darktablerc et de faire des exports?

[Jean-Francois]

As-tu essayé de supprimer (tu fasi un backup bien entendu) le fichier ~/.config/darktable/darktablerc et de faire des exports?

Ça ne change rien

[nicoauffray]

Au vu des écarts de perfs énormes, mon intuition (elle vaut ce qu'elle vaut !) me dit que ça vient probablement plus du système que de darktable. Peut-être un pilote, une version de noyau qui n'aide pas. J'ai souvenir d'avoir eu un gain de performances très notable sur darktable (et pas que) il y a quoi 1 an et demi de ça je crois, rien qu'en changeant de version du noyau Linux. Ca n'est peut-être pas ça mais a voir. Ou alors la gestion de la régulation du processeur qui merde dès que ça monte dans les tours.

As-tu d'autres logiciels gourmands (au moins autant que darktable) que tu utilises ? Peut-être qu'il faut creuser sur la gestion du processeur. Je ne sais pas quel environnement bureau tu utilises mais sous Gnome, j'ai déjà utilisé l'extension cpufreq qui permet de gérer/suivre la gestion de la régulation et usage du processeur.

C'est un peu technique mais au cas où :

- https://www.deltasight.fr/processeurs-ge...frequence/
- https://grawok.wordpress.com/2012/08/14/...selection/

Et l'extension Gnome cpufreq : https://extensions.gnome.org/extension/1082/cpufreq/

[Jean-Francois]

J'utilise Cinnamon comme environnement, mais j'ai aussi essayé depuis i3 et le résultat est le même.

J'ai lancé quelques tests Phoronix, des compilations, des découpes d'objets complexes avec Cura et à chaque fois je vois bien les cpu se charger (surveillés avec l'applet Cinnamon et htop).
Donc au niveau système justement ça semble bien se passer.

[pascal]

As-tu essayé de regarder ce que donnait les logs de console avec l'option :

Code :

-d perf

de darktable pendant l'export ?

---

Une autre chose à tester, as-tu les mêmes problèmes de performance si tu exportes en TIFF, WebP,... ?

[Jean-Francois]

Les exports en jpeg2k sont beaucoup plus rapides, mais les tiff c'est 10mn par fichier.

Et voilà les perf pour l'export de 2 images en jpeg :

╰─>$ darktable -d perf
22,836092 [dev] took 0,184 secs (0,147 CPU) to load the image.
22,927108 [export] creating pixelpipe took 0,075 secs (0,256 CPU)
22,940870 [dev_pixelpipe] took 0,013 secs (0,062 CPU) initing base buffer [export]
22,968925 [dev_pixelpipe] took 0,028 secs (0,002 CPU) processed `point noir/blanc raw' on GPU, blended on GPU [export]
22,974746 [dev_pixelpipe] took 0,006 secs (0,000 CPU) processed `balance des blancs' on GPU, blended on GPU [export]
22,977825 [dev_pixelpipe] took 0,003 secs (0,000 CPU) processed `reconstruire hautes lumières' on GPU, blended on GPU [export]
23,015248 [dev_pixelpipe] took 0,037 secs (0,000 CPU) processed `dématriçage' on GPU, blended on GPU [export]
23,020685 [dev_pixelpipe] took 0,005 secs (0,000 CPU) processed `exposition' on GPU, blended on GPU [export]
23,288589 [dev_pixelpipe] took 0,268 secs (0,899 CPU) processed `correction des objectifs' on GPU, blended on GPU [export]
23,294600 [dev_pixelpipe] took 0,006 secs (0,000 CPU) processed `courbe de base' on GPU, blended on GPU [export]
23,300638 [dev_pixelpipe] took 0,006 secs (0,000 CPU) processed `profil de couleur d'entrée' on GPU, blended on GPU [export]
23,358987 [dev_pixelpipe] took 0,058 secs (0,000 CPU) processed `ombres et hautes lumières' on GPU, blended on GPU [export]
23,369073 [dev_pixelpipe] took 0,010 secs (0,000 CPU) processed `profil de couleur de sortie' on GPU, blended on GPU [export]
23,604592 [dev_pixelpipe] took 0,236 secs (0,472 CPU) processed `encodage écran' on CPU, blended on CPU [export]
23,604613 [dev_process_export] pixel pipeline processing took 0,677 secs (1,439 CPU)
[export_job] exported to `/NAS/photo/2021/07 Cap Coz/Concarneau/darktable_exported/5D3_1616.jpg'
248,955213 [dev] took 0,176 secs (0,129 CPU) to load the image.
249,031249 [export] creating pixelpipe took 0,069 secs (0,202 CPU)
249,044726 [dev_pixelpipe] took 0,013 secs (0,036 CPU) initing base buffer [export]
249,054966 [dev_pixelpipe] took 0,010 secs (0,001 CPU) processed `point noir/blanc raw' on GPU, blended on GPU [export]
249,057992 [dev_pixelpipe] took 0,003 secs (0,000 CPU) processed `balance des blancs' on GPU, blended on GPU [export]
249,060996 [dev_pixelpipe] took 0,003 secs (0,000 CPU) processed `reconstruire hautes lumières' on GPU, blended on GPU [export]
249,097031 [dev_pixelpipe] took 0,036 secs (0,001 CPU) processed `dématriçage' on GPU, blended on GPU [export]
249,102441 [dev_pixelpipe] took 0,005 secs (0,000 CPU) processed `exposition' on GPU, blended on GPU [export]
249,338111 [dev_pixelpipe] took 0,236 secs (0,694 CPU) processed `correction des objectifs' on GPU, blended on GPU [export]
249,346318 [dev_pixelpipe] took 0,008 secs (0,000 CPU) processed `recadrer et pivoter' on GPU, blended on GPU [export]
249,352000 [dev_pixelpipe] took 0,006 secs (0,000 CPU) processed `courbe de base' on GPU, blended on GPU [export]
249,357809 [dev_pixelpipe] took 0,006 secs (0,000 CPU) processed `profil de couleur d'entrée' on GPU, blended on GPU [export]
249,407808 [dev_pixelpipe] took 0,050 secs (0,000 CPU) processed `ombres et hautes lumières' on GPU, blended on GPU [export]
249,423016 [dev_pixelpipe] took 0,015 secs (0,000 CPU) processed `renforcer la netteté' on GPU, blended on GPU [export]
249,433476 [dev_pixelpipe] took 0,010 secs (0,000 CPU) processed `profil de couleur de sortie' on GPU, blended on GPU [export]
249,556796 [dev_pixelpipe] took 0,123 secs (0,463 CPU) processed `encodage écran' on CPU, blended on CPU [export]
249,556814 [dev_process_export] pixel pipeline processing took 0,526 secs (1,198 CPU)
[export_job] exported to `/NAS/photo/2021/07 Cap Coz/Concarneau/darktable_exported/5D3_1617.jpg'

---

Je crois que j'ai compris.
C'est l'écriture sur le disque du NAS qui prend du temps. Je ne comprend pas bien pourquoi, vu que je travaille régulièrement dessus pour plein de choses, mais je vais creuser les paramètres de montage. Il doit y avoir quelque chose qui gène.

---

Je suis reparti des options de montage de base et ça marche.

En fait, j'avais bricolé les options de montage de mon NAS pour éviter que s'il est down ça bloque le démarrage de mon PC. Et j'ai du aller un peu loin...

Finalement avec "defaults,soft,timeo=200,bg" c'est bon. A voir maintenant si mon NAS est down ce qui se passera... Mais bon maintenant je sais qu'il faut que je teste darktable après chaque modif. :-)

Merci à tous pour votre aide.

[pascal]

Eh bien on aurait pas trouvé, mais la trace ci-dessus montre clairement que ce n'est pas la création du jpeg qui est lente !