Un problème récurrent en recherche est le manque de reproductibilité des travaux effectués. Les travaux dont on n’arrive pas à reproduire les résultats publiés freinent la recherche : on ne peut pas comparer de nouvelles approches aux résultats publiés, on ne peut chercher à améliorer une méthode dont les résultats sont incertains, et des doutes s’installent sur ces travaux. En recherche informatique, un outil qui améliore très sensiblement la reproductibilité est la mise à disposition du code source du programme ayant servi à produire les données de la publication (des images, des graphes, des temps de calcul etc.). Cependant, le partage de codes sources n’est pas systématique, voire n’est pas même la norme.
 
A travers l’analyse de 152 codes sources issus de 374 publications acceptées aux éditions précédentes de la conférence phare SIGGRAPH, en 2014, 2016 et 2018, ces chercheurs ont analysé l’état des lieux de la reproductibilité en informatique graphique. Ils ont notamment essayé de compiler, exécuter et reproduire les résultats de ces publications tout en notant la procédure suivie pour faire fonctionner ces codes (impliquant du débogage, mises à jour etc.). Le fruit de ces investigations est un site web compilant ces observations, ouvert à la communauté afin de permettre l’ajout de nouvelles contributions : https://replicability.graphics
 
La tendance générale est à l’amélioration.
Une première observation est qu’au fil des années, les chercheurs ont tendance à partager davantage leurs codes, allant d’un taux de partage de moins de 30% en 2014 à plus de 50% en 2018. De fortes disparités sont observées entre les différentes sous-communautés de l’informatique graphique -- environ 17% de partage pour les spécialistes de la fabrication (imprimantes 3d, design de systèmes optiques, etc.), domaine dont les contributions sont souvent technologiques, à près de 60% pour les spécialistes de l’image (traitement d’images et de vidéos, photographie algorithmique, etc.). Les auteurs académiques partagent un peu plus facilement leurs codes que les industriels. Par ailleurs, les publications dont le code est disponible sont souvent plus citées, avec +56% de citations pour les publications 2014.
 
Il ne suffit pas de partager le code pour que le travail soit reproductible.
Près de la moitié des codes sources ont dû être modifiés pour être compilés. Parmi les problèmes récurrents, on notera le manque de documentation, de données, et de mention explicite de la version des librairies dont dépend le code. Parfois, les résultats sont produits dans un format obscur (jusqu’à devoir développer des outils pour pouvoir les lire). L’évolution rapide du matériel informatique (notamment les cartes graphiques) et des librairies (notamment en Deep Learning) peuvent rendre la compilation de codes anciens difficiles.
 
Ces chercheurs espèrent que cette analyse renforcera le partage de code au sein de l’informatique graphique, mais aussi améliorera les pratiques afin de rendre les codes diffusés plus utilisables.