À Jussieu, InteractOR transforme les instruments chirurgicaux en commandes d’écran

En chirurgie mini-invasive, regarder une IRM ou un scanner pendant l’intervention pose un problème assez banal pour être facilement oublié : les deux mains du chirurgien sont déjà occupées. Il faut alors déléguer la manipulation des images ou quitter momentanément le geste opératoire pour utiliser une interface. À Jussieu, InteractOR cherche à supprimer ce détour en transformant les instruments chirurgicaux eux-mêmes en commandes d’écran.

Le logiciel, développé à l’Institut des systèmes intelligents et de robotique (ISIR) de Sorbonne Université avec des chercheurs également rattachés au LIP6, analyse en temps réel la vidéo de l’endoscope. Il y repère les instruments et reconnaît certains gestes, notamment le mouvement d’une pince. Le chirurgien peut ainsi naviguer dans des images préopératoires superposées au flux vidéo sans saisir une souris ni ajouter une nouvelle manette.

Le principe a déjà été évalué expérimentalement auprès d’utilisateurs. Un travail présenté à la conférence internationale CHI 2026 a d’abord interrogé 23 participants sur leurs besoins au bloc, puis organisé des ateliers de conception avec dix personnes. Une comparaison expérimentale auprès de douze participants a ensuite opposé l’interaction par instruments à la délégation. Les chercheurs observent moins de changements de regard avec leur interface. Une seconde publication, parue en août dans Healthcare Technology Letters, décrit le système de segmentation des instruments et conclut à la faisabilité de l’approche.

Ces résultats situent aussi clairement InteractOR sur l’échelle de maturité. Les expériences montrent qu’une interface de ce type peut fonctionner et être manipulée par des utilisateurs. Elles ne démontrent pas encore qu’elle améliore les résultats d’une opération sur des patients ni qu’elle est prête à équiper couramment les blocs. Sorbonne Université avance un passage de dix minutes à moins d’une minute pour accéder à l’imagerie, mais ce chiffre n’est pas établi comme une performance clinique par les publications consultées.

Le prix i-PhD obtenu le 16 septembre correspond surtout à une nouvelle étape de transfert. Ce concours de l’État accompagne pendant un an de jeunes chercheurs qui cherchent à transformer leurs travaux en entreprise technologique. Le Réseau SATT référence le projet sous le nom « InteractOR - Plunia », avec Nour Karoui et la SATT Lutech.

À Paris, des compétences en interaction homme-machine, vision artificielle et chirurgie assistée convergent ainsi vers un problème minuscule en apparence : éviter qu’un écran supplémentaire complique encore le travail au bloc. InteractOR a montré que l’instrument pouvait devenir l’interface. Le passage suivant sera d’en démontrer la robustesse dans les conditions d’une intervention réelle.