Ärzte im OP, Bild: Trivisio

Die Soft- und Hardware des 3D-Arile-Systems im klinischen Live-Test im Universitätsklinikum Essen. Bild: Trivisio

Trotz neuer Erkenntnisse in der Medizin ist es für Ärzte während einer Operation noch immer problematisch, die exakte Lage von Metastasen auszumachen und zu erkennen, ob tatsächlich der befallene Lymphknoten vollständig entfernt wurde. Mit 3D-Arile liefern Forscher des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD den Medizinern eine Navigationshilfe für das Entfernen der Knoten. Bei dem Projekt kooperieren die Darmstädter Wissenschaftler mit der Dermatologie der Universitätsklinik Essen und Trivisio Prototyping.

Das neuartige Augmented-Reality-System in Form einer Datenbrille unterstützt Ärzte mithilfe von Markierungen beim Lokalisieren der Lymphknoten. Das Besondere: Die AR-Brille funktioniert in Kombination mit einer leistungsstarken Software zur medizinischen Navigation, mit einem Stereosystem aus Nahinfrarotkameras (NIR) und dem Fluoreszenzfarbstoff Indocyaningrün (ICG).

"Um den betroffenen Lymphknoten sichtbar zu machen, wird dem Patienten ein Fluoreszenzfarbstoff in die direkte Umgebung des Tumors gespritzt, der sich über die Lymphbahnen verteilt und im Wächterlymphknoten sammelt", erklärt Dr. Stefan Wesarg, Wissenschaftler am Fraunhofer IGD. Infrarotlicht regt den Farbstoff zur Fluoreszenz an. Hierfür kommen Infrarot-LEDs zum Einsatz. Die NIR-Kameras erfassen die Fluoreszenz und rekonstruieren den betroffenen Lymphknoten in 3D. Dessen Position wird dem Arzt in Echtzeit ortsgenau in der Datenbrille eingeblendet. Die dafür erforderliche Software ist eine Entwicklung der Darmstädter Forscher. "In unserem Fall ist das erkrankte Gewebe grün dargestellt. Der Arzt kann durch die Einfärbung feststellen, ob er tatsächlich alles Nötige herausgeschnitten hat."

Datenbrille ist große Erleichterung

AR-Bild in Datenbrille, Bild: Fraunhofer IGD
Die exakte Position des Lymphknotens wird dem Arzt während der Operation über eine Augmented-Reality-Brille eingeblendet. Bild: Fraunhofer IGD

Die Datenbrille blendet den befallenen Knoten sofort ein – eine große Erleichterung für den Operateur, der nicht auf einen zusätzlichen Monitor schauen und die Darstellung am Bildschirm mit dem Kamerabild abgleichen muss. "Der Arzt kann sich ganz auf den Patienten konzentrieren und so stressfreier operieren", sagt Wesarg.

Ein weiterer Vorteil: Die AR-Brille ist sehr leicht und zeichnet sich durch einen hohen Tragekomfort aus, wie die Ärzte der Dermatologie der Universitätsklinik Essen nach zahlreichen Tests bestätigten. Alle Projektpartner waren bei der Entwicklung des Systems im engen Austausch, um die Navigationshilfe optimal an die Bedürfnisse des Operateurs anzupassen.

VR & AR Visualisierung: ke NEXT TV bei Machineering

Kombination aus Hard- und Software

Das Augmented-Reality-System ist eine Kombination aus Hard- und Software. Die Hardware wurde von Trivisio Prototyping entwickelt. Dazu gehören neben der speziell für den medizinischen Einsatz konstruierten Datenbrille mit integrierter Kamera und zwei Displays zudem zwei Infrarot- sowie zwei visuelle Kameras. Diese vier Optiken sind in einem Würfel untergebracht, der sich während der Operation über dem Patienten befindet.

Für die Entwicklung der Software waren die Forscher vom Fraunhofer IGD verantwortlich: Sie umfasst unter anderem eine Bildverarbeitung, das System detektiert die fluoreszierenden Lymphknoten, berechnet daraus deren 3D-Position und blendet diese in der Datenbrille ein. Die dafür nötige Kalibrierung des Hardwaresystems wird ebenfalls mithilfe der Software durchgeführt. Ausgeklügelte Algorithmen berechnen Daten, die aus den Kamerabildern extrahiert werden. Die komplette Hardware lässt sich über 3D-Arile steuern. Zudem umfasst das System das User-Interface für den operierenden Arzt. hei

Die Forscher präsentieren einen Prototyp von 3D-Arile vom 13. bis 16. November auf der Messe Medica in Düsseldorf (Halle 10, Stand G05/H04).