Wie 3D-Scanning die 3D-Simulation für den Einsatz von Endoskopierobotern verbessert
Eine Forschungsgruppe im Bereich Biomedizintechnik an der Boğaziçi-Universität in Istanbul, Türkei, setzte EinScan Pro 2X ein, um Därme für 3D-Simulationen zu digitalisieren. Biomedizinische Technik befasst sich mit der Anwendung von Ingenieurtechnik und wissenschaftlichen Methoden zur Analyse biologischer, physiologischer und gesundheitlicher Probleme.
Ziel des Instituts ist es, eine spezialisierte akademische Ausbildung und eine Infrastruktur für Forschungsmöglichkeiten für Doktoranden in bestimmten Bereichen der Biomedizinischen Technik zu bieten.
Zu den aktuellen Forschungsbereichen in den Labors des Instituts gehören biomedizinische Instrumentierung und Bioelektronik, Biomechanik, Neurosignalanalyse, Biophotonik, medizinische Bildgebung, zelluläre Bildgebung und Elektrophysiologie, Robotik, Entwurf und Prüfung medizinischer Geräte und Psychophysik.
Dr. Mehmet Turan hat im Rahmen des TÜBİTAK 2232 International Fellowship for Outstanding Researchers Program neue Mittel für seine Arbeit am Institut erhalten. Das Projekt trägt den Titel “Magnetically Actuated Al-Powered Endoscopic Capsule Robot for Targeted Drug Delivery and Multiple Biopsy Operations”.
Das Projekt zielt darauf ab, wichtige wissenschaftliche und technologische Innovationen im Bereich der Mechatronik, der magnetischen Fernsteuerung sowie der Lokalisierungs- und Kartierungsalgorithmen für kabellose Kapselendoskoproboter (WCE) unter Verwendung der jüngsten Fortschritte in der künstlichen Intelligenz zu entwickeln. Deep-Learning-Techniken sind vielversprechend, um die Rekonstruktion der dichten Topografie und die Posenschätzung sowie die gleichzeitige Lokalisierung und Kartierung (SLAM) zu verbessern. Die derzeit verfügbaren Datensätze ermöglichen kein effektives quantitatives Benchmarking. In diesem Projekt wird ein umfassender endoskopischer SLAM-Datensatz vorgestellt, der sowohl Kapsel- als auch Standardendoskopieaufnahmen enthält. Ein Panda-Roboterarm, EinScan Pro 2X, zwei verschiedene handelsübliche Kapselendoskope mit unterschiedlichen Kameraeigenschaften und zwei verschiedene konventionelle Endoskopiekameras wurden eingesetzt, um Daten von acht ex-vivo Organen des Gastrointestinaltrakts (GI) von Schweinen zu sammeln.
Die Grundgeometrien der Organe wurden mit dem multifunktionalen 3D-Scanner EinScan Pro 2x erfasst. Die 3D-gescannten Modelle von sechs Organen sind auf Gerüsten befestigt, die in O-, Z- und L-Form geschnitten wurden, um den Weg des GI-Trakts durch den aufsteigenden Dickdarm zum querverlaufenden Dickdarm nachzuahmen. Die Sammlung von Punktwolkendaten von zwei Dickdärmen, einem Darm und drei Mägen von verschiedenen Personen macht den Datensatz geeignet für Transfer-Learning-Algorithmen. Außerdem kann die Leistung des Algorithmus auf Gewebe mit verschiedenen Texturdetails für denselben Organtyp getestet werden.
Da dies der erste Versuch mit einem Datensatz war, sah sich das Forschungsteam mit einigen Schwierigkeiten konfrontiert:
● Es war nicht möglich, kleine, helle und dunkle Bereiche ohne Marker zu scannen.
Antwort von SHINING 3D:
“Der Handheld-Modus funktioniert sehr gut für Objekte, die größer als 10 cm sind, während das Scannen kleinerer Objekte recht schwierig ist. Wir empfehlen den festen Scanmodus, mit dem Objektgrößen bis zu 2-3 cm erfasst werden können. Dieser Modus ist speziell für die Erfassung von kleinen Objekten konzipiert und liefert sehr gute Ergebnisse. Wenn Bereiche sehr dunkel sind, wird das Licht absorbiert. Die Helligkeit des Scanners kann erhöht werden, aber es kommt vor, dass der Scanner nichts “sieht”. Medizinisches Scanspray, wie es in der Zahnmedizin verwendet wird, kann dieses Problem lösen. Das Spray färbt die Bereiche weiß und macht sie so besser scanbar. Diese medizinischen Sprays sind weder schädlich noch giftig.”
● Um ein vollständiges 3D-Modell zu erhalten, mussten wir die Gerüste drehen, was manchmal zu Unregelmäßigkeiten bei der Positionierung der angrenzenden Flächen führte
Antwort von SHINING 3D:
“Beim Drehen von zu scannenden Objekten muss man sicherstellen, dass alle Teile des Objekts fixiert sind, da es sonst für die Software schwierig wird, die erfassten Daten zu erkennen und zusammenzufügen.”
Nachdem die Organe (Magen, Dickdarm und Dünndarm) in L-, O- und Z-Form genäht worden waren, begann das 3D-Scannen. Das Bild unten zeigt das Scannen eines Magens. Das Scannen erfolgte im handgeführten Schnellscan-Modus. Dazu wurde das Scannen an einer Ecke des Organs begonnen und bis zur letzten Ecke nebeneinander fortgesetzt. Der mittlere Bereich des Magens enthält die wichtigsten Strukturen. Daher musste die Helligkeit angepasst werden, um alle winzigen Details erfassen zu können. Die Helligkeit konnte leicht mit den Tasten + und – am 3D-Scanner eingestellt werden. Die Helligkeit wird oben auf dem linken kleinen Bildschirm angezeigt. Die rote Farbe ist eine Warnung, dass es zu hell ist, um den Scanvorgang fortzusetzen. Das Hauptaugenmerk lag jedoch auf der inneren Struktur des Magens, die auf dem Bildschirm grün dargestellt wird. Der EinScan Pro 2X Multifunctional Handheld 3D Scanner wurde verwendet, um die Oberfläche des Organs im Detail zu scannen. Der Magen hatte eine große Oberfläche, so dass er problemlos gescannt werden konnte. Der Dickdarm hingegen hatte eine kleine Fläche, und der weiße Hintergrund des Gerüsts erschwerte das Scannen. Daher verwendete das Forschungsteam Marker, um die Erfassung der Struktur zu erleichtern. Die Markierungen wurden dicht nebeneinander auf der weißen Oberfläche des Gerüsts angebracht. Im Allgemeinen hilft die Verwendung von Markierungen beim Scannen von Details in kleinen Bereichen.
Der Scanvorgang verlief bei allen Organen ähnlich. Das Team suchte nach einer Ecke, die der EinScan Pro 2X erkannte, und folgte den Anweisungen auf der Benutzeroberfläche.
Nachdem man mit der Abdeckung des gescannten Organs zufrieden war, wurde das Netzmodell erstellt. Bei der Nachbearbeitung wurden die Löcher im Netz mit der Anwendung zum automatischen Ausfüllen von Löchern gefüllt und die überflüssigen Bereiche mit der STRG + rechten Mausauswahl entfernt. Schließlich speicherte das Team das 3D-Modell in den Formaten .ply, .obj und .txt.
Die erfasste .ply-Datei wurde in Blender bearbeitet, um eine Heatmap zu erstellen und die Tiefenwerte der Modelle zu ermitteln.
Die endgültigen Scandaten wurden zu Trainingszwecken für Deep-Learning-Algorithmen verwendet. Der Deep-Learning-Trainingsprozess mit dem 3D-Scanmodell ist in der Abbildung unten dargestellt. Das Team der Boğaziçi-Universität verwendete die aufgenommenen Kapselendoskopie-Bilder als Input. Die Lokalisierung wurde mit Hilfe des 3D-Modells aus den Bildern bestimmt.
Ziel des Projekts war es, die Organstruktur bis ins kleinste Detail nachzubilden. Dies wurde mit dem EinScan Pro 2X Multifunctional Handheld 3D Scanner erfolgreich erreicht. Das Projektteam war in der Lage, alle Strukturen, Ecken und Tiefen mit hoher Präzision zu erfassen. Es gab keine wesentlichen Veränderungen gegenüber der ursprünglichen Struktur.
In einem früheren Forschungsprojekt wurde ein anderer 3D-Scanner verwendet. Dieser 3D-Scanner hatte ebenfalls gute Ergebnisse erzielt, aber es gab technische Unterschiede in der Auflösung und Punktgenauigkeit. Die Punktgenauigkeit war einer der wichtigsten Faktoren in unserem Projekt, um den Deep-Learning-Prozess zu erreichen. Deshalb entschied sich das Team, bei diesem Projekt auf die Kapazitäten des EinScan Pro 2X zu setzen.
Der multifunktionale 3D-Scanner EinScan Pro 2X erfüllte die Anforderungen des Forschungsteams der Boğaziçi Universität. SHINING 3D freut sich, interessante Scananwendungen zu unterstützen. Wenn Sie ein spannendes Projekt haben, kontaktieren Sie uns und wir werden die Möglichkeiten einer Zusammenarbeit mit Ihnen prüfen!
