3D 스캐닝이 내시경 로봇에 적용되는 3D 시뮬레이션을 향상시키는 방법

터키 이스탄불의 Boğaziçi 대학 생물의학 공학 분야 연구 그룹은 3D 시뮬레이션을 하기 위해 EinScan Pro 2X를 사용하여 장을 디지털화했습니다. 생명의학 공학은 생물학적, 생리학적, 헬스케어에서 나서는 문제를 분석하기 위한 공학 기술과 과학적 방법의 적용과 관련되어 있습니다.

연구소의 목표는 생물의학 공학 특정 분야의 대학원생들에게 전문 교육과 연구 기회 인프라를 제공하는 것입니다.

연구소의 현재 연구하고 있는 분야는 생물의학 기기와 생체 전자 공학, 생체 역학, 신경 신호 분석, 생체 광학, 의료 영상학, 세포 영상학, 전기 생리학, 로봇 공학, 의료기기 설계 및 테스트, 정신 물리학입니다.

Mehmet Turan박사는 국제 친선 TÜBİTAK 2232을 통해 우수 연구자 프로그램이 연구소에서 작업할 수 있는 새 자금을 지원받았습니다. 이 프로젝트의 이름은 ‘표적 약물 전달 및 다중 생체 검사를 위한 자기 작동식 AI-Powered 내시경 캡슐 로봇’입니다.

이 프로젝트는 최근 인공 지능의 발전을 이용하여 무선 캡슐 내시경(WCE) 로봇의 메카트로닉스 설계, 원격 자기 제어, 위치 파악 및 매핑 알고리즘에서 주요 과학기술을 혁신하는 것을 목표로 합니다. 딥 러닝 기술은 조밀한 지형 재구성 및 포즈 추정은 물론 동시 위치 파악 및 매핑(SLAM)을 개선할 것으로 뿐만 아니라 조밀한 지형 재구성 및 포즈 추정을 개선할 것으로 예상됩니다. 현재 사용 가능한 데이터 세트는 효과적인 양적 벤치마킹을 지원하지 않습니다. 이 프로젝트에서는 캡슐과 표준 내시경 기록을 포함하는 포괄적인 내시경 SLAM 데이터 세트가 도입되었습니다. Panda 로봇 팔과 EinScan Pro 2X, 그리고 서로 다른 카메라 특성을 가진 두 개의 상업 이용 가능한 캡슐 내시경 및 두 개의 기존 내시경 카메라를 사용하여 8개의 생체외 돼지 위장(GI) 기관에서 데이터를 수집했습니다.

장기의 실제 모형은 EinScan Pro 2X 다기능 3D 스캐너로 획득했습니다. 6개의 장기에 대해 얻은 3D 스캔 모델은 상행 결장을 통해 횡행 결장으로의 GI-관 경로를 모방하기 위해 O, Z, L 모양으로 절단된 지지대에 고정됩니다. 서로 다른 개체의 결장 2개와 소장 1개, 위장 3개에서 점군 데이터를 수집하여 전이 학습 알고리즘에 적합한 데이터 세트를 만듭니다. 또한 동일한 장기 유형에 대한 다양한 질감 세부 정보를 사용하여 조직에 대한 알고리즘 성능을 테스트할 수 있습니다.

데이터 세트 촬영의 첫 번째 시도였기 때문에 연구팀은 다음과 같은 문제에 직면했습니다.

• 마커가 없이 작고 밝고 어두운 영역을 스캔할 수 없습니다.

SHINING 3D의 답변:
“휴대용 모드는 10 cm보다 큰 물체는 잘 스캔하지만 작은 물체를 스캔하는 것은 상당히 어렵습니다. 최대 2-3 cm까지의 물체를 캡처할 수 있는 고정 스캔 모드를 권장합니다. 이 모드는 특히 작은 물체를 포착하도록 설계되어 있어 매우 좋은 결과를 제공합니다. 영역이 어두우면 빛이 흡수됩니다. 스캐너의 밝기를 높일 수 있지만 그러면 스캐너가 아무것도 “보이지” 않게 됩니다. 치과에서 사용되는 의료용 스캐닝 스프레이는 이 문제를 해결할 수 있습니다. 스프레이는 그 영역을 흰색으로 바꾸어 스캔하기 쉽게 만듭니다. 이 의료용 스프레이는 해롭지 않으며 독성이 없습니다.”

• 완전한 3D 모델을 얻기 위해 우리는 인접한 표면의 위치를 불규칙하게 만드는 지지대를 회전시켜야 했습니다.

SHINING 3D의 답변:
“스캔할 물체를 돌릴 때 물체의 모든 부분이 고정되어 있는지 확인해야 합니다. 그렇지 않으면 소프트웨어가 획득한 데이터를 감지하고 연결하는 것이 어려워지기 때문입니다.”

장기(위, 결장, 소장)를 L, O, Z 형태로 봉합한 후 3D 스캐닝이 시작되었습니다. 아래 사진은 위를 스캔하는 모습입니다. 스캔은 휴대용 고속 스캔 모드에서 수행되었습니다. 이를 위해 장기의 한 모서리에서 스캔을 시작하여 마지막 모서리까지 서로 나란히 스캔을 계속했습니다. 위의 중간 부분은 가장 중요한 구조를 가지고 있습니다. 따라서 모든 세부 사항을 캡처할 수 있도록 밝기를 조정해야 했습니다. 밝기는 3D 스캐너의 + 및 – 버튼 설정으로 쉽게 조정할 수 있습니다. 밝기는 왼쪽 작은 화면의 상단에 표시됩니다. 빨간색은 스캔 프로세스를 계속하기에는 너무 밝다는 경고입니다. 그러나 화면에서 녹색으로 표시되는 위장의 내부 구조에 중점을 두었습니다. EinScan Pro 2X 다기능 휴대용 3D 스캐너는 장기 표면을 자세히 스캔하는 데 사용되었습니다. 위는 표면이 넓어 문제 없이 스캔할 수 있었습니다. 반대로 결장은 면적이 작고 지지대의 배경이 흰색이어서 스캔이 어려웠습니다. 따라서 연구팀은 구조물의 캡처를 가능하게 하기 위해 마커를 사용했습니다. 마커는 지지대의 흰색 표면에 가까이 붙어있습니다. 일반적으로 마커를 사용하면 작은 영역의 세부를 스캔하는 데 도움이 됩니다.

모든 장기들의 스캐닝 과정은 유사했습니다. 팀은 EinScan Pro 2X가 인식하는 코너를 찾아 사용자 인터페이스의 지시를 따랐습니다.

스캔한 장기의 커버리지를 만족하게 진행한 후 메쉬 모델을 생성했습니다. 후처리 동안 메쉬의 구멍은 자동 구멍 채우기 애플리케이션으로 채워졌고 불필요한 영역은 CTRL + 오른쪽 마우스 선택으로 제거되었습니다. 마지막으로 팀은 3D 모델을 .ply과 .obj, .txt로 저장했습니다.

획득한 .ply 파일은 모델의 깊이 값을 얻기 위해 히트맵을 만드는 블렌더에서 편집되었습니다.

최종 스캔 데이터는 딥 러닝 알고리즘의 교육 목적으로 사용되었습니다. 아래의 사진은 3D 스캔 모델을 사용한 딥 러닝 교육 과정입니다. Boğaziçi 대학의 연구팀은 기록된 캡슐 내시경 이미지를 입력했습니다. 3D 모델을 사용하여 이미지에서 위치를 결정했습니다.

이 프로젝트의 목표는 장기 구조를 아주 디테일하게 모방하는 것이었습니다. 이는 EinScan Pro 2X 다기능 휴대용 3D 스캐너를 통해 성공적으로 실현되었습니다. 프로젝트 팀은 모든 구조, 모서리, 깊이를 매우 정밀하게 기록할 수 있습니다. 원래 구조에서 큰 변화는 없었습니다.

이전 연구 프로젝트에서는 다른 3D 스캐너가 사용되었습니다. 이 3D 스캐너도 좋은 결과를 얻었지만 해상도와 포인트 정확도에서 기술적인 차이가 있습니다. 포인트 정확도는 딥 러닝 프로세스를 실현하기 위한 우리 프로젝트에서 가장 중요한 요소 중 하나였습니다. 이것이 팀이 이 프로젝트를 위해 EinScan Pro 2X의 능력에 의존하기로 결정한 이유입니다.

EinScan Pro 2X 다기능 휴대용 3D 스캐너는 Boğaziçi 대학 연구팀의 요구를 만족시켰습니다. SHINING 3D는 흥미로운 스캔 애플리케이션에 지원하게 되는 것을 기쁘게 생각합니다. 흥미로운 프로젝트가 있으시면 저희에게 연락해 주세요. 그러면 저희가 협력할 수 있는 가능성을 평가해 드리겠습니다!