[논문리뷰] No-search focus prediction at the single cell level in digital holographic imaging with deep convolutional neural network

본 논문은 딥러닝보다는 광학이(제 전공이 아닙니다 ㅠㅠ) 주 목적이기 때문에 알지 못하는 용어들이 존재합니다. 그래서 정확한 내용의 논문 요약이 어려우니 참고해주시길 바랍니다. 딥러닝을 응용한 연구에는 무엇이있나 찾아보다 발견한 논문이므로 딥러닝 응용관점에서 봐주시길 바랍니다.

 

Abstract

Off-axis hologram의 digital propagation은 sensor plane(CCD)과 reconstruction plane사이의 거리가 정확할 때 quantitative phase-contrast를 얻는다. 그래서 CCD와 reconstruction plane사이의 거리인 reconstruction distance를 딥러닝을 사용하여 빠르게 잘 구하는게 본 논문의 목표이다. 실제 필터링된 적혈구와 미소세포?(microspher beads)를 활용한 실험적인 결과는 전통적인 propagation distance예측 방법보다 딥러닝을 사용한 예측 방법이 더 빠르고 정확하게 예측하는것을 보였다.

 

pahse-contrast : 샘플을 통과하는 직진광과 이로인한 회절광 사이의 위상차 현상을 이용하여 세포 또는 미생물의 상태변화를 관측한다.

 

 

1. Introduction

Holography schem중에 in-line(Gabor holograms)방식이 있다. 여러분야에서 유용하게 사용하는 방식이지만 zero-order noise, real images 그리고 twin images를 분리할 수 없는 큰 단점이 있었다. 그런데 phase shifting methods가 나오면서 위의 여러가지를 in-line방식상에서 분리할 수 있게 되었다. 이 방법은 object와 reference light의 다양한 pahse차이에 해당하는 다중홀로그램을 캡쳐해야 한다. 그러나 이 방법은 홀로그램을 녹화(기록) 중 샘플이 움직이면 안된다. 그러나 우리는 적혈구와 미소세포에 대한 연구방법이 필요하기 때문에 phase shifting methods는 사용하기 어렵다.

 

Fig. 1: (a) Scheme of off-axis hologram recording, and (b) configuration of the image sensor(CCD camera), sample and the image plane.

 

Off-axis configuration(Figure 1에서 볼 수 있는)은 biological samples와 dynamic topography연구를 하는데 요긴하게 사용될 수 있다. 여기서 Biological samples을 위한 off-axis configuration은 digital holographic microscopy(DHM)이라고 한다. DHM은 marker-free그리고 cell biological processes의 time-resolved 분석과 같이 biological samples의 비파괴 검사를 가능하게합니다. 더 구체적으로 quantitave phase-contrast image with DHM(QP-DHM)을 해석하면 세포의 형태와 sample의 내용을 한번의 촬영으로 정량적 측정 가능하다. 이는 실시간 method이며, 기계적 focus 조정이 없는경우 biological samples의 time-lapse연구에 사용할 수 있다. Phase object에 대한 phase-contrast image와 amplitude-contrast image를 얻으려면 propagation distance가 중요하다.

Hologram plane(CCD)와 obsevation plane(the reconstruction plane)사이의 거리는 reconstruction distance "d"로 정의된다. CCD와 hologram recording중인 image사이의 거리가 reconstruction distance와 같을 때 in-focus reconstruction image가 digital holographic reconstruction에서 얻어진다. 일반적으로 서로다른 focus plane에 있는 다중 이미지들은 numerically reconstructed되며, 특정 함수가 각 이미지의 특성을 측정한다. 그 함수가 Focus-evaluation-function이다. 이 함수는 amplitude-contrast 또는 phase-contrast image의 선명도를 평가함으로써 이미지가 focused되어있는지 아닌지를 측정한다. 이 함수는 다른 distance마다 여러 propagation을 필요로하는데, 이렇게하면 각 propagation마다 Fourier transform을 해야돼서 시간이 많이 걸리게 된다는 단점이 존재한다. 이 방법은 time-lapse imaging을 고려할 때 더 분명해진다. 장기적인 biological 연구는 최적의 이미지 품질을 유지하기 위해 영구적인 focus 재조정이 필요하기 때문이다.

이러한 단점을 없애기 위하여 propagation distance "d"의 측정을 위해 deep learning(CNN)을 사용할 것을 제안한다. 이전의 methods는 다른 distance마다 multiple numerical reconstructions를 요구했다. 제안한 모델은 focus-evaluation function없이 기록된 micro-size object에 대한 hologram으로부터 reconstruction distance "d"를 측정한다. 이렇게하면 multiple digital propagation이 필요하지 않으며, 각각의 distance에서의 선명도를 평가하는 함수또한 없어도 된다. 우리의 deep learning model을 학습하기 위한 training data인 focused image는 focus-evaluation function으로부터 얻어진다.

 

zero-order noise : 태양빛과 같은 자연의 노이즈라고 생각하면 될 것 같다.

real images, twin images : 조금 뒤 사진에 이것들이 무엇인지 등장한다.

contrast : 흰색종이 위에 회색선이 있다면 선을 구분하기 힘드므로 contrast가 없는것이다.

amplitude-contrast image : 빛이 렌즈를 통과할 때 손실이 생기는데, contrast의 개념으로 손실을 측정하는 것이다. (진폭=편차)

 

 

2. Materials and Methods

2.1 Off-axis DHM

Hologram은 object wave O와 reference wave R을 interference 한다. 두 개의 waves는 laser propagation방향으로  beam splitter를 넣음으로서 얻어진다. 이것은 Mach-Zender 간섭계(Figure 1(a)를 보자)와 유사하다. Object beam은 표본을 비추고, 현미경 대물렌드(MO)는 object wavefront를 수집하고 확대한다. CCD 카메라에 의해서 spatial interference가 기록되고 numerical reconstruction을 위해 개인 컴퓨터로 정보가 전송된다. Object wave O와 reference wave R의 작은 경사각은 real image를 twin images와 zero-order noise로부터 격리시킨다(off-axis geometry 때문에 가능). Real image의 대역폭만을 커버할 수 있도록 적절하게 정의 된 spatial filter가 real image를 유지할 수 있다. 신호를 reconstruction하기 위해 filtered된 hologram은 reference wave와 곱해진다. 그리고 Fresnel approximation에 의해 reconstructed된다. 이렇게해서 신호를 aplitude image와 phase image로 변환가능하다(Figure 2를 보자).

이 논문에서 phase value는 때때로 reference wave와 sample을 통과하는 wave 사이의 optical path length difference(OPD)로 표현된다. 그리고 앞에서 알아본바와 같이 digital holographic reconstruction에서 in-focus reconstructioned image는 hologram기록중인 CCD와 image plane사이의 거리가 reconstruction distance와 같을 때 얻어진다. Figure 2. 에서 reconstruction distance가 정확하지 않아 out-of-focus image가 발생한 것을 볼 수 있다.

 

Fig. 2: (a) A recorded red blood cell(RBC) hologram and (B) its magnification. The fringes are curved due to the phase aberrations caused by the MO. The fringes are not concentric with respect to the center of the image regarding the off-axis setup. (c) Fourier transformation of (a) hologram; bandwidth of real image, twin image and zero order noise are separate due to the off-axis geometry. (d, e) Amplitude and phase of the numerically reconstructed signal when the reconstruction distance “d” is too short, (f, g) when the reconstruction distance “d” is correct, and (h, i) when reconstruction distance “d” is too long. The corresponding amplitude image for the in-focus phase contrast image has the lowest contrast. (j) Cross section of the phase image of RBC in (e), (g), and (h).

 

interference : 둘 이상의 파동이 중첩하여 나타나는 물리적 현상이다.

interference of light(spatial interference) : 여러 광원에서 나오는 빛이 겹쳐졌을 때, 밝고 어두운 부분이 교차해서 나타나는 현상이다.

wavefront : 파가 진행할 때의 위상면, 동일한 위상을 갖는 점들로 이루어진 가상적인 면이다.

optical path length : 빛의 입장에서 느끼는 거리(OPL이 같다면 빛이 두 경로를 지나는데 걸린 시간은 같음).

optical path length difference(OPD) : 하나의 광파가 두 개로 갈라져 각각 따로 진행하다가 그 후에 합성되는 경우에 있어서, 두 광파가 갈라졌다 합성될 때까지의 각각의 광학거리의 차이(OPL의 차이).

 

 

2.3 Regression-CNN for reconstruction distance estimation

Deep learning(CNN)의 input으로는 filtered holograms가 들어간다. Non-filtered holograms는 성능이 떨어졌기 때문이다. CNN과 비교할 true value는 focus-evaluation function에 의해서 얻어진다. 이 논문에서 제안한 deep learning model은 R-CNN(우리가 알고있는 그 R-CNN은 아니다)이다. 제안된 모델은 두 개의 구조를 가지고 있다. Feature 학습을 위한 feature extraction part와 focus distance를 예측하기 위한 linear regression part(여기있는 regression때문에 R-CNN이 된 것 같다)이다. R-CNN model은 convolution layer, pooling layer그리고 vanishing gradient problem을 없애기 위하여 batch normalization을 사용했다. Activation function은 ReLU를 사용했으며, optimizer는 Adam을 사용하였다. R-CNN의 architecture는 Figure 3(b)에서 확인 가능하다.

 

Fig. 3: (a) The general scheme of the proposed R-CNN for the estimation of reconstruction distance. Inset shows the red blood cell (RBC) hologram before and after the filtering. A 3D representation of the hologram is preferred for better visualization. (b) The details of the R-CNN, various layers of the network, and the configurations of R-CNN.

 

2.4 Data extraction for training regression CNN model

Figure 4는 sample과 MO or "d_s"사이의 distance에 대한 reconstruction distance "d"의 변화를 보여준다. "d_s"를 변화시키므로써 hologram들이 생성된다.

 

Fig. 4: Two examples of holograms at different distances “ds” recorded for training the R-CNN model, (a,b) for the RBC model and (c,d) for the bead model. The insets show the single hologram extracted for training. Variations of “ds” and the corresponding optimal reconstruction distance “d” for the best reconstruction for the training set are illustrated in (e) for RBC model, and in (f) for bead model. The optimal distance for each hologram containing multiple cells or objects is evaluated by reconstruction of 90 holograms at different “d” values and evaluating the amplitude image’s 2D standard deviation as illustrated in (g) for 2D STD output for one RBC hologram, and in (h) for one bead hologram.

 

Training set을 만들기 위해 sample과 MO의 distance를 조절한다. 앞에서 말한것과 마찬가지로 holograms는 R-CNN model에 들어가기전에 filtered된다. Filtering은 noise와 hologram에 저장된 비정보 공간 패턴을 제거한다. 이렇게하면 완벽한 패턴을 R-CNN에 제공할 수 있다. Training data를 위한 focus image는 amplitude image의 STD를 사용하는 focus-evaluation function에 의해 얻어진다.

 

Fig. 5: (a) Several single RBC and the corresponding phase images by numerical reconstruction. Reconstruction distance or “d” is found by the focus-evaluation function. “d” is considered as the desired output for the regression layer of the CNN model. (b) Several bead holograms and the corresponding phase images by numerical reconstruction. Hologram images at the single-object level are fed into the CNN regression model during the training stage. Unit for “ds” distance and “d” distance are 0.1 μm and 1.0 μm, respectively.

 

최적의 focus plane은 multiple micro-sized object를 포함하는 각 hologram에 대해 서로 다른 focus planes에서의 90번의 reconstructions를 수행함으로써 발견된다. 그러면 focus evaluation functions는 2차원 표준편차를 amplitude image에 적용함으로써 best distance plane을 찾게된다. 이 함수는 x와 y방향을 따라 표준편차를 측정하여 reconstructed image의 pixels(amplitude image)의 분산을 평가한다.

 

 

Conclusion

이 논문에서는 regression layer를 출력단 layer로 가지고있는 deep learning convolutional neural network를 제안한다. 이 모델은 single-object level에서 microsized objects의 numerical reconstruction으로부터 best focus distance를 평가한다. 제안된 모델과 focus-evaluation function의 비교 실험결과는 제안된 모델이 filtered hologram으로부터 propagation distance를 정확하게 추정할 수 있음을 보여준다. 이 모델은 기존의 방법보다 numerical reconstruction시간을 크게 줄일 수 있다는 것을 입증했다.

 

 

Reference

https://www.osapublishing.org/boe/fulltext.cfm?uri=boe-10-8-4276&id=416351