월: 2017 9월

Deep Learning for undersampled MRI reconstruction

Introduction

  자기 공명 영상(Magnetic Impedance Imaging)은 강한 자기장 내의 인체에 전파를 전사해서 반향되는 자장을 측정하여 영상을 얻는 방법이다.  구체적으로, MRI 기계에서는 frequency와 phase 두 가지 방향으로 데이터를 수집한다.  frequency encoding 방향으로는 빛의 속도에 가깝게 수집되지만 phase encoding 방향으로는 물리적인 이유로 인해 상대적으로 느리게 측정된다. 이렇게 측정된 데이터를 수학적인 변환(Fourier transform)을 이용하여 변환하면 원하는 영상을 얻을 수 있다. 하지만,  기존의 MRI 방식은 이미지를 얻기 위해 필요한 데이터 수집 시간이 다른 영상 처리 방식보다 느리다는 단점이 있고 이러한 단점을 극복하기 위해 phase encoding 방향의 측정을 적게 하면서 본래의 MRI영상을 얻고자 하는 노력을 여러 사람들이 하고 있다. 이러한 영상처리 개선 방식을 총칭하여 undersampled MRI reconstruction이라고 한다.  우리는 deep learning을 이용하여 undersampled MRI reconstruction problem를 해결 하고자 한다.

 

Method

  Undersampled MRI reconstruction problem을 수학적으로 표현하기 위해 다음과 같은 변수들을 정의하자.

  • Fully-sampled k-space data is denoted by x_{\mathrm{full}}.
  • Subsampled k-space data is denoted by x.
  • Subsampling function from x_{\mathrm{full}} to x is denoted by \mathcal{S}.
  • Reconstruction image from fully sampled data is denoted by y.
  • Direct reconstruction image from subsampled data is denoted by y_{_{\mathcal{S}}}

위 정의와 함께 Undersampled MRI reconstruction problem의 수학적인 구조는 아래와 같은 그림으로 간략히 표현 할 수 있다.

1

 

다음과 같은 forward problem를 고려하자.

S \circ \mathcal{F}^{-1} (y) = x

forward problem은 데이터를 어떻게 subsampling을 하는가에 따라서 의존한다. 그러므로, subsampling function \mathcal{S}가 forward problem를 구체화 시키고 구체화된 문제에 해당하는 inverse problem이 우리가 풀고자하는 undersampled MRI reconstruction problem(finding f : x \rightarrow y)에 상응한다.

 

1) Subsampling Strategy

Inverse problem을 살펴보기 전에 Forward problem의 well-definedness에 대해서 살펴보아야 한다. 주어진 forward problem은 subsampling function \mathcal{S}에 의해서 결정이 되기에  적절한 \mathcal{S}가 주어진 경우에 inverse problem을 풀 수 있을 것이다.  아래의 예시가 어떤 \mathcal{S}가 적절한지에 대한 직관적인 이해를 도움을 준다. 예를 들어,  f를 전통적인 방식의 복원 변환인 Inverse Fourier transform에 절댓값을 취하는 함수라고 가정하고 \mathcal{S}_0=100% fully sampling, \mathcal{S}_1=50% uniform subsampling, \mathcal{S}_2=50% uniform subsampling added some low frequency에 대한 복원 결과는 Figure 1과 같다.

2

Figure 1. 각각의 이미지는 (a) \mathcal{S}_1 (b) \mathcal{S}_0 (c) \mathcal{S}_2에 의해서 복원된 이미지

Figure 1는 뇌암이 있는 환자의 MRI 영상을 이용하여 얻은 이미지 들이다. (b)에 해당하는 영상은 100% sampling을 통해서 완벽하게 복원한 실제 환자의 MRI 영상이고 (a)와 (c) 이미지는 subsampling으로 얻은 영상들이다. (a)와 (c)에서 확인 할 수 있는 두 subsampling의 큰 차이점은 환자의 뇌에 있는 암세포의 위치가 (a)인 경우에는 어느 곳에 암세포가 있는지를 결정 할 수 없지만 (c)의 경우에는 위치를 결정 할 수 있다.  수식적으로 forward problem의 separability로 해석 할 수 있다.

we say h has separability if h(x) \neq h(y) for any x,y satisfying x \neq y.

그러므로, Figure 1에서 얻은 결과로 해석해보면 uniform sampling에 약간의 low frequency를 더해준 경우에 data의 separability를 보장해줄 것이라고 생각할 수 있다. 그래서, 실제 implementation에서는 25% uniform sampling에 4% low frequency를 더해준 29%의 subsampling을 \mathcal{S}로 사용하였다.

 

2) Reconstruction map f

우리는 undersampled MRI reconstruction f를 딥러닝 기술을 이용하여 구현하려고 하였다.  f를 구성하는 구조는 U-net을 이용한 심층학습 과정과 측정한 데이터 보존을 위한 k-공간 수정 과정 두 가지로 나눌 수 있다. 구체적으로, f는 다음과 같이 정의 할 수 있다.

f = |\mathcal{F}^{-1}| \circ f_{cor} \circ \mathcal{F}\circ f_d \circ |\mathcal{F}|^{-1} 

여기에서 f 는 trained u-net, f_{cor}k-space correction function 이고 \mathcal{F}는 Fourier transform이다. 아래의 알고리즘 도식도를 보면  함수 f의 구조를 직관적으로 쉽게 이해 할 수 있다.

3.JPG

Experiment

우리가 설계한 f를 가지고 얻은 복원 결과는 다음과 같다.

4.JPG

 

written by Chang Min Hyun

Update data : 11 September 2017

# 더욱 자세한 이론, 결과 해석은 논문을 참고하면 얻을 수 있습니다.

Reference

[1] E.J. Cand`es, J. Romberg and T. Tao,“Robust Uncertainty Principles: Exact Signal Reconstruction from Highly Incomplete Frequency Information,”  IEEE Trans. Inf. Theory, vol. 52, no. 2, pp. 489–509, 2006.

[2] D.L. Donoho, ”Compressed sensing,” IEEE Trans. Inf. Theory, vol. 52, pp. 1289–1306, 2006.

[3] D.L. Donoho, ”For most large underdetermined systems of linear equations the minimal 1-norm solution is also the sparsest solution,” Communications on pure and applied mathematics, vol. 59, pp. 797–829,  2004.

[4] Google, ”TensorFlow: Large-scale machine learning on heterogeneous systems,” URL http://tensorflow.org/, 2015.

[5] K. Hammernik, T. Klatzer, E. Kobler, M.P. Recht, D.K. Sodickson, T. Pock and F. Knoll, ”Learning ad Variational Network for Reconstruction of Accelerated MRI Data,” arXiv preprint, arXiv:1704.00447, 2017.

[6] T. Tieleman and G. Hinton, ”Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude,” COURSERA: Neural Networks for Machine Learning, 2012.

[7] D.J. Larkman and R.G. Nunes, ”Parallel magnetic resonance imaging,” Phys. Med. Biol., vol. 52, pp. R15–R55, 2007.

[8] P.C. Lauterbur, ”Image Formation by Induced Local Interactions: Examples of Employing Nuclear Magnetic Resonance,” Nature, vol. 242, pp. 190–191, 1973.

[9] D. Lee, J. Yoo, J.C. Ye, ”Deep artifact learning for compressed sensing and parallel MRI,” arXiv preprint, arXiv:1703.01120, 2017.

[10] M. Lustig, D.L. Donoho and J.M. Pauly, ”Sparse MRI: The Application of Compressed Sensing for Rapid MR Imaging,” Magnetic Resonance in Medicine, Vol. 58, pp. 1182–1195, 2007.

[11] H. Nyquist, ”Certain topics in telegraph transmission theory,” Trans. AIEE, vol. 47, pp. 617–644, 1928.

[12] K.P. Pruessmann, M. Weiger, M.B. Scheidegger and P. Boesiger, ”SENSE: sensitivity encoding for fast MRI,” Magn. Reson. Med., vol. 42, pp. 952–962, 1999.

[13] O. Ronneberger, P. Fischer, and T. Brox, ”U-net: Convolutional networks for biomedical image segmentation,” in Int. Conf. on Medical Image Computing and Computer-Assisted Intervention, Springer, pp. 234–241, 2015.

[14] J. K. Seo and E. J. Woo, ”Nonlinear inverse problems in imaging,” Chichester, U.K.: John Wiley & Sons, 2013.

[15] J. K. Seo, E. J. Woo, U. Katscher, and Y. Wang, ”Electro-Magnetic Tissue Properties MRI,” Imperial College Press, 2014.

[16] D.K. Sodickson and W.J. Manning, ”Simultaneous acquisition of spatial harmonics (SMASH): fast imaging with radiofrequency coil arrays,” Magn. Reson. Med., vol. 38, pp. 591–603, 1997.

[17] Z. Wang, A. C. Bovik, H.R. Sheikh, E.P. Simoncelli, ”Image Quality Assessment: From Error Visibility to Structural Similarity,” IEEE Trans. on Image Processing Vol. 13, no. 4, pp. 600-612, 2004.

[18] S. Wang, Z. Su, L. Ying, X. Peng, S. Zhu, F. Liang, D. Feng and D. Liang, ”Accelerating magnetic resonance imaging via deep learning,” in Proc. IEEE 13th Int. Conf. Biomedical Imaging, pp. 514–517, 2016.