link: https://www.cs.utexas.edu/users/bajaj/papers/2004/conference/01419470.pdf
Absctract:
국소 영역에 대한 contrast 조작을 통해 영상을 enhance 시키는 빠른 접근을 제안함.
제안한 방법은 빠르며, 구현하기 쉽고, adaptive, multiscale, weighted localization 등의 우수한 속성을 가짐.
다양한 의료 영상에 대해서 성능이 우수함.
1. Introduction
영상 enhancement의 중요성에 대해서 언급함. 영상 enhancement를 위한 방법들의 큰 분류는 contrast 조작 또는 히스토그램 평활화로 나눔[1, 2]. 고전적인 contrast 조작 방법[1]은 일반적으로 전역으로 정의한 stretching function에 기반하고 있으며, 픽셀-대-픽셀 stretching 전에 히스토그램 clipping이 필요할 것임. 전통적인 전체 영상의 히스토그램 평활화에 기반한 전역 기법을 사용하며, 단지 전역 정보만을 사용하기 때문에, 우수한 contrast enhancement 효과를 내기에는 충분하지 못함(예: 전역 접근은 밝기값의 saturation 현상을 보임).
- 위와 같은 문제를 극복하기 위해, 다양한 localized(또는 adaptive) 히스토그램 평활화 기법들이 제안됨[1, 3, 4, 5]. 이러한 접근들은 개별적인 픽셀들에 대해 local window를 고려하여 local window 내에 정의된 히스토그램에 기반하여 새로운 밝기값을 계산함.
- adaptive한 기법들은 개선된 결과를 보이지만, local histogram의 갱신을 위한 빠른 기법[6]들이 있음에도 일반적으로 계산량이 많음. 또한 adaptive 히스토그램 평활화 기법들은 uniform local operator로서 local window 내에 있는 모든 픽셀들은 중심 픽셀의 새로운 위치를 결정하는데 동등한 기여를 함. 때론, 영상 smoothing을 위한 가우시안 필터 등과 같은 평균화 필터가 중심 픽셀로 모든 이웃 화소들에게 가중치를 부여하므로 바람직할 수 있음.
- 더욱 최근에 개발된 기법인 retinex model[7]은 가우시안 함수에 기반하여 국소 평균을 계산함으로써 local window 내 각 픽셀에 대한 가중치를 부여 받음. 추후에 개발된 multiscale retinex model[8]은 좀 더 나은 결과를 제공하지만 계산량이 상당히 많음. Contrast enhancement를 위한 다른 기법으로는 wavelet decomposition 및 reconstruction에 기반한 기법이며, 의료 영상의 enhancement를 위해 사용이 됨[9].
본 논문에서는 contrast enhancement를 위한 빠른 기법을 제안함. 기본적인 아이디어는 local statistics에 기반하여 각 픽셀에 대한 변환 함수를 고안하는 것임. 제안한 방법은 전역 contrast 조작의 아이디어를 따르지만, adaptive histogram 평활화와 retinex model의 이점을 가지고 있음. 또한, multiscale 속성을 가지고 있음.
2. Adaptive Contrast Enhancement
본 논문에서 제안한 방법은 local statistics(local average intensity 뿐만 아니라 local minimum/maximum)의 basis에 기반하여 고안된 adaptive transfer function에 따라서, 각 픽셀에 새로운 밝기값이 할당됨.
2.1 Computing Local Min/Max/Avg
픽셀에 대한 local min/max/avg 값은 단순히 고정된 크기의 local window 내에 있는 최소/최대/평균 밝기값으로 정의가 될 수 있음. 이는 직관적이긴 하나 2가지의 문제점을 가지고 있음.
- 첫번째로 매 픽셀 마다 local min/max를 탐색하거나 local average를 계산하는데 많은 시간이 소요됨.
- 두번째로 계산된 min/max map은 항상 block-like한 artifact가 나타남. 본 논문에서는 propagation 전략을 이용하여 local min/max/avg를 계산하게 됨.
block-like한 artifact를 제거하는 하나의 방법은 smoothed한 min/max map을 만들도록 획득한 min/max map에gaussian filter를 적용하는 것임. 하지만 이러한 방법은 추가적인 시간을 요구함. [10, 11]에 따르면 exponential 및 gaussian filter는 propagation 전략에 의해서 매우 빠르게 수행될 수 있음. 이러한 아이디어는 local average map을 계산하는데 직접적으로 적용이 가능함. 하나의 이웃 화소로부터의 propagation 규칙은[ (m-1, n) -> (m, n) ] 아래와 같이 정의됨.
- 여기서 lavg_m,n: 행렬 (m, n)에서의 local average map을 의미하며, 영상의 밝기값으로 초기화가 됨.
- C: conductivity(전도도) factor로서 0에서 1사이의 범위를 가짐.
- 위의 propagation 규칙은 가로 및 세로 방향으로 연속적으로 적용이 가능함[10, 11].
local min/max map을 계산하기 위해서, 위의 propagation 규칙에 약간의 변경이 필요함. 본 논문에서는 아래와 같이 conditional propagation 전략을 도입함. (m-1, n) -> (m, n)으로의 conditional propagation 전략은 아래와 같이 정의됨.
- 여기서 lmin_m,n: 행렬 (m, n)에서의 local min map을 의미하며,
- lmin_m,n: 행렬 (m, n)에서의 local max map을 의미함.
- 이들은 모두 영상의 밝기값으로 초기화 됨.
2.2 Determine Transfer Function
일단 영상 내 모든 픽셀에 대해 local statistic(local min/max/avg)을 획득하고 나면, 픽셀 대 픽셀 간의 transfer function을 고안할 필요가 있음. 대부분의 contrast enhancement 기법들이 가지는 본질적인 아이디어는 range stretching을 활용하는 것임. 다시 말하자면, 원래 영상에서 좁은 밝기 range는 훨씬 더 넓은 range로 확장 되어진다는 것임.
본 논문에서는 픽셀의 원래 range는 해당 픽셀에서 얻은 local minimum과 local maximum 밝기값의 차이에 대한 절대값으로 주어짐. 즉, | lmax – lmin | 이 됨. 이 값은 그림 1의 (a)에서 설명한 curve에 따라서 변경이 되며, 여기서 x 축 좌표는 input range를 나타내며, y 축 좌표는 output range를 나타냄. 이러한 function curve는 두 개의 원호(circular arcs)로 구성이 됨:
- 여기서 x: input range,
- y: output range,
- w_0: 고정된 임계값을 의미함.
만약, | lmax – lmin | < w_0 라면, contrast는 noise로 여겨지기 때문에, 줄어들게 됨. 이러한 방법으로 image feature를 enhancing하면서 image noise를 suppression 할 수 있음.
- 원래의 좁은 range인 | lmax – lmin |로부터 mapping 후에, lmax와 lmin은 각각 0과 w로 mapping 되어지는 좀 더 넓은 range(w에 의해서 나타난)를 얻을 수 있음. 그 동안에, lmin <= I_old, A_old <= lmax를 만족하는 범위를 가진 원래 영상의 밝기값 I_old 와 평균 A_old는 새로운 값인 I_new 와 A_new 로 선형적으로 스트레칭 되어짐.
좀 더 우수한 contrast enhancement를 위해서, 본 논문에서는 다음과 같은 관측을 고려함. 만약 픽셀의 영상 밝기값이 local intensity average보다 낮다면, 오목한(concave) transfer function을 사용하여 영상 밝기값을 감소시킴. 반대로, 픽셀의 영상 밝기값이 local intensity average보다 크다면, 오목한(concave) transfer function을 사용하여 영상 밝기값을 증가시킴. 이러한 transfer function은 픽셀 대 픽셀 간에 적응적으로 정의가 되며, 파라미터 a를 기반으로 하고 있음. 여기서 파라미터 a는 아래와 같이 정의가 됨.
특히, 본 논문에서는 transfer function을 포물선 모양(parabolic)의 curve의 segment로서 정의하였으며, 그림 1의 (b)와 같이, 만약 a < 0 이라면, transfer function은 볼록하게 되며(convex), a > 0 이라면, transfer function은 오목하게 됨(concave). 물론 이러한 curve는 다른 형태가 될 수 있지만, 포물선 모양(parabolic)의 curve를 사용함으로써 통일된 공식(unified formula)를 도출하기가 쉬워지는 장점을 가지게 됨. 이러한 포물선 모양(parabolic)의 curve의 명확한 표현을 도출하기 위해서, 본 논문에서는 하나의 새로운 좌표 시스템를 도입하였으며, 이는 그림 1의 (b)와 같이 X`Y`-시스템이 됨. 새로운 시스템에서, 포물선 모양(parabolic)의 curve는 아래와 같이 표현될 수 있음.
- 여기서 a ∈ [-1, 1] 이며, x` ∈ [0, root(2w)] 가 됨.
XY-좌표 상에서의 표현을 도출하기 위해서, 본 논문에서는 다음과 같은 좌표 변환을 고려함.
식 (4)와 식 (5)를 결합함으로써 아래와 같은 명확한 표현을 얻을 수 있음.
- 여기서 a, b, c는 아래와 같음.
각 픽셀에 대해 transfer function을 획득한 후에, 아래와 같은 식을 이용하여 enhanced된 밝기값을 계산할 수 있음.
- 여기서 f는 식 (6)에서 정의된 transfer function을 나타냄.
2.3 Anisotropic Propagation
식 (1)과 식 (2)에 있는 conductivity(전도도) factor C는 상수 값임. 하지만 필터링의 관점에서, 이는 등방성(isotropic)이며 feature를 blur 시킬 수도 있음. 이를 해결하는 일반적인 기법은 비등방성 확산(anisotropic diffusion)으로 알려져 있음[12]. 이러한 아이디어를 기반으로 본 논문에서는 contrast enhancement를 위한 비등방성 propagation을 개발하였음. 식 (1)과 식 (2)는 아래와 같이 됨.
- 여기서 R: resistance(저항) factor 라고 부르며, 일반적으로 본 논문에서는 실험적으로 [0.01, 0.1]의 구간에서 선택이 되어짐.
3. RESULTS
다양한 테스트 영상에 대해서 본 논문에서 제안한 방법에 대해 실험을 수행하였음. 하지만 논문에서는 단지 의료 영상에 대한 실험 결과만 보여주고 있음.
- 그림 2의 (a)는 낮은 contrast를 가진 뇌 MRI 영상이며, (b)의 경우는 히스토그램 평활화 결과이고, (c)의 경우는 논문에서 제안한 방법의 결과(C=0.95로 설정한 isotropic propagation)임.
- 그림 3의 (a)는 가슴 CT 영상을 보여줌. (b)의 경우는 히스토그램 평활화 결과이고, (c)의 경우는 논문에서 제안한 방법의 결과(R=0.1로 설정한 anisotropic propagation)임.
- 그림 4에서는 최종적으로 논문에서 제안한 방법의 multiscale(isotropic propagation에 의한) 속성을 보여주고 있음. 그림 4의 (a)는 매우 낮은 contrast를 가지는 유방 영상을 보여줌. 그림 (b)와 (c)와 (d)는 서로 다른 scale 영상의 detail이 enhanced된 결과를 나타내도록, 서로 다른 conductivity factor를 사용한 isotropic propagation 결과를 보여줌.
4. CONCLUSIONS
- 본 논문에서는 영상 contrast enhancement를 위한 빠른 접근을 제안함.
- 본 논문의 방법은 propagation 전략(isotropic 또는 anisotropic)을 이용하여 local min/max/avg map의 빠른 계산을 수행하는 것에 기반하고 있음.
- 3가지 종류의 의료 영상에 대해서 본 논문에서 제안한 방법의 성능과 multiscale 속성에 대해서 설명을 함.
- 본 논문에서 제안한 방법은 여러 종류의 영상들에 대해서도 계산 속도 및 화질 향상의 측면에서 희망적인 결과를 제공함.
- 추후에는 3D 영상에 대해서도 관련 연구를 수행할 것임.