본문 바로가기

Research

위성 영상 이해하기 그리고 딥러닝 part 2.

이전 글에서는 위성 영상의 종류에 대해서 알아 봤다면, 이번 글에서는 위성 영상이 어떻게 구성되며 어떤 기준으로 영상의 품질을 확인하는지 적어보도록 하겠습니다.

 


 

위성 영상의 파라미터 중 가장 중요하다고 볼 수 있는 resolution은 아래와 같이 네 가지로 정의될 수 있습니다.

  • Spatial Resolution (공간 해상도)
  • Spectral Resolution (분광 해상도)
  • Temporal Resolution (시간 해상도)
  • Radiometric Resolution (방사 해상도)

 

Spatial resoution(공간 해상도)은 쉽게 말해 얼마나 작고 가까이 있는 물체까지 자세하게 관측할 수 있는가를 나타내는 지표입니다. 이는 센서의 특성과 위성에서 물체까지의 거리에 따라 결정됩니다.

공간 해상도는 Ground Sample Distance (GSD)와 Ground Resolved Distance (GRD)로 구분해서 설명할 수 있습니다. GSD는 영상에서 한 픽셀에 해당하는 실제 거리를 뜻하고, GRD는 두 물체를 구분할 수 있는 최소한의 거리를 뜻합니다.

아래 그림에서 윗 줄은 GSD가 각각 30m, 15m, 1m에 해당하며 GRD도 같은 값을 가집니다. (이런 경우 full resolution이라고도 합니다.) 반면 아래 줄의 세 그림은 GSD는 모두 10m이지만 GRD는 각각 10m, 30m, 80m의 값을 가지고 있습니다. 즉, 픽셀 크기 자체는 작지만 각 픽셀이 하나의 물체를 뜻하는 것은 아니며, 물체 간 거리가 30m 혹은 80m 이상 떨어져 있어야 물체 구분이 가능하다는 뜻입니다. 이러한 예시에서 볼 수 있듯이, GRD는 항상 GSD보다 값이 크거나 같을 수 밖에 없습니다. (값이 크다는 것은 해상도가 나빠진다는 뜻이겠죠) 하지만 특수한 경우가 아니고는 대부분 GSD와 GRD 값은 동일하며 이를 해당 영상의 공간 해상도라고 말할 수 있습니다.

공간 해상도에 따른 영상 차이

공간 해상도는 위성의 고도와 시야각에 의해 결정될 수 있습니다. 

위성의 시야각(Field of View, FOV)은 센서가 관측할 수 있는 영역에 대한 opening angle을 의미합니다. 즉, FOV와 위성의 고도에 따라 위성이 하나의 궤도를 지나면서 관측 가능한 영역(swath)이 결정됩니다.

위성의 순간 시야각(Instantaneous FOV, IFOV)은 위성이 한 순간에 관측 가능한 각도입니다. IFOV와 고도에 따라 한번에 관측되는 resolution cell의 크기가 결정됩니다. 이 때 하나의 resolution cell이 하나의 픽셀이 되며 두 물체의 거리가 resolution cell의 크기보다 커야 두 물체를 구분 가능하다고 볼 수 있습니다.

FOV와 IFOV

 

Spectral resolution(분광 해상도)는 센서가 관측하는 전자기파 파장의 범위를 뜻합니다. 위성 영상의 'Band'는 각각의 관측 파장대를 의미하며, 관측하는 물체의 해당 파장대에 대한 특성을 보여주게 됩니다. (예를 들어, 초록색 물체를 관측한다면, 가시광선 영역 중 red 파장대는 값이 낮고, green 파장대는 높게 나타나게 됩니다.)

Landsat8 위성의 관측 파장대역

위성에 따라 밴드의 구성이 달라지게 되는데, 그 중 1번 밴드가 Panchromatic(PAN) 밴드인 경우가 종종 있습니다. 이는 가시광선에서 근적외선 파장대에 걸쳐 넓은 파장대의 범위를 관측하여 공간 해상도를 높인 영상입니다. 대신 특정 파장대의 특성을 나타내지 못하기 때문에 흑백으로 나타나게 됩니다. PAN 영상을 이용해 RGB 밴드 영상에 샤프닝(Pan-Sharpening)을 적용해 PS-RGB로 형태로 영상이 제공되는 경우가 많습니다.

B, G, R, NIR 및 PAN 밴드의 파장 대역
왼쪽 : PAN 영상 / 가운데 : RGB 영상 / 오른쪽 : PS-RGB 영상

흔히 우리에게 가장 익숙한 RGB 영상과 같이 10개 미만의 파장대역을 관측하며 다양한 분광 대역을 감지해 색 표현이 가능한 경우는 Multispectral 영상이라고 합니다. 각 밴드를 어떻게 조합하느냐에 따라서 영상이 일반적인 RGB 영상으로 보여질 수도 있고 RGB 외에 다른 파장대에 대한 정보를 나타내는 영상으로 표현될 수도 있습니다. 즉, 연구의 목적에 따라 적절한 밴드를 선정하고 조합하는 과정이 필요합니다.

밴드 조합에 따른 RGB 영상(true color composites)과 false color composites

Multispectral 영상보다 관측 파장 대역을 좁게(10nm), 더 다양하게(수십개의 밴드) 관측하여 정밀한 분광 해상도를 획득할 수 있는 영상은 Hyperspectral 영상이라고 합니다. 관측 물체에 대한 다양한 영상 및 분광 정보를 획득할 수 있게 되는 것입니다. 이는 지표 광물 분류 등 미세한 분광 정보를 분석해야하는 연구 등에 활용될 수 있습니다.

Multispectral 영상의 파장대역와 Hyperspectral 영상의 파장대역

 

Temporal resolution(시간 해상도) 동일한 지역을 얼마나 자주 촬영하는가를 의미하며 revisit time이라고도 이야기합니다. 위성이 높은 고도에서 지구의 자전과 같은 속도로 회전하며 동일한 지역만 지속적으로 관측하는 정지궤도 위성의 경우 분 단위 관측도 가능합니다. 반면 낮은 고도에서 회전하며 전지구를 관측하는 일반적인 극궤도 위성이라면 위성이 지구를 한 바퀴 돌아 다시 동일 위치에 도달할 때까지 기다려야 합니다.

정지궤도(Geostationary Orbit)와 극궤도(Polar Orbit)

 

Radiometric Resolution(방사 해상도)는 영상을 관측할 때 에너지 강도에 대해 얼마나 민감한가를 의미하며 이는 영상의 bit 수로 표현됩니다. 일반 영상은 0-255의 8-bit 영상이지만 위성 영상의 경우 16-bit, 14-bit 등 다양하게 나타납니다. 해양을 관측할 경우 육지에 비해 신호의 변화(대비)가 작기 때문에 더 민감한 센서로 관측하는 것이 유리하다고 볼 수 있습니다.

bit 수에 따른 영상 차이

 

원격탐사 분야에서는 연구 목적에 따라 더 강조하고자 하는 해상도를 결정해 적절한 위성 및 영상을 선택하게 됩니다. 위성 영상은 지표에서 방출되는 전자기파 에너지를 측정하는 것이기 때문에 에너지의 세기가 디텍터가 관측 가능한 임계치를 넘어야 합니다. 

당연하게도, 위성이 지표에 가까이서, 넓은 지역을, 넓은 파장대로, 긴 시간 관측할 수록 기록되는 에너지가 증가합니다.

하지만 모든 조건을 만족하기에는 물리적인 한계가 존재하므로 공간 해상도, 분광 해상도, 시간 해상도는 trade-off 의 관계를 가질 수 밖에 없습니다. 즉, 관측 파장 대역의 너비에 따라 공간 해상도는 PAN < MS < HS 의 관계를 가지게 됩니다. 또한 극궤도 위성은 공간 해상도가 높은 대신 시간 해상도가 낮고, 정지궤도 위성은 공간 해상도가 낮은 대신 시간 해상도에서 이점을 가지게 되는 것입니다. 결국 위성에서 자체적으로 높은 공간 해상도를 갖기 위해서는 감지하는 파장대가 넓어지거나 재방문 주기가 길어질 수 밖에 없게 됩니다.

 

SI-Analytics은 위성 영상을 활용하여 연구를 수행하는 입장에서
이러한 한계를 극복하면서도 공간 해상도를 높여 영상 분석에 대한 활용성과 성능을 높이기 위해
딥러닝을 활용한 Super-Resolution 등의 연구도 수행하고 있습니다.
또한 시간 해상도가 높아 분단위 관측이 가능한 정지궤도 위성을 이용해
강수나 구름 등 기상 요소
예측(Weather Forecast)에 대한 연구도 진행 중입니다.

 

영상의 해상도 향상을 통한 검출 성능 향상                                                          강수 관련 정보를 활용한 미래 강수 예측

 

이 밖에도 위성 영상은 해당 영상이 촬영된 시간, 촬영된 곳의 좌표, 촬영 각도, 촬영 당시 태양의 각도, 위성의 궤도, 위성의 고도 등 다양한 메타 데이터를 포함하고 있습니다. 이러한 메타 데이터들은 딥 러닝 feature로도 활용될 수 있으며 이를 고려해 다양한 딥 러닝 기법들을 적용하여 연구를 수행하고 있습니다.

다음 포스팅에서는 위성 영상이 생성되는 과정에서 적용되는 전처리가 어떤 것들이 있으며 그 안에서 딥 러닝의 적용 가능성을 알아보도록 하겠습니다.

 

[##백민영##]