Hyperspectral image processing

Advances in hyperspectral image and signal processing

 원문 링크

서론

1.    초분광 이미지 (hyperspectral image, HIS) 처리 범주

A.     분류 (Classification)

B.     스펙트럼 분리 (spectral unmixing)

C.     차원 축소 (dimensionality reduction)

D.     분해능 향상 (resolution enhancement)

E.     초분광 노이즈 제거 및 복원(HIS denoising & restoration)

F.     변화 검지 (change detection)

G.     고속 컴퓨팅 (fast computing)

2.    초분광 데이터 큐브 (hyperspectral data cube, )

A.      스펙트럼 차원 (spectra perspective, ): 픽셀별 스펙트럼 분석

B.     공간 차원 (spatial perspective, ): 단일 분광 밴드(spectral band)에 대한 이미지

C.     다분광 이미지(multispectral image)와의 차이: 밴드의 숫자

3.    풀어야 할 과제 및 해결책

 A.     문제 1:  풍부한 정보로 정확한 정보를 얻을 수 있지만, 초분광 데이터의 차원이 너무 커서 데이터 처리가 힘든 문제

              i.        해결책 1: 차원 축소(dimension reduction) 혹은 특성 축소(feature reduction)

             ii.        해결책 1-1: 로버스트 분류기(robust classifier): 지도 학습을 위한 샘플이 적을 경우에도 높은 차원의 초분광 데이터를 처리할 수 있는 분류기 알고리즘

B.     문제 2: 센서의 공간 공간 분해능이나 여러 개의 단일성분(endmeber)에 의한 혼합(intimate mixing) 때문에 생기는 스펙트럼 혼합 문제(spectral mixing)

              i.        해결책 2: 스펙트럼 분리(spectral unmixing)

C.     문제 3: 실제 신호대 잡음비를 고려해서 촬영된 낮은 분해능의 이미지

              i.        분해능 향상

D.     문제 4: 각종 하드웨어 및 환경 요소에 의한 이미지 손실(image degradation)

              i.        해결 4: HIS 노이즈 제거 및 복원

E.     문제 5: 시공간 상에서의 변화를 확인하고 평가하는 능력

              i.        변화 검지

본론

1.    차원 축소

A.     문제

              i.        패턴인식에 있어서 정보가 많을수록 정확하지만 … 데이터의 차원이 높을수록 알고리즘의 성능이 저하되는 차원의 저주(curse of dimension) 문제에 봉착

             ii.        600(x) * 400(y) * 500(band)의 센서에 픽셀당 16 bit의 정보가 있을 때 총 240 MB의 데이터 용량

            iii.        공간 정보와 분광 정보를 동시에 사용할 수 있는 방법(HMK 추가)

B.     방법 1. 비지도 차원 축소 (unsupervised dimensionality reduction)

              i.        Principal component analysis (PCA): 분산의 최대화를 통해 차원 축소

             ii.        Independent component analysis (ICA): 통계적인 독립성을 최대화하는 방법

            iii.        Minimum noise-fraction (MNF): SNR을 계산해서 이미지의 품질을 측정하는 방법

            iv.        Local linear feature extraction (LLFE): 특성 공간(feature space)에서 이웃간의 관계(neighborhood relationship)도록 사영하는 방법

             v.        Kernel methods (kernel PCA/ICA/MNF) & local method: 비선형 방법

            vi.        Fusion based methods: 공간 정보와 분광 정보를 동시에 차원 축소에 사용

           vii.        Manifold-learning methods: 특성 추출(feature extraction) 및 핵심 밴드(salient bands) 선택, orthogonal total variation component analysis (OTVCA)

C.     방법 2. 지도 차원 축소 (supervised dimensionality reduction)

              i.        Linear discriminant analysis (LDA)

             ii.        Nonparametric weighted feature extraction (NWFE)

            iii.        Band selection on Jeffries-Matushita (J-M) distance

            iv.        Sparse graph embedding (SGE): 유의미한 자료의 희소성(sparsity)에 기반한 방법

             v.        Genetic algorithms (GA), particle swarm optimization (PSO)

D.     방법 3. 반지도 차원 축소 (semisupervised dimensionality reduction)

              i.        Cotraining, transductive supporting vector machine (SVM)

             ii.        Semisupervised discriminant analysis (SDA): LDA의 objective function에 regularization 추가

            iii.        Semsupervised local Fisher’s (SELF) discriminant analysis

E.     Challenge

              i.        다중 레벨의 빅 데이터에서 complementary feature를 찾아내는 방법

             ii.        한 프레임 내에서 DR과 어플리케이션의 결합

            iii.        해결예: low-lever & high level features를 각각 추출

2.    분류

A.     스펙트럼 분류기(spectral classifier)

              i.        support vector machines (SVM) 

             ii.        random forest (RF) / rotation forest (RoF) / canonical correlation forest (CCF)

            iii.        back-propagation neural network (BP) 

            iv.        extreme learning machines (ELM) / kernel ELM (KELM) [96]

             v.        deep convolutional neural network (1D CNN) 

            vi.        multiple linear regression (MLR)

B.     스펙트럼-공간 분류기(spectral-spatial classifier)

              i.        픽셀간의 연관성을 고려한 분류의 일반적인 단계

①    Spectral classifier를 이용한 스펙트럼 정보 추출

②    공간 정보 추출

③    공간 정보와 스펙트럼 정보 결합

C.     공간 정보 추출 1. CRISP neighborhood system

              i.        확률모델: Markov random fields (MRFs)

①    근접한 픽셀이 같은 object일 확률이 높다는 가정

②    SVM + MRF에 의한 분류기 알고리즘

             ii.        CNN

①    2D or 3D CNN

②    Self-improving CNN (SICNN): 가장 정보가 풍부한 밴드를 iteratively selecting

            iii.        단점

①    고해상도 데이터나 highly correlated 픽셀의 경우 충분한 샘플을 포함하기 어렵다. 

②    Neighboring 구조가 많을 경우 경계에 의한 컴퓨팅 문제

③    작은 구조에 대한 무시

④    Oversmoothing

D.     공간 정보 추출 2. Adaptive neighborhood system

              i.        Image segmentation을 이용한 방법

①    Segmentation map과 classification map을 종합하여 majority voting을 통해 분류

②    Segments를 지도 분류의 input vector로 활용

③    Image segmentation 방법: Histogram thresholding등

             ii.        Morphological profiles(MPs)

①    MPs comprise a number of features constructed by applying a set of openings and closings by reconstruction with a structuring element (SE) of an increasing size

②    Morphological attribute profile (AP)

E.     기타

              i.        Composite kernel: 차원의 저주 해결

             ii.        Active learning: 샘플의 제한을 극복

            iii.        벤치 마크 데이터 셋

3.    스펙트럼 분리(spectral unmixing)

A.     개요

              i.        고분해능으로 해결할 수 없는 혼합 스펙트럼의 문제

             ii.        선형 스펙트럼 분리

①    거시적으로 단일성분(endmember)를 찾는 방법

            iii.        비선형 스펙트럼 분리

①    Intimate mixture를 분리하는 방법

B.     Endmember의 수 예측

              i.        Virtual dimensionality (VD) method: data-correlation과 covariance matrix의 공분산을 계산

             ii.        Hyperspectral signal identification with minimum error (HySime): 대부분의 데이터의 정보를 갖는 고유벡터의 개수 k 개산

            iii.        Eigenvalue likelihood maximization (ELM)

            iv.        Normal compositional model (NCM)

C.     Endmember 추출

              i.        Pure pixel assumption: 단일 성분 스펙트럼 이 존재할 경우

①    Pixel purity index

②    N-FINDR

③    Orthogonal subspace projection (OSP)

④    Vertex component analysis (VCA)

⑤    Multiple endmember spectral mixture analysis (MESMA): endmember bundle을 사용하여 조명의 불균일성 등을 해결

             ii.        Medium mixture: pure pixel이 없으나 facet에 spectral vector가 충분한 수의 벡터를 포함한 경우

①    Minimum volume algorithm

②    Iterative constrained endmember (ICE)

③    Minimum volume estimation (MVES)

            iii.        Highly mixed data

            iv.        공간정보를 포함하는 방법

D.     Abundance estimation

              i.        Nonnegative matrix factorization

E.     물리적인 현상과 상관없는 endmember signature가 나타나지 않도록

              i.        Library 비교

F.     비선형 분리

              i.        Bilinear mixing model (BMM) / generalized mixing model (GMM)

             ii.        Nonlinear combination with a supervised artificial neutral network (ANN)

G.     Challenge

              i.        비선형 mixing

4.    분해능 향상(resolution enhancement)

A.     Hyperspectral superresolution (multi-image/single-image)

              i.        컴퓨터 비전에서와 같이 다수의 저해상도 이비지로 부터 초고해상도 이미지 추출 (단일센서)

             ii.        고전적인 sub-pixel shift or band-to-band misregistration (keystone), multi-angular HSIs

            iii.        Learning based supper resolution

B.     Subpixel mapping(or superresolution mapping)

              i.        하나의 초분광 이미지의 해상도를 분류 알고리즘을 사용하여 향상 (단일센서)

             ii.        Endmember의 구성비(abundance)를 고려하고, 관계를 이용해 픽셀 내부에서의 위치 결정

            iii.         

C.     Hyperspectral pan-sharpening

              i.        고분해능 panchromatic image (gray image) + 저분해능 HIS

             ii.        Component substitution (CS): Gram-Schmit adaptive

            iii.        Multiresolution analysis(MRA): Smoothing filter-based intensity modulation (SFIM

            iv.        Sparse reconstruction (SR)

D.     Hyperspectral-multispectral (HS-MS) data fusion: 고분해능multi-spectral image + 저분해능 HIS

5.    노이즈 제거(denoising) 및 이미지 복구(image restoration)

A.      손상 원인

              i.        이미징 기술, 시스템, 환경 ..

             ii.        노이즈에 의한 손상을 제거하는 기술 denoising

            iii.        Penalized(regularized) least square 방법을 주로 사용

B.     노이즈의 종류

              i.        Signal independent noise: thermal and quantization noise (Gaussian distribution)

             ii.        Signal dependent noise: shot noise (Poisson distribution)

            iii.        Sparse noise: impulsive noise, missing pixel, missing lines and other outliers

            iv.        Pattern noise: line-by-line scanning에서는 striping noise 발생