Software segmentace ruky v termálním spektru

Autoři

Ing. Jiří Mekyska, prof. Ing. Zdeněk Smékal, CSc.

Stažení

Software je možné stáhnout zde.

Publikace k citování

MEKYSKA, J.; FONT-ARAGONES, X.; FAÚNDEZ ZANUY, M.; HERNÁNDEZ-MINGORANCE, R.; MORALES, A.; FERRER-BALLESTER, M. Thermal hand image segmentation for biometric recognition. In Proceedings of 45th annual IEEE International Carnahan Conference on Security Technology. 2011. s. 26-30. ISBN: 978-1-4577-0901-2.

Popis

Tento programový balík může být využit k segmentaci ruky v termálním spektru. Byly navrženy 2 přístupy segmentace ruky v termografickém spektru (TH). Obě metody jsou závislé na přítomnosti obrazu stejného objektu, který byl zachycen rovněž ve viditelném (VIS) spektru. Co více, metoda M1 uvažuje empiricky nalezené hodnoty použité k segmentaci. Dále jsou metody detailněji popsány.

Metoda založena na empiricky nalezených hodnotách (M1)

Jak již bylo řečeno, tuto metodu lze použít pouze v případě, kdy je ruka zaznamenána rovněž ve viditelném spektru. Databáze, která byla v našem případě použita, byla zaznamenána kamerou TESTO 882, která scénu simultánně snímá v TH i VIS spektru, tudíž je možné nalézt vztah mezi oběma druhy obrazů, tzn. nalézt vzájemnou rotaci, posunutí a změnu měřítka. Na základě analýzy velkého množství obrazů byly empiricky tyto vztahy nalezeny a následně byla pomocí nich ruka segmentována v těchto krocích:

  1. Nejdříve byl obraz ve viditelném spektru převeden do binárního s využitím empiricky nalezeného prahu (EF), pomocí Otsuho metody (OM) nebo pomocí algoritmu K-means (KM), který využíval 2 centroidy, přičemž kódová kniha byla v tomto případě natrénována na barevných modelech CMYK a LAB. V případě algoritmu K-means a Otsuho metody byly binární obrazy následně filtrovány mediánovým filtrem o velikosti 3×3.
  2. V druhém kroku byla VIS binární maska transformována na TH binární masku pomocí parametrů popisující vzájemnou rotaci, posunutí a změnu měřítka. Tyto parametry byly nalezeny empiricky.
  3. S použitím TH binární masky byla ruka již jednoduše segmentována.

Nevýhodou této metody je závislost na přítomnosti obrazu ve VIS spektru a také použití empiricky nalezených parametrů. Na druhou stranu je možné pomocí této metody segmentovat i ruku s nedostatečně prokrvenými prsty.

Metoda založena na registraci obrazu (M2)

Tato metoda je univerzálnější, než metoda M1, jelikož nepoužívá empiricky nalezené parametry. Na druhou stranu není tak přesná. Metoda založena na registraci obrazu stále uvažuje přítomnost obrazu ve VIS spektru. Proces segmentace probíhá v následujících krocích:

  1. Tento krok je stejný jako 1. krok u metody M1 (nejdříve je vytvořená VIS binární maska jednou ze 3 zmíněných metod).
  2. V druhém kroku je VIS binární maska registrována s rukou v TH spektru. K nalezení parametrů popisujících vzájemnou rotaci, posunutí a změnu měřítka byla využita optimalizační metoda implementována v prostředí MATLAB. Bylo použito několik druhů měření, která udávají míru podobnosti mezi dvěma obrazy: normalizovaná 2D vzájemná korelace (N2D), společná entropie (JE), euklidovská vzdálenost (ED), standardizovaná euklidovská vzdálenost (SED), metrika city block (CBM), Minkowského vzdálenost (MD), Čebyševova vzdálenost (CD), Mahalanobisova vzdálenost (MAD), kosinová vzdálenost (COD), vzájemná korelace (CRD), Spearmanův koeficient pořadové korelace (SRC), Hammingova vzdálenost (HD), Jaccardův koeficient (JD).
  3. Jakmile byly všechny parametry nalezeny, byla vytvořena TH binární maska, pomocí které byla následně segmentována ruka.

Pomocí této metody je možné segmentovat i ruku s nedostatečně prokrvenými prsty, ale stále je nutná přítomnost ruky ve VIS spektru. Další nevýhoda je ta, že se vlivem optimalizačního algoritmu prodlužuje doba potřebná k segmentaci.

Všechny funkce jsou napsány v prostředí MATLAB. Ke správnému použití vyžijte nápovědu příkazem „help nazev_funkce“. Programový balík obsahuje rovněž skript, který demonstruje použití jednotlivých funkcí.