Jeigu norime, kad mūsų požymiai būtų invariantiški dydžio(scale) pokyčiams, reikia analizuoti ir užkoduoti požymius, kurie išlieka keičiant dydį.

Transcription

1 Deskriptoriai 2

2 Vaizdų piramidės Jeigu norime, kad mūsų požymiai būtų invariantiški dydžio(scale) pokyčiams, reikia analizuoti ir užkoduoti požymius, kurie išlieka keičiant dydį. Pav. Mes norime rasti veidą paveiksliuke. Kadangi mes nežinome kokio dydžio veidas bus paveiksle, mums reikia sugeneruoti skirtingo dydžio paveikslus ir juose atlikti veido paiešką.

3 Vaizdų piramidės Kaip pasigaminti mažesnio dydžio vaizdų piramidę. 1. Atliekame konvoliuciją su gauso filtru. (5x5) 2. Paimame kas antrą eilutę ir stulpelį. Gauname 4x karto mažesnį vaizdą. 3. Kartojame iki norimos sumažinimo ribos.

4 Vaizdų piramidės

5 Gauso piramidė

6 Laplaso piramidė

7 SIFT-scale invariant feature transform Privalumai: 1. Invariantiškas rotacijai 2. Invariantiškas dydžio pokyčiams 3. Invariantiškas apšvietos pokyčiams 4. Invariantiškas kameros pozicijos(viewpoint) pokyčiams Pirmas algoritmo žingsnis sukonstruoti scalespace.

8 SIFT

9 SIFT

10 SIFT Vienoje oktavoje yra 5 suglodinti to paties dydžio vaizdai. Sekančios oktavos pirmas vaizdas yra generuojamas taip pat kaip ir gauso piramidės atveju. Geras klausimas - kaip glodinti tos pačios oktavos vaizdus. Gauso glodinimo funkcija apsirašo taip:, kur sigma reiškia "amount of blur". Didesnis sigma reiškia labiau suglodintą vaizdą. Lentelėje matome galimą sigmą parametrų parinkimą.

11 SIFT - DOG LOG- laplasian of gausian. Padarome convoliucija su gausu. Paskaičiuojame antro lygio išvestinę. Tokiu būdu surandame kampus bei kraštus. Tokios vietos yra "keipoints", kuriose galimai slepiasi informacija apie vaizdą. Kadangi LOG yra sudėtingai apskaičiuojamas, mes sukčiaujame ir skaičiuojame DOG - difference of gaussians. Kaip jau suprantate, oktavas skaičiavome tam, kad pagreitintume DOG skaičiavimą. DOG ~= LOG. Kadangi paveikslas vertas tūkstančio žodžių:

12 SIFT - DOG

13 SIFT - keypoint Keypoints randami taip: Surasti DOG min ir max, patikslinti (optional). Pirmas žingsnis begame per visus pixelius, ir lyginame su visais kaimynais, nepamiršdami viršutinių bei apatinių. x - keypoint, jei jis didesnis arba mažesnis už visus 26 kaimynus.

14 SIFT - keypoints Pagaliau suradome keypoints. Problema, jų pasirodo be galo daug. Problema sprendžiama taip: 1. removing low contrast features 2. removing edges. removing low contrast features - ši procedūra atliekama taip jei keipoint abs(dog(x,y)) < threshold, atmetam. removing edges - skaičiuojame du vienas kitam statmenus gradientus. 1. abu gradientai maži - flat region, paliekam. 2. vienas gradientų didelis(statmenas linijai), kitas mažas (lygiagretus linijai), atmetam.

15 SIFT - orentacija Orentacijos, skaičiuojamas kiekvienam keypoint ir jo aplinkai. Kuo didesnis keypoint scale, tuo didesnė ir aplinka.

16 SIFT - orentacija Dabar reikia surasti dominuojančia orentaciją. Pagaminame histogramą su 36 stulpeliais, vienas stulpelis apima 10 laipsnių. Sudedame atitinkamas orentacijas į atitinkamus "bin". Kuo gradiento magnitudė didesnė tuo daugiau idedame į atitinkamą bin.

17 SIFT - orentacija Jei keypoint turi dominuojančią orientaciją, ji jam yra priskiriama. Jei turime kelias dominuojančias orentacijas, tai kuriame naują identišką keypoint, tik priskiriame jam kitą dominuojančią orientaciją. Mes jau turime dydžio ir rotacijos invariantiškumą. Liko tik kiekvienam keypoint priskirti unikalų "antspaudą" (fingerprint), kuriuo naudosimės atskiriant vieną keypoint nuo kito.

18 SIFT - feature Paimame 16x16 langą apei keypoint. padaliname į 16 4x4 langų. Kiekviename 4x4 lange suskaičiuojame gradientą ir jų kryptis. Ir sudarome 8 bin histogramą.

19 SIFT - feature 8 bin histograma formuojama taip pat kaip ir dominuojančios orentacijos atveju, tik įdėjimo dydis priklauso ne tik nuo magnitudės bet ir nuo atstumo iki keypoint. Tai padaroma visas magnitudės vertes padauginant iš gauso kernelio. Tokiu būdu jūs paskaičiavote vieno 4x4 kvadrato 8 bin histogramą. Jeigu sujungsime visas 16 histogrąmų gausime 128 skaitmenų vektorių - tai mūsų keypoint fingerprint. Jį dar reikia normalizuoti padalinant iš šaknies iš kvadratų sumos.