Распознавание жестов рук (PCA) - Python

Я пытаюсь распознать жесты рук с помощью анализа основных компонентов (PCA) с использованием python. Я следую инструкциям в этом руководстве: http://onionesquereality.wordpress.com/2009/02/11/face-recognition-using-eigenfaces-and-distance-classifiers-a-tutorial/

Вот мой код:

import os
from PIL import Image
import numpy as np
import glob
import numpy.linalg as linalg


#Step 1: put training images into a 2D array
filenames = glob.glob('C:\\Users\\Karim\\Desktop\\Training & Test images\\New folder\\Training/*.png')
filenames.sort()
img = [Image.open(fn).convert('L').resize((90, 90)) for fn in filenames]
images = np.asarray([np.array(im).flatten() for im in img])


#Step 2: find the mean image and the mean-shifted input images
mean_image = images.mean(axis=0)
shifted_images = images - mean_image


#Step 3: Covariance
c = np.asmatrix(shifted_images) * np.asmatrix(shifted_images.T)


#Step 4: Sorted eigenvalues and eigenvectors
eigenvalues,eigenvectors = linalg.eig(c)
idx = np.argsort(-eigenvalues)
eigenvalues = eigenvalues[idx]
eigenvectors = eigenvectors[:, idx]


#Step 6: Finding weights
w = eigenvectors.T * np.asmatrix(shifted_images)  
w = np.asarray(w)


#Step 7: Input (Test) image
input_image = Image.open('C:\\Users\\Karim\\Desktop\\Training & Test images\\New folder\\Test\\31.png').convert('L').resize((90, 90))
input_image = np.asarray(input_image).flatten()


#Step 8: get the normalized image, covariance, eigenvalues and eigenvectors for input image
shifted_in = input_image - mean_image
c = np.cov(input_image)
cmat = c.reshape(1,1)
eigenvalues_in, eigenvectors_in = linalg.eig(cmat)


#Step 9: Fing weights of input image
w_in = eigenvectors_in.T * np.asmatrix(shifted_in) 
w_in = np.asarray(w_in)


#Step 10: Euclidean distance
df = np.asarray(w - w_in)                # the difference between the images
dst = np.sqrt(np.sum(df**2, axis=1))     # their euclidean distances
idx = np.argmin(dst)                     # index of the smallest value in 'dst' which should be equal to index of the most simillar image in 'images'
print idx

Детектируемое изображение должно быть ближайшим из обучающих изображений к тестовому, но результат получается совершенно другим, хотя для каждого тестового изображения в обучающем изображении есть 10 подобных изображений.

Кто-нибудь может помочь?


person user2229953    schedule 19.04.2013    source источник
comment
Почему бы не использовать np.cov(shifted_images) на шаге 3?   -  person lvc    schedule 20.04.2013


Ответы (1)


PCA на необработанных растровых изображениях — плохой алгоритм для распознавания лиц. Проще говоря, не ожидайте, что это действительно сработает с реальными изображениями лиц людей. Это полезно как инструмент обучения, но это все.

Попробуйте протестировать свой алгоритм на очень простых изображениях — подумайте о белых изображениях с черными фигурами в разных местах. PCA должен уметь это делать. Если это работает на тех, поздравляю, вы написали это правильно. Затем перейдите к более сложному алгоритму.

Или загрузите стандартный академический набор изображений лиц, который, как показали исследования, работает с PCA. Небольшие проблемы, такие как выравнивание и цвет, имеют решающее значение для такого простого алгоритма.

person Leopd    schedule 20.04.2013
comment
Я использую его для распознавания жестов рук и получаю неверные результаты. - person user2229953; 26.04.2013
comment
По крайней мере, используйте LDA вместо PCA. Он имеет точно такие же входы и выходы, но обеспечивает лучшую классификацию. - person Leopd; 26.04.2013
comment
Вы предлагаете определенный учебник для LDA, поскольку я понятия не имею об этом? - person user2229953; 27.04.2013
comment
Вы пытаетесь решить очень сложную проблему. Вам понадобится гораздо больше, чем простые уроки. Я рекомендую пройти этот отличный курс по машинному обучению: coursera.org/course/ml. - person Leopd; 27.04.2013