Анализ и обработка изображений. Классификация изображений и распознавание объектов.
•
2 likes•17,824 views
Курс лекций Натальи Васильевой
Report
Share
Анализ и обработка изображений. Классификация изображений и распознавание объектов.
- 1. Анализ изображений и видео Наталья Васильева nvassilieva@hp.com HP Labs Russia 9 ноября 2012, Computer Science Center Лекция 7: Классификация изображений и распознавание объектов.
- 2. 2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Вопросы (время на ответы 15 минут) 1. Преобразуйте цепной код 11076765543322 так, чтобы он стал инвариантным по отношению к выбору начальной точки и к повороту. 2. Дано изображение шахматного поля с клетками размером nxn пикселей. Какие параметры сдвига будут порождать матрицу смежности диагонального вида? 3. К каким трансформациям изображения не инвариантен детектор Харриса? 4. Какая индексная структура требует меньшего объема памяти для организации индекса: kD-tree или Vocabulary tree? 5. Какова вероятность коллизии для двух объектов x и y при использовании b- битных хеш-кодов и t независимых хеш-таблиц, если известно что sim(x,y)=p? a) pt b) 1 – (1 – pb)t c) b(1 – pt)
- 3. 3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Классификация, кластеризация Зачем сравнивать изображения? Обучающее множество: изображения и метки класса Модель классификатора Обучение классификатора: сопоставление особенностей изображений меткам классов Обучение Тестирование Тестовое изображение Сопоставление тестового изображения модели классификатора Предсказанные классификатором классы: – open outdoor
- 4. 4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Обнаружение объектов Зачем сравнивать изображения?
- 5. 5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Мы бы хотели... Зачем сравнивать изображения? • чтобы компьютер «понимал» семантику сцены на изображении • автоматически распознавать что и где изображено • категоризировать и идентифицировать объекты, определять их свойства и отношения Slide credit: M. Everingham
- 6. 6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Разные уровни обобщения Что считать похожими объектами? • Один и тот же объект в разные моменты времени (слежение/tracking) • Один и тот же объект в разных позах, в разных условиях, с разным фоном (распознавание лиц) • Разные объекты одной категории (обнаружение объектов/object detection)
- 7. 7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Разные уровни локализации Что есть распознанный объект? • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification) • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization) • Известны пиксели, принадлежащие объекту объектная сегментация (object segmentation) Slide credit: M. Everingham
- 8. 8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Уровни обобщения Уровнилокализации просто сложно Определение категории и объектная сегментация Определение категории и выделение объекта на изображении Определение категории объекта на изображении
- 9. 9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Стул Найдем стул на этом изображении Корреляция с шаблоном Насколько сложна задача выделения объекта? Slide credit: А. Torralba
- 10. 10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Найдем стул на этом изображении Простое сопоставление шаблонов не решает задачу Насколько сложна задача выделения объекта? Slide credit: А. Torralba
- 11. 11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: разные ракурсы/позы объекта Slide credit: M. Everingham
- 12. 12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: разный масштаб Slide credit: M. Everingham
- 13. 13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: изменение освещения Slide credit: M. Everingham
- 14. 14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: фон Slide credit: M. Everingham
- 15. 15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Cложности: перекрытия Slide credit: M. Everingham
- 16. 16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: деформируемые объекты Slide credit: M. Everingham
- 17. 17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Сложности: внутривидовые различия Slide credit: M. Everingham
- 18. 18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Как выделить общие свойства свойства объектов из одной категории? Определить «с потолка» абстрактную модель непросто Проще обучить модель на примерах Slide credit: M. Everingham
- 19. 19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Общая схема решения Использование классификатора: • Представление изображения или его фрагмента в виде вектора признаков: • Обучение классификатора • Классификация векторов признаков Извлечение признаков Классификатор машина/не машина f( )
- 20. 20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Какие признаки использовать? Какие свойства объектов являются ключевыми? Зависят ли ключевые свойствва и признаки от категории? Как достичь необходимой инвариантности? Slide credit: M. Everingham
- 21. 21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Какие признаки использовать? 0 500 1000 1500 2000 2500 0 50 100 150 200 250
- 22. 22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Какие признаки использовать?
- 23. 23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Как обучить классификатор? Как построить разделяющую поверхность? Как добиться необходимого уровня обощения модели классификатора? Как учесть дополнительные априорные знания? Slide credit: M. Everingham
- 24. 24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Различные варианты разметки обучающего множества Slide credit: M. Everingham
- 25. 25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Модели: Generative vs. Discriminative
- 26. 26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Модели: Generative vs. Discriminative 0 10 20 30 40 50 60 70 0 0.05 0.1 x = data • Generative model 0 10 20 30 40 50 60 70 0 0.5 1 x = data • Discriminative model 0 10 20 30 40 50 60 70 80 -1 1 x = data • Classification function Slide credit: А. Torralba
- 27. 27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Discriminative methods 106 examples Nearest neighbor Shakhnarovich, Viola, Darrell 2003 Berg, Berg, Malik 2005 … Neural networks LeCun, Bottou, Bengio, Haffner 1998 Rowley, Baluja, Kanade 1998 … Support Vector Machines and Kernels Conditional Random Fields McCallum, Freitag, Pereira 2000 Kumar, Hebert 2003 … Guyon, Vapnik Heisele, Serre, Poggio, 2001 … Slide credit: А. Torralba
- 28. 28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Классификация для разных подзадач и типов объектов • Определение категории сцены/объекта Подход: классификация признаков изображения (глобальных или локальных) без выделения и анализа отдельных объектов/частей • Выделение объектов Подход: классификация локальных признаков фрагментов изображения (скользящее окно) • Объекты как множество составляющих их частей Подход: классификация локальных признаков составляющих частей объектов с учетом их взаимного расположения
- 29. 29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Определение категории объекта • Объект (сцена) присутствует на изображении классификация, категоризация изображений (image classification)
- 30. 30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Определение категории: пример Slide credit: M. Everingham
- 31. 31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 32. 32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 33. 33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 34. 34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 35. 35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 36. 36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 37. 37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 38. 38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 39. 39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 40. 40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 41. 41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Выделение объекта • Известно местоположение объекта, объект выделен на изображении обнаружение, выделение, локализация объекта (object detection, localization)
- 42. 42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование классификатора Набор фрагментов … и принимается решение относительно категории каждого фрагмента («монитор» или «не монитор»). Decision boundary Монитор Фон В пространстве признаков Где мониторы? Изображение разбивается на фрагменты (возможно пересекающиеся) Slide credit: А. Torralba
- 43. 43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование скользящего окна Полный перебор всех позиций и размеров окна!
- 44. 44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование скользящего окна Полный перебор всех позиций и размеров окна!
- 45. 45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Использование скользящего окна Полный перебор всех позиций и размеров окна!
- 46. 46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 47. 47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Добавим информацию о пространственном расположении в модель «мешка слов» Slide credit: M. Everingham
- 48. 48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Добавим информацию о пространственном расположении в модель «мешка слов» Slide credit: M. Everingham
- 49. 49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Можно использовать пирамиду Slide credit: M. Everingham
- 50. 50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 51. 51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 52. 52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 53. 53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Добавление искусственных положительных примеров в выборку Jittering Отображения, повороты, сдвиги, изменение масштаба, добавление шума
- 54. 54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 55. 55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Детектор Violo-Jones • «Быстрые», «простые» признаки объектов • Интегральные изображения, свертка с прибиженным базисом Хаара • Использование адаптивного бустинга (AdaBoost) для выбора наиболее информаитвных признаков • Использование каскада классификаторов для быстрой отбраковки не- объектов Основные идеи:
- 56. 56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 2 3 Slide credit: M. Everingham
- 57. 57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Everingham
- 58. 58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Part arrangement models • Объекты, как набор составных частей • Вероятностная модель присутствия объекта на изображении: P(Object|Image) • Вероятность наличия объекта зависит от: • Вероятности наличия необходимых частей объекта «в нужных местах»: P(part k is at [xk,yk]|Image) • Вероятности «правильного» расположения частей относительно друг друга P(part 1 is at [x1,y1]|Image) && P(part 2 is at [x2,y2]|Image) && …
- 59. 59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Part arrangement models • Голосование • Ограничение на углы • Использование Марковских случайных полей
- 60. 60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
- 61. 61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
- 62. 62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Slide credit: M. Irani
- 63. 63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Заключение • Определение категории и выделение объектов решается при помощи классификации • Определение категории: классификация локальных (глобальных) признаков с использованием машинного обучения • Выделение объекта – использование скользящего окна • Проблемы • Репрезентативность обучающей выборки • Bootstrapping and jittering • Скорость работы • Каскады классификаторов • Зависимость от контекста