C17 · Объекты и соответствия
Признаки, совмещение и движение
Найти похожее место легко только тогда, когда оно отличимо. Сначала проверим измеряемое смещение, потом — неоднозначность.
Теория
Сравниваем патчи, а не отдельные яркости
Один пиксель неотличим от многих других. Патч сохраняет рисунок соседей, а SSD суммирует квадраты разностей с кандидатом. На карте смещений тёмное значит малую ошибку. Координаты этой карты −3…3 — не координаты фотографии.
Пример создаёт второй кадр известным целочисленным переносом и ищет фиксированный патч 3×3. Яркости не меняются, границы заполняются нулём. В реальном кадре освещение, перекрытия и деформации могут нарушить это предположение; малый SSD тогда не всегда означает правильное соответствие.
Куда переместился патч
Слева отмечен патч 3×3, справа — его кандидат во втором кадре. Передвинь правую рамку и найди совпадение. Карта ошибок показывает все проверенные смещения от −3 до 3; нажатием на неё выбирается кандидат.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Разобрать выбранную точку
Что показывает график
Тёмная ячейка — малое среднее квадрата разностей. На однородном патче и повторяющейся текстуре минимум бывает неоднозначным.
- Минимальная ошибка
- 0
- Одинаковых минимумов
- 4
Параметры и подробности
Сравни рамки 3×3 в двух кадрах. Нажми ячейку карты ошибок или передвинь проверяемый патч во втором кадре. Тёмнее означает меньшее среднее квадрата разностей; обведены все равные минимумы. Истинное смещение меняет сами кадры, а проверяемое — только поиск соответствия.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Почему прямая граница оставляет свободу
Вдоль однообразной прямой границы изображение почти не меняется. Сдвиг вдоль неё выглядит так же, как отсутствие сдвига. Поэтому несколько кандидатов дают одинаковую ошибку: это апертурная проблема. Угол содержит изменения по двум направлениям и обычно информативнее.
Структурный тензор суммирует произведения локальных градиентов. Два малых собственных значения соответствуют плоскому месту, одно большое — краю, два заметных — углу. Harris использует эту структуру для выбора особенностей. Ни один детектор не превращает неоднозначный участок в точное измерение сам по себе.
Почему край не сообщает всё движение
Слева отмечен патч 3×3, справа — его кандидат во втором кадре. Передвинь правую рамку и найди совпадение. Карта ошибок показывает все проверенные смещения от −3 до 3; нажатием на неё выбирается кандидат.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Разобрать выбранную точку
Что показывает график
Вдоль прямой вертикальной границы несколько смещений дают одинаково малую ошибку. Выбор первого минимума не доказывает истинное движение.
- Минимальная ошибка
- 0
- Одинаковых минимумов
- 7
Параметры и подробности
Сравни рамки 3×3 в двух кадрах. Нажми ячейку карты ошибок или передвинь проверяемый патч во втором кадре. Тёмнее означает меньшее среднее квадрата разностей; обведены все равные минимумы. Истинное смещение меняет сами кадры, а проверяемое — только поиск соответствия.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Соответствия нужны с проверкой
Справка и следующие методы
SIFT и ORB строят особенности и описатели с разными компромиссами масштаба, поворота, скорости и устойчивости. Повторяющийся рисунок даёт ложные пары. RANSAC проверяет небольшие наборы соответствий общей геометрической моделью и ищет согласованную группу, но не гарантирует верность при неверной модели или нехватке данных.
Оптический поток оценивает смещение многих точек при предположениях о сохранении яркости и локальной согласованности. Движение объекта, движение камеры и видимый поток не одно и то же. Надёжный интерфейс должен показывать неоднозначность или отсутствие оценки, а не только уверенную стрелку в каждой точке.
Практика
Проверь идею на другом условии. Следуй задаче над изображениями; разбор точки поможет объяснить результат. Эта практика не оценивается.
Найди соответствие в другом направлении
Теперь перенос другой. Не меняй истинный сдвиг: перемещай только проверяемую рамку во втором кадре. Сначала сравни рисунок внутри рамок, затем подтверди выбор по карте ошибок.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Разобрать выбранную точку
Что показывает график
Нулевая ошибка означает совпадение этого патча при данных предположениях. На прямом крае одинаковых решений может быть несколько — это ограничение измерения, а не ошибка управления.
- Минимальная ошибка
- 0
- Одинаковых минимумов
- 2
Параметры и подробности
Сравни рамки 3×3 в двух кадрах. Нажми ячейку карты ошибок или передвинь проверяемый патч во втором кадре. Тёмнее означает меньшее среднее квадрата разностей; обведены все равные минимумы. Истинное смещение меняет сами кадры, а проверяемое — только поиск соответствия.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Игры
Проверь объяснение
Вопрос 1 из 5
У вертикального однообразного края одинаковая ошибка для разных dy. Почему?
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Выбери один ответ. Он проверится сразу.
Ограничения и материалы
Границы этого примера
Расчёт — исчерпывающий SSD одного патча на двух синтетических кадрах, не полноценный SIFT/ORB, RANSAC или плотный flow. Неоднозначность показана реальными одинаковыми ошибками.