C25 · Нейросетевые методы
Задачи и выходы компьютерного зрения
Одна сцена, разные вопросы: категория, рамка, экземпляр, глубина или движение.
Теория
Сначала вопрос, потом тип ответа
Классификация даёт категорию всему изображению. Локализация добавляет положение одного объекта, детекция — набор рамок и категорий нескольких объектов. Семантическая сегментация назначает класс каждой точке; instance segmentation различает отдельные объекты одного класса. Паноптическая разметка объединяет экземпляры объектов с областями вроде неба и дороги.
У одной красной фигуры и другой красной фигуры может быть одинаковый семантический класс, но разные номера экземпляров. Номер — категориальная метка: нельзя усреднить экземпляры 1 и 2 и получить объект 1,5. Для каждой задачи нужны соответствующая разметка и проверка.
Класс или отдельный объект
Одна и та же сцена отвечает на разные вопросы. Сравни целый класс, две рамки, общую маску и отдельные экземпляры. В пороговом режиме слева появится именно красный канал: выбирай пиксель и проверяй сравнение R с порогом.
Точные значения — в разборе точки
RGB; диапазон показа 0…1
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Разобрать выбранную точку
Что показывает график
Класс не локализует объект. Рамка не повторяет его точную форму. Общая маска не различает два экземпляра одного класса. Порог проверяет число, а не распознаёт смысл.
- Объектов
- 2
- Классов объектов
- 1
Параметры и подробности
Один вход, разные форматы ответа. Класс — одно имя; рамки — положения; маски — метки отдельных пикселей; экземпляры — ещё и разные имена объектов. Только пороговый режим вычисляет предсказание простым открытым правилом по видимому R. Эталон и результат правила не подменяют друг друга.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Рамки: совпадение, дубликаты и пропуски
IoU делит площадь пересечения рамок на площадь объединения. Для оценки детектора сопоставляют предсказания с эталонами по заданным правилам, учитывают ложные обнаружения и пропущенные объекты. Один высокий score не означает точную рамку.
Proposal-based детектор сначала предлагает области, dense-head предсказывает на сетке; anchors задают опорные рамки, anchor-free варианты их не используют так же. NMS удаляет часть пересекающихся предсказаний по score и IoU, но может убрать соседние реальные объекты. DETR формулирует ответ как множество и обучается через взаимно-однозначное сопоставление, поэтому его не надо объяснять как обязательную цепочку с NMS.
Насколько совпали рамки
Сдвигай кандидат относительно эталона. Тёмная категория пересечения растёт или уменьшается вместе с точным IoU.
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Разобрать выбранную точку
Что показывает график
IoU=1 означает одинаковые рамки; IoU=0 — отсутствие пересечения. Уверенность классификатора и качество локализации — разные величины.
- IoU
- 0.5556
Параметры и подробности
Рамки заданы на общей сетке: считаем точную площадь пересечения и объединения, включая часть рамки за краем изображения. IoU — геометрическое совпадение, а не вероятность класса. NMS использует IoU между предсказаниями, а не с эталоном.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Каждая выходная величина имеет смысл и единицы
Справка и следующие методы
Ключевые точки — координаты суставов или других ориентиров. Глубина — расстояние или обратная глубина в оговорённой системе; одна обычная фотография не фиксирует абсолютный масштаб сцены без дополнительных предположений. Оптический поток — двумерное смещение точки между двумя кадрами, а не скорость в метрах в секунду без калибровки и времени.
Для маски важны класс и граница; для рамки — положение; для восстановленного изображения — детали и согласие с измерениями. Cross-entropy обучает категориальные ответы, регрессионная ошибка — численные значения, но метрики задачи оценивают их последствия. Спектрально-пространственная модель принимает не обязательно три RGB-канала: полосы имеют реальные длины волн, а разбиение на обучение и тест должно исключать утечку соседних участков одной сцены.
Практика
Проверь идею на другом условии. Следуй задаче над изображениями; разбор точки поможет объяснить результат. Эта практика не оценивается.
Отделить объекты одним видимым каналом
При пороге 0,7 часть настоящих объектов потеряна. Найди порог, который сохранит оба объекта и удалит фон. Выбери тёмную клетку внутри объекта и яркую клетку фона: между какими двумя значениями должен лежать порог? Затем сравни с экземплярами: хорошая двоичная маска сама по себе не присвоила каждому объекту имя.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
- Сравнить R с порогом
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Разобрать выбранную точку
Что показывает график
Класс не локализует объект. Рамка не повторяет его точную форму. Общая маска не различает два экземпляра одного класса. Порог проверяет число, а не распознаёт смысл.
- Объектов
- 2
- Классов объектов
- 1
Параметры и подробности
Один вход, разные форматы ответа. Класс — одно имя; рамки — положения; маски — метки отдельных пикселей; экземпляры — ещё и разные имена объектов. Только пороговый режим вычисляет предсказание простым открытым правилом по видимому R. Эталон и результат правила не подменяют друг друга.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Игры
Проверь объяснение
Вопрос 1 из 5
Два красных объекта относятся к одному классу. Какой выход прямо различает каждый объект?
Точные значения — в разборе точки
RGB; диапазон показа 0…1
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Точные значения — в разборе точки
RGB; диапазон показа 0…1
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Выбери один ответ. Он проверится сразу.
Ограничения и материалы
Границы этого примера
Все маски и рамки здесь заданы или вычислены простыми открытыми правилами. Нет обученного детектора, глубины или потока по произвольной фотографии.