C28 · Нейросетевые методы
Проверяем нейросетевые результаты
Красивый ответ — начало проверки. Меняем постороннюю подсказку, закрываем участок и отделяем score от достоверности.
Теория
Верный ответ по неправильной причине
Если в обучающих снимках класса часто встречается метка больницы, фон студии или особый формат файла, модель может использовать его вместо нужного признака. Это shortcut — посторонняя подсказка. При изменении камеры, освещения или источника данных возникает domain shift: прежняя статистическая связь может исчезнуть.
В открытом правиле ниже score зависит от среднего объекта и яркости угловой метки. Это не обученный классификатор: его устройство специально видно целиком. Оставляя объект прежним и меняя метку, получаем контролируемую проверку зависимости, а не впечатление от цветной тепловой карты.
Проверка посторонней подсказки
Объект в двух изображениях одинаковый; изменена только угловая метка. Сначала сравни оценки до и после. Затем убери зависимость от метки, поставив её вес в 0: исчезнет ли разница, хотя сами изображения всё ещё различаются?
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Разобрать выбранную точку
Что показывает график
Меняется score при той же правильной категории объекта. Это точный контрпример устойчивости для объявленного правила, а не результат скрытой обученной модели.
- Score до
- 0.832
- Score после
- 0.31
- Разница
- -0.522
Параметры и подробности
Открытый ручной классификатор: sigmoid(2·(среднее объекта−0,5)+w·(среднее метки−0,5)). Он не обучен и не распознаёт форму. Его score в 0…1 — не проверенная вероятность. Правильный класс объекта от посторонней метки не меняется.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Вмешательство полезно, но имеет границы
Occlusion закрывает участок и пересчитывает результат. Если score сильно меняется, участок важен для этого вмешательства. Но значение заполнения создаёт новое изображение; модель могла реагировать на саму искусственную заплатку. Градиентная saliency показывает локальную чувствительность, feature visualization ищет вход, усиливающий признак: это разные вопросы.
Структурное поле восприятия говорит, откуда может прийти информация. Attention описывает одно смешивание. Ни одно из них отдельно не гарантирует причинную интерпретацию или правильность класса. Нужны несколько согласованных проверок, контрпримеры и сравнение с базовыми методами.
Закрываем участок и проверяем изменение
Нажми на изображение, чтобы перенести закрывающий квадрат 4×4. Сначала закрой метку в углу, затем середину объекта: где оценка изменится сильнее? Форма и метка имеют разные роли в нашем открытом правиле; закрашивание не является доказательством понимания объекта.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Разобрать выбранную точку
Что показывает график
Сильное изменение выявляет зависимость данного правила от участка при данном заполнении. Оно само по себе не объясняет семантику и не доказывает перенос на другие данные.
- Score до
- 0.832
- Score после
- 0.5062
- Разница
- -0.3258
Параметры и подробности
Открытый ручной классификатор: sigmoid(2·(среднее объекта−0,5)+w·(среднее метки−0,5)). Он не обучен и не распознаёт форму. Его score в 0…1 — не проверенная вероятность. Правильный класс объекта от посторонней метки не меняется.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Новый набор меняет проверку, температура — уверенность
Один контрпример обнаруживает зависимость, но для оценки нужна серия размеченных независимых примеров. Здесь 40 пар: яркость объекта выше 0,5 означает класс 1, ниже — класс 0. Угловая метка — посторонняя информация. На первом наборе она удобна, на втором мешает. Меняется набор проверки, а не уже выбранное правило.
Точность — доля правильно выбранных классов. Уверенность — число, которым правило сопровождает свой выбор. Для калибровки собираем ответы с похожей уверенностью и сравниваем её с долей верных в группе. Диагональ означает совпадение этих двух чисел. Температура делит logit перед sigmoid; его знак сохраняется, поэтому неправильные классы от неё не исправляются.
Проверка на новых данных и проверка уверенности
В каждой клетке отдельный пример. Сначала метка совпадает с классом объекта. Переключи набор: объект и правильный класс не изменились, но связь с меткой обратная. Затем поставь вес метки 0. Температурой меняй уверенность: исправляются ли от этого неверно выбранные классы?
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
- Объект и метка дают logit
- Score после температуры
- Ошибка: выбранный класс не совпал с эталоном
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Разобрать выбранную точку
Что показывает график
Объединяем примеры по уверенности с шагом 0,2. Точка под диагональю означает завышенную уверенность этой группы. У 40 специально созданных примеров мало разнообразия; это объяснение подсчёта, не доказательство калибровки на реальных данных.
- Совпадение уверенности и частоты
- Группы текущего набора
- Группа 1: 0.7484; 1
- Группа 2: 0.8438; 1
Точность проверяет классы. Калибровка сравнивает уверенность с реальной частотой правильных ответов. Температура сохраняет выбор класса: менее уверенный неправильный ответ остаётся неправильным. Независимый тест нельзя использовать для подбора веса или температуры.
- Правильных из 40
- 40
- Средняя уверенность
- 0.7961
- Ошибка калибровки по группам
- 0.2039
Параметры и подробности
Каждая клетка — отдельная заданная сцена, не пиксель одного изображения. В первом наборе метка совпадает с классом, во втором связь перевёрнута. Правило и порог неизменны. Эта маленькая проверка показывает сдвиг распределения, но не оценивает реальную сеть. Температура здесь выбрана вручную, не подобрана по тестовым ответам.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Уверенность, данные и воспроизводимость
Softmax или sigmoid выдаёт число в 0…1, но это ещё не проверенная вероятность. Калибровка сравнивает заявленные уверенности с частотой верных ответов на независимых данных. Неопределённость данных и неопределённость модели — разные источники. Для реконструкции неизвестного оригинала нельзя посчитать честный PSNR к этому оригиналу.
Разделяй данные по независимым людям, сценам или времени, когда это соответствует применению. Дубликаты и почти одинаковые соседние кадры между train и test создают утечку. Зафиксируй версию весов, предобработку, пороги, источник данных и метрики по подгруппам. Абляция меняет один компонент, чтобы проверить его вклад; высокий общий балл не снимает локальных ошибок.
Квантизация уменьшает точность чисел и иногда размер/стоимость, но требует повторной проверки качества и реальных измерений памяти и задержки. Локальная обработка защищает от отправки файла на сервер только если код действительно не отправляет его. Ни водяной знак, ни детектор синтетики не дают универсального доказательства происхождения любого изображения.
Практика
Проверь идею на другом условии. Следуй задаче над изображениями; разбор точки поможет объяснить результат. Эта практика не оценивается.
Исправить выбор или только изменить уверенность?
Связь метки с классом перевёрнута. Сначала попробуй изменить температуру: меняется ли число верных из 40? Затем убери вес метки. Объясни, какое действие поменяло само правило выбора, а какое только уверенность. В реальном проекте такие решения принимают по валидации, а итоговый независимый тест используют после фиксации решения.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
- Объект и метка дают logit
- Score после температуры
- Ошибка: выбранный класс не совпал с эталоном
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Разобрать выбранную точку
Что показывает график
Объединяем примеры по уверенности с шагом 0,2. Точка под диагональю означает завышенную уверенность этой группы. У 40 специально созданных примеров мало разнообразия; это объяснение подсчёта, не доказательство калибровки на реальных данных.
- Совпадение уверенности и частоты
- Группы текущего набора
- Группа 1: 0.5497; 0.1667
- Группа 2: 0.6844; 0
Точность проверяет классы. Калибровка сравнивает уверенность с реальной частотой правильных ответов. Температура сохраняет выбор класса: менее уверенный неправильный ответ остаётся неправильным. Независимый тест нельзя использовать для подбора веса или температуры.
- Правильных из 40
- 2
- Средняя уверенность
- 0.644
- Ошибка калибровки по группам
- 0.594
Параметры и подробности
Каждая клетка — отдельная заданная сцена, не пиксель одного изображения. В первом наборе метка совпадает с классом, во втором связь перевёрнута. Правило и порог неизменны. Эта маленькая проверка показывает сдвиг распределения, но не оценивает реальную сеть. Температура здесь выбрана вручную, не подобрана по тестовым ответам.
Выбери точку на изображении. Стрелки перемещают её; Home и End — к краям строки. Просмотр не изменяет вычисление.
Для изменения примера нужен JavaScript и Canvas. Рассчитанные изображения доступны выше.
Игры
Проверь объяснение
Вопрос 1 из 5
Score 0,99 сам по себе доказывает 99% вероятность правильности?
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Точные значения — в разборе точки
Серая шкала 0…1: от чёрного к белому.
Точные значения — в разборе точки
Цвет обозначает категорию, а не величину.
Выбери один ответ. Он проверится сразу.
Ограничения и материалы
Границы этого примера
Ручной классификатор — прозрачный контрпример, не обученная система и не оценка реальной точности. Покрытие темы не является сертификацией модели, универсальным детектором подделок или измерением конкретного устройства.