Метрики и thresholds для phishing warnings
Как выбрать thresholds для предупреждения о phishing и какие метрики мониторить в production?
Короткий ответ
Выбирать threshold по стоимости false positive/false negative, делать разные policy bands и мониторить precision, recall proxies, complaints, bypasses and incident rate.
Полный разбор
Вместо одного порога лучше иметь зоны: allow, warn, strong warn/block, manual/async review. Threshold зависит от confidence, бренда, user segment, freshness threat intel и стоимости ошибки. Для банковского phishing false negative может быть очень дорогим, но массовые false positives ломают доверие и бизнес клиентов.
Monitoring: alert volume, warning CTR/bypass, confirmed phishing, false positive appeals, latency, cache hit rate, drift по доменам/хостингам, attack campaigns.
Теория
Threshold policy переводит model score в действие и должна отражать бизнес-стоимость ошибок.
Типичные ошибки
- Ставить threshold только по F1.
- Не разделять warn и block.
- Не мониторить appeals/complaints.
Как отвечать на собеседовании
- Скажи, что для разных action bands нужны разные precision/recall tradeoffs.