Дискриминативные и генеративные модели
Есть дискриминативные и генеративные модели. Чем они отличаются с математической точки зрения? Приведите примеры современных генеративных моделей.
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Дискриминативная модель учит предсказание target по input, часто p(y|x) или decision boundary. Генеративная модель учит распределение данных или механизм сэмплирования: p(x), p(x|y) или joint distribution. Примеры: diffusion models, GAN, VAE, normalizing flows, autoregressive transformers.
Полный разбор
Дискриминативная постановка фокусируется на предсказании: classification, regression, ranking, detection. В вероятностной форме это часто p(y|x), то есть распределение ответа при данном input, либо напрямую decision function.
Генеративная модель описывает, как данные могли быть порождены, и позволяет сэмплировать новые объекты. В зависимости от family она может моделировать p(x), p(x|y) или joint distribution. VAE задает latent distribution и decoder, normalizing flows используют invertible transformations, GAN обучает generator против discriminator, diffusion учит reverse denoising process, autoregressive transformers раскладывают генерацию по tokens.
Разные family имеют разные tradeoffs: GAN быстрые на inference, но нестабильны в обучении и могут страдать mode collapse; diffusion обычно стабильнее и качественнее, но сэмплирует итеративно; autoregressive models гибкие для sequence generation, но декодируют последовательно.
Теория
Discriminative modeling оптимизирует предсказание или границу решения; generative modeling учит распределение или процедуру генерации samples.
Типичные ошибки
- Говорить, что все generative models точно учат p(x, y).
- Перечислять GAN и diffusion без различия в обучении.
- Путать обычный autoencoder и VAE.
Как отвечать на собеседовании
- Возьмите p(y|x) vs modeling/sampling x как anchor.
- Дайте примеры из нескольких model families, не только LLM.