Когда transformer уместен в поиске и рекомендациях
Почему transformer может быть полезен для поиска/рекомендаций, и когда он избыточен?
Ответить самому
Сначала сформулируйте ответ как на собеседовании, затем откройте разбор и оцените себя.
Короткий ответ
Transformer полезен для sequence/context interactions и мультимодальных признаков, но для candidate retrieval часто нужен более дешевый two-tower/ANN слой.
Полный разбор
Transformer хорошо моделирует взаимодействия между элементами последовательности, контекстом, текстом и визуальными признаками. Он уместен в reranker, session-based recommendations, query-document matching и задачах, где важна комбинация признаков, а не независимый embedding каждого item.
Для широкого candidate generation transformer часто слишком дорог: latency и стоимость растут с числом кандидатов. Практичная архитектура обычно двухступенчатая: дешевый retrieval/two-tower/ANN дает top-K, затем transformer или cross-encoder дороже пересчитывает короткий список.