ВопросСложнаяПроектирование ML-системВопрос про production ML на техническом собеседовании · Samsung
адаптивная маршрутизация по GPU для LLM serving
В LLM serving есть несколько GPU-воркеры. Почему наивная round-robin маршрутизация может быть неэффективным, и как спроектировать адаптивный слой маршрутизации, который учитывает запас GPU-памяти и переиспользование KV cache?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.