Samsung LLM Inference Screening: adaptive GPU routing

Выводы и как готовиться

• Для LLM serving важно говорить о runtime-состоянии workers: очередь, память под KV cache, prefill/decode нагрузка и tail latency.
• Сильный production answer связывает идею с измеримым эффектом: throughput, p95 latency, TTFT, cache hit rate и OOM risk.
• На research/team-fit вопросах лучше честно отделять proprietary engineering от public publications.