ВопросСредняяПроектирование ML-системВопрос про production ML на скрининге · LLM-роль в Dubai, компания не подтверждена
Обслуживание LLM с открытым исходным кодом на сервере с несколькими GPU
У вас есть сервер с несколькими GPU и вы хотите разместить один или несколько LLM с открытым исходным кодом. Какой программный стек и выбор дизайна вы бы использовали?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.