Scale-to-zero для LLM: на что уходят 294 секунды после первого запроса

Когда запросы к LLM приходят лишь несколько раз в день, GPU большую часть времени простаивает, но платить за ноду приходится круглосуточно. Хочется освобождать карту между запросами: удалять поды с моделью, когда нагрузки нет, и запускать их снова, когда она появляется. Для обычного веб-приложения такая схема работает… — Хабр — все публикации

Полный текст — у издания. Здесь — короткий анонс, тон подачи и то, как новость восприняли люди.