🤗 Hugging Face представил технику асинхронного батчинга для LLM, которая устраняет ключевой недостаток стандартного continuous batching — синхронное ожидание CPU и GPU. В обычном режиме процессор и в

Решение — разделить подготовку батча на CPU и вычисления на GPU, запустив их параллельно. Для этого используются CUDA streams (потоки) и CUDA events (события синхронизации). Потоки позволяют выполнять операции конкурентно, а события — корректно синхронизировать данные без блокировки GPU.