Посмотрите, пожалуйста, эту статью, возможно, чем-то поможет Как использовать Docker для WebRTC в продакшене?
Мы не рекомендуем использовать докер-инстансы под нагрузкой, тем более транскодировать на них что-то. Все известные нам крупные CDN, использующие транскодинг, работают на железных...