Вы можете добавить в микшер всех участников, и играть для каждого из них его поток b-a1b, b-a2b и т.п. Если нескольких участников необходимо заглушить, чтобы они только слушали, но не говорил, это можно сделать запросом /mixer/setAudioVideo, например
POST /rest-api/mixer/setAudioVideo HTTP/1.1...