В webM записывается потому, что браузер устройства не поддерживает кодек H.264.
Поэтому запись проходит в VP8+Vorbis=webM. Звук битый - это баг. Тикет WCS-2719. Сообщим когда проблема будет решена.
Мы провели тест записи публикации VP8+opus из примера Media Devices, запись запускалась по REST API /stream/StartRecording, в сборке 5.2.621 запись webm в VLC проигрывалась со звуком. В более ранних сборках webm также записывался и воспроизводился нормально. Попробуйте откатиться на сборку 5.2.607, которая установлена на demo.flashphoner.com, в этой сборке VP8 также записывается с нормальным звуком, и ожидайте фикса по WCS-2719.