Если бы все стримы начали записываться, например в H.264, то для тех что в VP8 начал бы включаться транскодниг.
Один стрим с транскодингом мог бы съесть 1-2 физических ядра на перекодирование потока.
Поэтому такой опции нет.
Если вам нужно 1 стрим сохранить в H.264, проще перегнать его в H.264 с помощью ffmpeg.
Либо везде использовать H.264, для всех стримов.