Добрый день!
Если речь идет про запись одного длительного стрима, то потоки могут записываться частями заданной длительности или объема при помощи параметра record_rotation в файле Flashphoner.properties.
Например:
задает длительность файла в 20 секунд
задает размер файла 10 мб.
Таким образом можно задать нужные параметры, что бы вся запись умещалась в один файл.
Подробнее о ротации файлов
Если речь идет про несколько стримов (несколько раз делали publish/stop/publish/stop/ и т.д.) и файлов сформировалось по числу таких стримов, то, в таком случае, напрямую в один файл записать не получится.
Для того что бы записать несколько последовательных стримов в один файл можно
добавлять эти стримы в микшер и записывать выходной поток микшера.
Или склеить файлы записей в один при помощи ffmpeg.
Оба варианта - микширование и склейка файлов - приведут к повышенной нагрузке на CPU сервера. Но склеивать записи можно на стороннем мощном сервере.