Рассыпание изображения в микшированном потоке.

[Ilya K.]

Здравствуйте. Было много похожих тем, везде рекомендации сводились к использованию TCP при публикации, уменьшения битрейта и разрешения. Здесь исходный поток публикуется в Safari, в нем проблем нет, если проигрывать его через наше приложение, либо через предоставляемые вами инструменты. Но после микширования этом потоке наблюдаются рассыпания. Файлы в отчете.
Параметры публикации:
const DEFAULT_CONSTRAINT_PARAMS = {
stream: {
width: 640,
height: 360,
frameRate: 15,
minBitrate: 400,
maxBitrate: 500,
audioBitrate: 128000,
},

 

[Max]

Добрый день.

Здесь исходный поток публикуется в Safari, в нем проблем нет, если проигрывать его через наше приложение, либо через предоставляемые вами инструменты. Но после микширования этом потоке наблюдаются рассыпания.

К сожалению, на предоставленном скриншоте трудно разглядеть артефакты.
Если артефактов нет при проигрывании исходного потока, но есть при проигрывании потока в микшере, это может означать проблемы с самим потоком (скачки битрейта), которые браузер компенсирует за счет jitter буфера. Микшер их компенсировать не может, у него такого буфера нет.
Для того, чтобы более точно поставить диагноз, необходимо собрать дебаговые логи для этого клиента и дамп трафика, как описано здесь. Сбор дампа необходимо начать до публикации этого потока. Поток необходимо публиковать по UDP, чтобы мы могли проиграть этот дамп у себя и подать этот поток в микшер.
Собранные данные отправьте при помощи этой формы (если размер архива превышает 20 Мб, то ссылку на файл в облаке).

 

[Ilya K.]

Спасибо за информацию. Да, в исходном потоке не наблюдается проблем, и это свойственно именно для публикации в Safari. Замечено на нескольких устройствах, с разными каналами. Постараемся собрать запрошенную информацию, на это может уйти время. Можем ли пока проверить варианты решения без неё?

 

[Max]

Можем ли пока проверить варианты решения без неё?

Уточните, пожалуйста, какого вида артефакты наблюдаются? Если макроблоки и акварель, то это выглядит как сброс битрейта. В этом случае, если проблема наблюдается у какого-то конкретного клиента, можно рекомендовать снизить границы битрейта, например 300-400 кбит/с, либо попробовать не ограничивать минимальный битрейт.

 

[Ilya K.]

Отправляю еще один скрин в отчете. В предыдущем отчете попробуйте обратить внимание на правую половину лица участника, там наблюдается тёмное пятно. В случае, если будут еще воспроизведения, пришлю.

 

[Max]

На первом скриншоте (screen.png) артефакты транскодирования, характерные для потерь на канале паблишера. В таких случаях рекомендуем бороться с потерями: использование TCP, снижение максимального битрейта публикации, смена канала.
На втором скриншоте (screen2.png) похоже на сброс битрейта, но и сама картинка, которую дает камера, выглядит не очень качественной. В таких случаях можно ограничить только минимальный битрейт снизу, чтобы по возможности предотвратить его сбросы, максимальный можно не ограничивать. Это поможет, если битрейт сбрасывает браузер. Если причина в камере, то это не поможет, конечно.