Failed by ICE timeout

[Artem]

Добрый день!

На сервере идет несколько стримов. На одном из них часть пользователей начинает отваливаться с ошибкой Failed by ICE timeout и не могут переподключиться. На другом стриме в это время все нормально.

В логах много такого:
0;WebRTC;1813_598952_1589523710306;65a65430-9679-11ea-a627-1bd6a59b8c7d;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/116.203.205.186:49557/10.129.0.5:8443-11220569-c50f-4af5-9bcd-d7ab39a5c50c;
2020-05-15 06:22:12;WebRTC;1813_598952_1589523710306;696a5350-9674-11ea-a616-5993cc011636;00:35:55;PLAYING;;;SUBSCRIBE;0;/89.23.213.157:50035/10.129.0.5:8443-8b351516-6848-4495-a434-bd16c786e07c;
0;WebRTC;1813_598952_1589523710306;682adc30-9679-11ea-9dc9-c7bd4b52beca;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/86.62.69.116:58063/10.129.0.5:8443-2a6c4080-438c-43b9-9d55-112483e9abcc;
0;WebRTC;1813_598952_1589523710306;6a10b330-9679-11ea-8855-d7a12dd17af4;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/94.29.88.41:50016/10.129.0.5:8443-8e11a4d6-4b85-4813-a4fd-28a2a123e751;
0;WebRTC;1813_598952_1589523710306;6adbcb60-9679-11ea-99f0-c1857273d84b;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/95.161.223.72:58431/10.129.0.5:8443-a5114f21-57ce-4b51-990b-cec2417b4cd1;
0;WebRTC;1813_598952_1589523710306;6c56d2a0-9679-11ea-99bc-b737f97d1fe3;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/5.130.49.70:63730/10.129.0.5:8443-bba6dfc7-91be-4137-9dfd-3e182b47c85a;
0;WebRTC;1813_598952_1589523710306;6c98bda0-9679-11ea-8112-21f727380abe;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/37.113.63.148:63007/10.129.0.5:8443-cfb8d443-ba93-45b2-8fc6-3fc199a3b814;
2020-05-15 06:21:50;WebRTC;1813_598952_1589523710306;5ca74420-9674-11ea-8f8c-e3dcaa920c24;00:36:45;FAILED;Stopped by session disconnect;;PUBLISH;159;/91.192.21.3:49622/10.129.0.5:8443-907158f7-2566-4f31-8f53-a059ec51c91a;

В чем может заключаться ошибка?
ЗЫ: отправил доступы к серверу на суппорт почту если требуется посмотреть логи/настройки

 

[Max]

Добрый день.
Попробуйте выставить настройку

dtls_close_socket_after_tries=30

 

[Max]

Failed by ICE timeout

Эта ошибка создания WebRTC сессии. Браузер отправляет UDP пакеты (ICE binding) на сервер. Сервер отвечает на эти запросы.
Если браузер долго не присылает пакеты, сессия завершается по ICE timeout.

Одна из причин, по которой это может происходить, у подключившихся зрителей проблема с UDP пакетами. Например UDP трафик закрыт полностью или настроен корпоративный NAT, который мешает передаче пакетов. В этом случае, можно попробовать использовать TCP транспорт. Если IP-адреса зрителей заранее известны, можно поставить их на отладку и собрать логи их сессий по IP.

CLI v2

connection debug-add -a 192.168.1.100

Полный список команд CLI v 2 - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

В этом случае, если у конкретного зрителя не проходит подключение, мы сможем по логам понять точную причину.

 

[Artem]

Добрый день!

Клиентские логи:
https://gist.github.com/skid-rock/fb7bb3de5707c5be8d61205c794e1e4b
https://gist.github.com/skid-rock/9a6b8f217accb9164b68ade98b4dc046

Серверные:

FlashPhoner server log

GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

Вообще проблема стала проявляться следующим образом: сначала все нормально работает, затем в какой-то момент под небольшой нагрузкой все стримы на сервере обрываются, новые не создаются вне зависимости от клиента (у нас два сервера, ко второму в это время можно спокойно подключиться и начать стрим). Ошибка все та же - Failed by ICE timeout. Помогает перезагрузка на сервере.

 

[vasyap]

Обратите внимание, в этой ситуации подключиться не может не зритель, а вещатель.

 

[Max]

По-умолчанию

ice_timeout = 15

Файл настроек flashphoner.properties - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

Если 15 секунд нет UDP пакетов от браузера в сторону сервера, соединение завершается.
В логах, которые вы собрали, показано именно это.

Основных варианта два:

1. Перестал ходить UDP трафик. Например, закрыты порты или закрылся NAT и не дает

fl.log

GitHub Gist: instantly share code, notes, and snippets.

gist.github.com

Порты 35738, 35740

Решение: снять pcap дамп и найти, почему не доходят UDP пакеты

WebRTC - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

Решение: переключиться на TCP. В этом случае непрохождение UDP будет исключено.

Публикация и воспроизведение потока по WebRTC через TCP - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

 

[vasyap]

Решение: переключиться на TCP. В этом случае непрохождение UDP будет исключено.

Публикация и воспроизведение потока по WebRTC через TCP - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

Боюсь, это нам не подойдет, слишком высокие нагрузки ожидаются.

Решение: снять pcap дамп и найти, почему не доходят UDP пакеты

WebRTC - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

Можно подробнее, чем и как конкретно (в случае WireShark) нужно снимать дамп? Нужно ли это делать на стороне клиента (публишера) или на стороне FlashPhoner'а?

 

[vasyap]

На стороне клиента (вещателя) STUN трафик выглядит проблемно: несколько подряд Binding Request user, после них - Destination Unreachable (Communication Administratively filtered).

При этом час-полтора назад этот клиент вещал нормально из этих же условий.

С чем может быть связана проблема?

 

[vasyap]

Вот скрин:

Проблема явно не на клиенте - этот же клиент к другому серверу подключается мгновенно, сессия сразу же стартует.

В чем еще может быть проблема?

 

[vasyap]

А вот так это выглядит на сервере:

Т.е. очевидно от клиента к серверу пакеты ходят, а вот обратно даже не отправляются. Похоже, дело все-таки во FlashPhoner'e.

 

[Max]

Снимете, пожалуйста, полные логи (скрипт report.sh) и дамп (tcpdump) на стороне сервера. Выслать можно на support@flashphoner.com.

сначала все нормально работает, затем в какой-то момент под небольшой нагрузкой все стримы на сервере обрываются, новые не создаются вне зависимости от клиента

Какая нагрузка на сервер?

 

[vasyap]

Разная, от 300 до 600 примерно подключенных клиентов.

 

[Max]

10.129.0.5 - это какое устройство? Оно говорит, что пакет зафильтрован.
Если это коммутатор или другое сетевое устройство, отличное от WCS, то дело в нем.
https://www.reddit.com/r/Cisco/comments/b30yyx
Если 10.129.0.5 - это WCS, то нет ли на нем файрволов и фильтров, которые ограничивают UDP трафик на порты, указанные в настройках flashphoner.properties

Вы можете проверить доступность конкретных портов, например 35738, 35740 утилитой nc.

 

[vasyap]

Похоже, конкретно эта проблема действительно заключалась в фаерволе, извините.

Однако вопрос - почему отваливаются уже подключенные клиенты (в т.ч. спикер)?

 

[Max]

Однако вопрос - почему отваливаются уже подключенные клиенты (в т.ч. спикер)?

Спикер также отпраляет трафик по UDP портам, например 35742, 35744.
Если эти порты перестают принимать трафик, то видео перестанет идти, а сессия ICE будет разорвана по таймауту, т.к. клиент и сервер должны обмениваться "keep alive" UDP пакетами на протяжении всей сессии.