Failed by ICE timeout

Artem

New Member
Добрый день!

На сервере идет несколько стримов. На одном из них часть пользователей начинает отваливаться с ошибкой Failed by ICE timeout и не могут переподключиться. На другом стриме в это время все нормально.

В логах много такого:
0;WebRTC;1813_598952_1589523710306;65a65430-9679-11ea-a627-1bd6a59b8c7d;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/116.203.205.186:49557/10.129.0.5:8443-11220569-c50f-4af5-9bcd-d7ab39a5c50c;
2020-05-15 06:22:12;WebRTC;1813_598952_1589523710306;696a5350-9674-11ea-a616-5993cc011636;00:35:55;PLAYING;;;SUBSCRIBE;0;/89.23.213.157:50035/10.129.0.5:8443-8b351516-6848-4495-a434-bd16c786e07c;
0;WebRTC;1813_598952_1589523710306;682adc30-9679-11ea-9dc9-c7bd4b52beca;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/86.62.69.116:58063/10.129.0.5:8443-2a6c4080-438c-43b9-9d55-112483e9abcc;
0;WebRTC;1813_598952_1589523710306;6a10b330-9679-11ea-8855-d7a12dd17af4;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/94.29.88.41:50016/10.129.0.5:8443-8e11a4d6-4b85-4813-a4fd-28a2a123e751;
0;WebRTC;1813_598952_1589523710306;6adbcb60-9679-11ea-99f0-c1857273d84b;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/95.161.223.72:58431/10.129.0.5:8443-a5114f21-57ce-4b51-990b-cec2417b4cd1;
0;WebRTC;1813_598952_1589523710306;6c56d2a0-9679-11ea-99bc-b737f97d1fe3;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/5.130.49.70:63730/10.129.0.5:8443-bba6dfc7-91be-4137-9dfd-3e182b47c85a;
0;WebRTC;1813_598952_1589523710306;6c98bda0-9679-11ea-8112-21f727380abe;0;FAILED;Failed by ICE timeout;;SUBSCRIBE;0;/37.113.63.148:63007/10.129.0.5:8443-cfb8d443-ba93-45b2-8fc6-3fc199a3b814;
2020-05-15 06:21:50;WebRTC;1813_598952_1589523710306;5ca74420-9674-11ea-8f8c-e3dcaa920c24;00:36:45;FAILED;Stopped by session disconnect;;PUBLISH;159;/91.192.21.3:49622/10.129.0.5:8443-907158f7-2566-4f31-8f53-a059ec51c91a;

В чем может заключаться ошибка?
ЗЫ: отправил доступы к серверу на суппорт почту если требуется посмотреть логи/настройки
 
Добрый день.
Попробуйте выставить настройку
Code:
dtls_close_socket_after_tries=30
 
Failed by ICE timeout

Эта ошибка создания WebRTC сессии. Браузер отправляет UDP пакеты (ICE binding) на сервер. Сервер отвечает на эти запросы.
Если браузер долго не присылает пакеты, сессия завершается по ICE timeout.

Одна из причин, по которой это может происходить, у подключившихся зрителей проблема с UDP пакетами. Например UDP трафик закрыт полностью или настроен корпоративный NAT, который мешает передаче пакетов. В этом случае, можно попробовать использовать TCP транспорт. Если IP-адреса зрителей заранее известны, можно поставить их на отладку и собрать логи их сессий по IP.

CLI v2
Code:
connection debug-add -a 192.168.1.100
В этом случае, если у конкретного зрителя не проходит подключение, мы сможем по логам понять точную причину.
 
Добрый день!

Клиентские логи:
https://gist.github.com/skid-rock/fb7bb3de5707c5be8d61205c794e1e4b
https://gist.github.com/skid-rock/9a6b8f217accb9164b68ade98b4dc046

Серверные:

Вообще проблема стала проявляться следующим образом: сначала все нормально работает, затем в какой-то момент под небольшой нагрузкой все стримы на сервере обрываются, новые не создаются вне зависимости от клиента (у нас два сервера, ко второму в это время можно спокойно подключиться и начать стрим). Ошибка все та же - Failed by ICE timeout. Помогает перезагрузка на сервере.
 
Обратите внимание, в этой ситуации подключиться не может не зритель, а вещатель.
 
По-умолчанию
Code:
ice_timeout = 15

Если 15 секунд нет UDP пакетов от браузера в сторону сервера, соединение завершается.
В логах, которые вы собрали, показано именно это.

Основных варианта два:

1. Перестал ходить UDP трафик. Например, закрыты порты или закрылся NAT и не дает
Порты 35738, 35740

Решение: снять pcap дамп и найти, почему не доходят UDP пакеты

Решение: переключиться на TCP. В этом случае непрохождение UDP будет исключено.
 
Решение: переключиться на TCP. В этом случае непрохождение UDP будет исключено.

Боюсь, это нам не подойдет, слишком высокие нагрузки ожидаются.

Решение: снять pcap дамп и найти, почему не доходят UDP пакеты

Можно подробнее, чем и как конкретно (в случае WireShark) нужно снимать дамп? Нужно ли это делать на стороне клиента (публишера) или на стороне FlashPhoner'а?
 
На стороне клиента (вещателя) STUN трафик выглядит проблемно: несколько подряд Binding Request user, после них - Destination Unreachable (Communication Administratively filtered).

При этом час-полтора назад этот клиент вещал нормально из этих же условий.

С чем может быть связана проблема?
 
Вот скрин:

unknown.png


Проблема явно не на клиенте - этот же клиент к другому серверу подключается мгновенно, сессия сразу же стартует.

В чем еще может быть проблема?
 
А вот так это выглядит на сервере:

Аннотация 2020-05-21 161445.png


Т.е. очевидно от клиента к серверу пакеты ходят, а вот обратно даже не отправляются. Похоже, дело все-таки во FlashPhoner'e.
 
Снимете, пожалуйста, полные логи (скрипт report.sh) и дамп (tcpdump) на стороне сервера. Выслать можно на support@flashphoner.com.

сначала все нормально работает, затем в какой-то момент под небольшой нагрузкой все стримы на сервере обрываются, новые не создаются вне зависимости от клиента
Какая нагрузка на сервер?
 
10.129.0.5 - это какое устройство? Оно говорит, что пакет зафильтрован.
Если это коммутатор или другое сетевое устройство, отличное от WCS, то дело в нем.

Если 10.129.0.5 - это WCS, то нет ли на нем файрволов и фильтров, которые ограничивают UDP трафик на порты, указанные в настройках flashphoner.properties

Вы можете проверить доступность конкретных портов, например 35738, 35740 утилитой nc.
 
Похоже, конкретно эта проблема действительно заключалась в фаерволе, извините.

Однако вопрос - почему отваливаются уже подключенные клиенты (в т.ч. спикер)?
 
Однако вопрос - почему отваливаются уже подключенные клиенты (в т.ч. спикер)?
Спикер также отпраляет трафик по UDP портам, например 35742, 35744.
Если эти порты перестают принимать трафик, то видео перестанет идти, а сессия ICE будет разорвана по таймауту, т.к. клиент и сервер должны обмениваться "keep alive" UDP пакетами на протяжении всей сессии.
 
Top