Валится в лог AbstractWCSClient - VideoDistributor-PROXY-

Ivan

Member
Вот такое валится в лог много записей в секунду, ну очень много по объёму!
Code:
05:47:11,288 INFO     AbstractWCSClient - VideoDistributor-PROXY-e46fdc53-9b30-41f6-baac-1c282cb549a7 OUTPUT AVC VIDEO: 270100000000003df0419a605a00c8f37517f2f3c0b9e2f8e46a6e367709fc5f8276899b88343bc78be26ed3e854db5da4a420b0f873c1be861787b4bfc5f2aba2bb9c837a67c11f38b0314ca2b9bc34ec0fe5e5c6c14f17d32e633773f0a4989583af0b8a747ea4e137351984fb992538404915c3e32ec2e945f4f490710a62d101f9431ec2b647c1eff06996621a23ecdb8bf8ce1de50b7c1fa559c2ec550c0cfb70362ad5618503cdf9e32aa22caa4061a78cf4c510b4f09b4a5dd43bf16b27c1995f8cede009a8491a30749994687ed7d57641764b3ce23f022e241a3c6c2dbec95fbd9b96160ab28500c3088dd9085bc5df1703ceb7720dc3febf96115f852be8d617d2ddc3df43ec07be8be8d617d10ab243df490fdd317c134975467585141e98ceb178ae2b6f836e91efc1efbe5ad63389bafccc0679b7b8fe4d6be2b5a341abab921e4beeb933bcf1677882f973c6734818fe14720ca72423a5ad946f5a968eda123efe14f40dbd57851bef7761fc53ed2e2d4f94fbf2f8cd06d3b0bd2572a58d0c9a9f43ea7d0ff852a9a13588f9286bbc35d231733e494fa1f03efc1f7ee263e325aa8c04013e487f64f68d30f922bdab2d4fbd961f7efe148dc8406c0d559ed0eedf73812d32c7350eeab1f594fee53f920b27cbe14957a7063bf57411607b6247b61f8954e2e5e47b60bc7b635f0b4bc62875893ac31825346285544bf143dc563ab2c2587f96761b0fa995f8acbe9cbe98deef2f0cf158cd2df2f978eef79f3c769a376ee5c60ce4697846f2eac75bb6ea6c4027d2a4fb7df19b4ad0d7b868cd83b664b1db1d91fe11a3b4d0672cdb65a86a3b61cda86b0fc212db5516d57957a0353f28de55efc4429da2df2d922d5b7160c6f2af3318adfeaff09cc4a8d1cfb4bc64f90e648752d620e0cd8ca30943651b6cb80fc74f3f3cf232563d39eda522b0c047cbeb583df887bebd04dcb7bc50f706bd3bef7bef2b1435c972b3fb93d145757a88bbbe2f8ac2ca09cf887cbc1a44e4e6d9bc57096cc6a514723518c82349f79fee902f8fabcdc1f889710d2e660823e148ef9f571055040a524865a8f5a5e2786b86eec31e8441f8bcb83a659fbfe0a20ebc075e3550971fd5f36f7f578ae6a307d515ab55c217b5dc383d7b4bc7f73b2b99bb5f8bf250f045fc10e7923ebe68d7b53f094eb4e9e3337b2b91046dba67bd71d6483d6f8acbe5f2f978be277bdeef89c0ffa4a738daccace2623b4d6d34b9373a4cfc4eb188d51451cc6168403f9b2ffcba57f57ae0a2efddfff117c233a43fbddeed5cfc565620fd8958958f1d4f1e6f58f1fc6e5aca6d536c7742acd17f3f63eaeaff7c5c77cfa6d1712e5ebdf053332f831dcb58e59b938602c7cbc671ae3afe6b92c5bdc7213ff752393fe2a42fbd15c9cb77df34e410e32dfc15d6be8d4b8ffab8be522d7362e6ed16fc663b18dc4c37532e2767df6f36d54b8437bcbcf8fc6f6d2e27b4e720ec1bf8fc99d91e2a86266beaff199e9fb8c19141304b041b665318b28401f7acc467e86c2effebf5abc771395895983f66563d5d2f2df7f1db296f27cec923ae0b30ae419182a46398941d5ccd4e585ecbb0871d183e32a2f37076c761685a52a3432b0993bda4df1b3d48911541b354e86e0ff08f0ea1b2efd3325ada15c8b0cb98a05e3a8ca626c788be1293ea80bf8bd921ac84308cfe9e32ee3ccb4877da914f51d48705639dba0921dab405e32dc7c7fc6baff2ff25475aa988adb0b6865c138ea7f1304f4753503ad475dfe6cd9f8ba9b231f95ec20fe0b34e9b52ee7a150d1f7c64289c2d0a922dbdefb5b3448f96909b4889a58e87c44bc2f8393620e4d8838558839360d62bbff84b23152b183fbb38efd8cef926c549033719d5dab239aa6a0dd47ce68663c25bdddecf9e0b79f63195bcc6dd5c5eb3525b8d2f8cb43ec91369cff9b0ee258d94550bf82bf3609e1788e17a9b05c9b537cb6a7e9375af8ba34635e55e4728dea89c5d1a3691c968e1f8e96cb760c6fcdbe4bff9288dcf59f25df7dd4ac5c9dd0c9cfd8c0ceaf7c768716342917cac464e27ebd5c29810398b5a5513126647d14f1bee622824a8dc848d9bf0d76a31171e81033963d765f191ecbd6889aed0303e5e8c48e26e73f3620b085be426a06e1f6a0f54d316006e46b1e267f3128f169d82d6e17f0def3dd27c96fc305799a79de33c4ef087c6c47d66b4e63687aa3d41105dd9acf8289fe26814ea172829ba1600cf21176e8d22a6231658176c289968f1949117d83f4c0755f2d8e49f6f09f555f287644341dad2aa1718a8b558c015101ae2a29e32878867498f2ac536c9319e98054d6349c344d957a2439ff308e1190c7375eb225e3cc366927062b54198fbc65b879a1f7af61a45d16a4a811b273692eb6503428d86c404caa20dcb2ac0e30b85d36533d6b8ddf1b5a367d11b8f899fc9ea5e9ce11a37e6fa2dd43fed1f5e98d2f00d491a27ff0a71ed907ea76bdac75336bcaa67ed120d52d9760a98dc9491533c596a1efbeee08f537c37c6708d9c56edd753ad651af204992d2c9810ee874355394663c2cc10465576d5ac2d133e14f42dee01368606bccb2449273b547e336080cf1e6fdb99e6ed63eb3a41389e6f7c6432be28a1313cef7e516253ef6da427669b8c61bd570d0eb1deff0aa70da15dc95213c29d08e97b83e846c5ec2f4c3a0d8be52cc2d43293a3da9a48635c13e562562123916f1490417b4f3f199369731428dfe5b454d771488b2bf197b46c3bdd8ea56be36df1559eaabe3330fa1add6ab6aa5e2eabaae2b82ab771ecb3d1013f83edd8f86e3835cf5c927ff0bd272e5bbb8faadb75f2715d5545d54986410db53feabab45f1d8f6cc19d33b58c3fe96b0b93aa789fc5d535a276d35d5ef88e1aa7625c12f6bd4d9583b9e0d557b511cd26f1f6f98174f59c128dab36eae808e7994589804dd828e24c26d675c12ddcfe46ddf7fe334caddb58628cf037d75148be88ac653c1e71759b887965cdf9582224917678e8acd6ff19360dfdb859444ca080a09426a964cf10bd5a2a0db9e2068e03da77dbb59b13633a3f64da2985dbdf56565e33404ff14d897b1bf7da89f29add46cba62b1be0e9a0e8952225063bbb8f8ef4cd9a53de722fedb47aa5b52657e17d05f84c2bbf9fc65ac4a656e8bd6bd28db72f6d4315d4168d706007d5abdde35f2c66bea4ffdb547c86e387dd5b223f3b2ea11fa88bef868ffd78cac97cdd9804421dcd170494e08fd828e70be4780706248c80a5032282d033b49c6a1897ff8f9d931a8b644195e6b256e8b41cf09fc684cf16e4cf19ac7d45a1ccbea6ed3cf5217625de9e5afcf51fc4878c91fe337891daddd46e23c57eb3ac6e310113566fa7b0247e90c1e30501dd79a96cbfd0eebe1ff8c98c8b475469d609b1531f294b10c1faf0dacbf36665daa1ea7f04bcc16a1c77958f5c455ea10f118be2b2e4ac53bf8cb7edec644b71bdddd277f82f972ee750e3f4e0fe7edf935af9b218c4d8f0a5547b50bef054c1eb0fe04f307532b2ea93e2c1730e5cede821d29f321900749c0ca3ec18042fc1c6f852089bb9db027e0f31f9e6c99b58ff10cfc3ac6c205e018385cba9043d552953e14d04d0706a03002b4493294bf50b9730aeab2032cecb602c58c40e3a90003c01a9064398314ab0622310e8a0a0c01fc2c6778882995af15def1f603ecf8a4982a42bc6fe8a8475c7d57279be0772aab0dde26c29e7adb8dc4f5e8de27039fa5af6eed289f11f825bbdcac312fd9f73b24effabc471515ef16b863cda6c7c5e302bf218bd499b587bc65e415acbf65442d676f504e7ade961252c396f18a746a4e34aa4589c8e21e3a25945e10edbe853ff2b023937be271b890a65845ef0071d4f4bb87f38b6f229149c560ec5acef88a3f3a192469883ec2655f1008f74fcff1f42328cd838ac13e487c934c5ef08890a42c38419070241ab8240e3b1b0901a0e7c1ac1c200a5b51860880c11d0ac0b65382f41b1456d53b04585197a3addca03a3e299769cd422f0a25d1ab4800d2c21477c29952b0a000480403838e2271af4593f000100b4e3ac1851345e00fa33fa6000274016103d663ed993d870a342ddfe149836ec37c01056e4eed46da7fbdc43564ac01c6ab3c663061f11fdd16081b8a78c5e9531a686e8d07796a1657d1b8998f313e11c62abe08747b3cc7d554cec37a8de22358632e8567fe68982191457ff84a88841d2bbf8c8e0c531f8f737b56596f88474ebc1bc97afe9372fe10ef942bc9ac326d9baf824f1cd8456ac847135ad6b5845e7f3f7dd76c9c5e6f54dbb93934e4e5e229ed2d57c29b65a6bc93c1ba9544e5668717c29280bd23067cc61da320ee264cc3a2441c8e7dd69681b1746784af145528a09bcd550933d2fc75d36f795adcffee6f9b88af7cbdd71196204c5f055bd33d2b2d9f8af10b0ec1713cd9253f8acbf75fc99e6c1f8cd4fcfa6f972132b34bcc191e5ec8599789ba9d9f1aa3111b0249a50320831c4462519b5cdd486103693f18d63bc21c5954daa6f32adabc8acb064d8fc256bba3cbea726625b18bc4cdd354d5354df5aaebe5f195aa6ac18c99f10fbd71f4193abfcb27f88af7cd9bfe59f7ae27331d8ebe3354d6b519a4de042ab4c93d719c6f1920e3a6cc90137f32d01c684b28122d97a5034ccdaf80d26f92cd650ad471bb3b018baae8f54968bc9b76c9c115eeed1d890455135112692f88d89d0c9f1d44445bbb96cf9af8a968f6a27ebe1496cb9f7b0c3ff03b60183c329a511b5011d7610957eb4a0306230ba427e93bf34865136be14e034240d23a281f6a74fb34088bc3723803f63043673c1be904b45072eaa6ad5fa01d58e1f508715b7398d5ef88b610b4588f5833fcfc7f49fb101337c826fa4ac48b9189129c8dfe5bc30616dcc9c4e9d3a74f135ee26321468ce48d19df724530cea68e62f7f177bef77cb7b711c2543acd4f511567c4cdc9ccc17a93ab3ae2a131d29bdee32802f443069e197b40fc573fe78cb838eb16560a536d6a6633615fcfc85fbf4f4a53c1569424578268b6d191254a4a12444e86f56f1311ae5bee7e10f1d2cd06407f804dff4d5b6c109bdbe3c7b5033179a2161efe5bbdfc98bd7c27230baf37e2464a5b60c071c68d5223e14c2e0e8f80e2c0491244d43b9fb68da0cdcbd0a8136e7f8436d88082f0946b49e3ae17c20185bb56594b31c76f708725eff1150e943a5dcdf09315777843a06b8b4b5af1cb8cf5364eaf272627ff0852f9f294958aef6c8cdcccdc4dcc5b1bde7ea27f358edaf12f43434d734ac4ac44440804f998dadfbeee626ab8ad122d466f93e250d0caea9604ac78ed604c1162d1e0a7cdc4d4012a92d428880ea1ce90f3bde86461dfc4fedb8235176c98d317c989735c571867b605a21fe6aa7f8479a412b7415df0fbf7bfe5cff8b94f287bcf05559dff08d0c067f4864fa9ff6c0e1b75ed446ec41d25a6be1e37b18dc68e228e836e9647e21f7813f98b773a74b2b544ab99be6e95f2c15fe09bc2cddc77e6b377f7d52cbe6f36f8be1e1646a066d44cbcbc2136382aca01e0a6f77ddc4b85bdfe32ef715c56eaa784defe23cdb969f09f1b5759e83f3902639ec456de334a1d99a46272715075486ee629ab826d44300c105200cd4e80fef8bf1d042d81b732f3695fcda4186ac6dd4fe6e5b97bb29624feedafe6deab92a78490f3593eb8a9f0b8359716635e10bdc6d5832dba8ed4a4ca16b965cef8a88c223868994312a9dc5cb6071bfba2b8985f48dde35adf256b5c965242f820958b555d575f9e8944bbe5be119a1a32d3baeaca881127151a388a054ec2860383270dc7d809cf1ff193e41f834304cdf64286cbf038664dc371e79514bf7e6a386ff3c01a66d93b8f667cc4dd3def9d424ca16128060a2c42f4b88939292eb93b9923e2895aa0e8fe24888f5b65ad127a13fb4ccc0fdcebd9f743395bfda9d26378cd56487fc6460b114246266df529a2b2ae1bce96956c1d557ff3e3f29e48fa352b353d7a725e324b04eeb58a17f5b4949f42b5d6bc5277d9477fb6df7c676439c74a2f2d98a2ba325b0169d25165c602b59ab35c0b5c809b6d883ebdd528216648d29ff701d2adb2d8d7924b83ea5dfe4dba7e6b22e396fc6777db601b28c0ab78e38e7bb12d60c5f49d912f6651f77adf196d4064cf5cdde60371a4a46cb6bb798994f67441fa5d6610e7d01e159e3a8ef64bc66f43882da3c0d6646672175f40432606cc6257f1e6d0406cb1d3ce378e873bcd9937ada92db6c913135deff2755f139735afc466a722b918f08e7cd55abbbfc4ec9ee3e91a9708ea9f8acd8d0ff22f2f564fbc93fcb973f09ee4256358bfc576d5b56eb89accc7f153412be28b94c95337bb8251f78c935ea1b0cb4acb290bef07fbe243cc86ea1121f878426ea2b4e159eea635512a54a4172dbf89ee95ddcbcd549a076cf177bb05da933e23bbd26ab8ae338f24ff190e687c5cc3984ec6732aaaabd9e510a7cf24f78db5fef5cdb2ff88b46a79e9f88877fd57958cddc565bd72496aaabff2598ea6b92e563f739eff9388ba01d8573ba2489c117e22bc85974f51609f57f88eae9f2b7f24f02cbf11342cb8560ec3fad08a13ddbf88e555f579efaaa771fc44ab65f0d69fdf7f04b0110f64868be4f57e4d9a5db887ac5d4c25e2bb92a7cfc90d22354ffbc6885fdcf7ebb9322d7262ff88ee86d87efb92df17c93c1bc444c462f927277cbfdfb7d3f111f1854bc57ae239b3753fddb8ff9a27f11269cc32df271155d01c9f00c94
 

Max

Administrator
Staff member
Чтобы подавить лог, нужно добавить строчку
Code:
log4j.logger._com.flashphoner.sdk.client.AbstractWCSClient=WARN
в конфиг:
/conf/log4j.properties
Не требует перезагрузки.
Или обновиться. В последних билдах этот лог не должен мсусорить.
 

Ivan

Member
У нас в плеере стали часто появляться вот такие ошибки - ответ от flashPhoner


 

Max

Administrator
Staff member
Session not ready
Это значит, что пытаемся проиграть видеопоток, которого еще нет в списке опубликованных.
Нужно дождаться, когда у потока установится статус PUBLISHING и только тогда делать stream.play();
Media port is busy
Это значит, что UDP порт, который был извлечен из пула, в данном случае 33206 оказался занят.
Он может быть занят WCS или другим приложением.
Проверить можно с помощью netstat.
Code:
netstat -nlp | grep 33206
Если порт 33206 занят другим приложением, то проблема в этом.
Нужно настроить порты так, чтобы они не пересекались с другими.
Пример flashphoner.properties
Code:
media_port_from=31001
media_port_to=32000
Если порт занят WCS, то нужно разбираться почему порт оказался вдруг занят.
В пуле хранятся только свободные порты.
Можно включить дебаг в log4j.properties
Code:
log4j.logger.MediaPortsManager=DEBUG
Тогда процесс выделения и освобождения портов будет логгироваться.
 

Ivan

Member
Периодически появляются сообщения,
06:01:50,406 INFO G - RTMP-pool-3-thread-15 client requested live stream: bb91f97edf7fb7226b9f4f119d773200, stream not found
06:01:50,406 ERROR lashStreamingHandler - RTMP-pool-3-thread-15 playStream actualSession doesn't exists, session name bb91f97edf7fb7226b9f4f119d773200
и тоже самое выводится в плеере: Session doesn't exists
Причём поток изначально мог быть и проигрываться хорошо, а через какое-то время при попытки к нему подключится выдаётся эта ошибка.
Причём в conndr.log поток закрылся нормально 2017-07-19 06:03:07;a2502765-1a65-4ab4-8f99-83afbf3d1f01;DISCONNECTED;Normal disconnect;22;
И произошло это уже после тех ошибок.

Как понять куда пропадают сессии и что с этим делать что бы они не пропадали.
Кстати, раньше таких ошибок замечено не было. Какое-то время назад.
 

Max

Administrator
Staff member
Пришлите sdr.log
Там должна быть причина остановки публикующего стрима bb91f97edf7fb7226b9f4f119d773200
А также server_logs/flashphoner.log
на logs@flashphoner.com

Как понять куда пропадают сессии и что с этим делать что бы они не пропадали.
Сейчас делаем мониторинг стримов.
Там можно будет отследить каждую сессию и стримы, которые в ней были.
Пока понять можно только сбором логов
1) sdr.log
2) conndr.log
3) server_logs/flashphoner.log
4) client_logs/{date}/{login}-{hour}-{minute}-{second}
Последний лог включается настройкой enable_extended_logging=true
 

Ivan

Member
а что за {login}? Где его взять, если я знаю название потока?
 

Max

Administrator
Staff member
В логах, которые вы прислали, нет потока bb91f97edf7fb7226b9f4f119d773200
Логи ротируются по часам. Поэтому нужны логи за нужный час или два.
Пример:
flashphoner.log.2017-07-06-07
6 июля, 7 часов утра.
а что за {login}? Где его взять, если я знаю название потока?
Если при wss коннекте не передается поле login, то генерируется случайный login.
Поэтому чтобы отыскать этот лог, нужно сделать поиск bb91f97edf7fb7226b9f4f119d773200 в папке logs/client_logs/{date}
 

Ivan

Member
Да, google решил, что я прикрепил вирус и не отправил.
Выслал ещё раз с сылкой на яндекс диск для скачивания логов
 

Max

Administrator
Staff member
Логи проанализировали.
По логам и указанной сессии видно, что произошел дисконнект во время публикации потока.
1. Пользователь приконнектился, начал публиковать поток.
2. Пользователь потерял TCP/Websocket соединение с сервером. В результате, публикуемый поток был остановлен.
Потеря соединения произошла, скорее всего в результате закрытия браузера.

Если на самом деле все было не так, и вы уверены, что пользователь не закрывал браузер и не обрывал соединение,
тогда это может быть баг.

Для сбора дополнительных логов нужно добавить строчку в файл log4j.properties:
Code:
log4j.logger.WSClients=DEBUG
Плюс клиентские логи жолжны быть включены:
Code:
enable_extended_logging=true
Если с этими отладочными логами проблема воспроизведется,
пришлите на адрес logs@flashphoner.com доступы к серверу, мы проверим логи прямо с сервера.

Если есть какое-то пошаговое воспроизведение проблемы, это бы очень помогло ее исправить.
 

Ivan

Member
Проблема была точно не в выключении браузера. Но даже если дело в выключении браузера, почему тогда не пришёл запрос на наш Вэб сервер со статусом FAILED?
Вещающий поток в это время думает, что всё хорошо и продолжает вещать (т.е. сидит и вещает в вэб камеру, с его точки зрения всё ОК).
Мы отловить эту проблему не можем, но когда мы заускаем народ на flashphoner то у какого-то процента людей появляется эта ошибка (10-30%).
Соответственно мы можем дать доступ к нам на сервер на почту и запустить народ на flashphoner.
Для этого нам необходимо договориться о времени заранее.
Напишите когда Вам будет удобно, например завтра 15 до 17 мы запускаем народ на флешфонер, а вы попробуете в это время проанализировать логи. и то что происходит.
 

Max

Administrator
Staff member
почему тогда не пришёл запрос на наш Вэб сервер со статусом FAILED?
Для публикуемого потока статус FAILED не приходит.
Он приходит для тех подписчиков, которые этот публикуемый поток смотрят.
Можно провести простой тест.
1. Опубликовать поток в Two Way Streaming
https://wcs5-eu.flashphoner.com/demo2/two-way-streaming
2. Закрыть браузер Chrome.
На REST придет ConnectionStatusEvent / DISCONNECTED
Code:
13:16:48,978 INFO  agerRemoteRmiService - RMI TCP Connection(84)-192.168.88.59 SEND REST OBJECT ==>
URL:http://localhost:9091/EchoApp/ConnectionStatusEvent
OBJECT:
{
  "nodeId" : "ET3IqW3xNOdbMzy8xarh4LwBCz7JetSz@192.168.88.59",
  "appKey" : "defaultApp",
  "sessionId" : "/192.168.88.254:61457/192.168.88.59:8443",
  "status" : "DISCONNECTED"
}
Напишите когда Вам будет удобно, например завтра 15 до 17 мы запускаем народ на флешфонер, а вы попробуете в это время проанализировать логи. и то что происходит.
Мы добавим отладочные логи.
Когда будет готово, отдадим сборку для обновления.
После обновления можно будет договориться о времени теста.

Пока ситуация такая, что отваливаются Websocket / TCP коннекты к серверу.
И не понятно, закрыл пользователь браузер, просто потерял коннект или же баг сервера, который дисконнектил пользователя, у которого было все в порядке.
 

Max

Administrator
Staff member
Добрый день.
Обновитесь пожалуйста до последней версии сервера.
1. Добавить в конфиг log4j.properties
log4j.logger.WSClients=DEBUG
2. Установить обновление:
Code:
service webcallserver update
После этого пришлите ssh доступ к серверу с правами редактирования /usr/local/FlashphonerWebCallServer/logs на адрес logs@flashphoner.com
Мы проверим конфигурацию сервера.
Напишите когда Вам будет удобно, например завтра 15 до 17 мы запускаем народ на флешфонер, а вы попробуете в это время проанализировать логи. и то что происходит.
Если есть возможность, попробуйте запустить 10% от всего трафка, но на более длительное время, например на день с 9 до 18.
 

Chaggy

New Member
Добрый день. Удобно ли будет если мы запустим трафик с 14:00 мск 29 июля до 20:00 мск 30 июля?
Доступ я уже присылал, но продублирую еще
 

Max

Administrator
Staff member
Доступ есть. Время подходит. Запускайте. Проверим.
Перед началом тестов скорее всего незначительно поменяем конфигурацию.
Включим мониторинг стримов с помощью настройки flashphoner.properties
Code:
stats=true
и добавим памяти в конфиге wcs-manager.properties
Code:
-Xmx2048M
 

Chaggy

New Member
Добрый день. Получилось протестировать? Вчера по нашей договоренности перенаправили часть трафика. И сегодня сервер упал. Хотелось бы понимания - почему
 
Top