Подсветка говорящего

[Ritmius]

Добрый день, мы используем стримы через микшер исключительно для работы аудио. Скажите как можно реализовать подсветку говорящего?

 

[Max]

Добрый день.
Необходимо включить отображение рамки индикатора речи (рисуется вокруг картинки потока)

mixer_voice_activity=true

Настройки рамки описаны здесь.

 

[Ritmius]

так включим, а как отлавливать?
картинки потоков, что вообще это? как сделать картинку , картинкой потока? у нас нет видео потока, только аудио

 

[Max]

Стримы подсвечиваются только в выходном видеопотоке микшера.
Поэтому если у вас только аудио, можно попробовать включить аудио + видео микшер и накормить его только аудио потоками.
При этом зрители должны будут играть общий видеопоток чтобы наблюдать подсветку.

Микшер реального времени с функцией MCU - Web Call Server 5.2 - RU - Flashphoner Documentation

docs.flashphoner.com

 

[Ritmius]

а можно без костылей сделать платную доработку, чтобы подсвечивать аудио поток?

или как то по хук или сервисному получить кто сейчас говорит или в сокет

Как то отлавливать, что говорит, через чат может передавать

 

[Max]

Завели внутренний тикет на счет событий активности аудио WCS-3105.
Сообщим если по нему будет прогресс.

Еще можете определять на стороне говорящего и рассылать событие через чат комнату. Но не факт что это будет достаточно быстро и синхронно со стримом.

 

[Max]

Добрый день.
В сборке 5.2.935 добавлена возможность отправки с клиента события, привязанного к публикуемому потоку для оповещения подписчиков о том, заглушено ли аудио/видео на публикующей стороне.
Со стороны публикующего клиента события отсылаются автоматически при вызове Stream.muteAudio() и Stream.unmuteAudio(), со стороны подписчика нужно обработать событие

previewStream = session.createStream({
    name: streamName,
    display: remoteVideo,
    ...
}).on(STREAM_EVENT, function(streamEvent) {
    switch (streamEvent.type) {
        case STREAM_EVENT_TYPE.AUDIO_MUTED:
            $("#audioMuted").text(true);
            break;
        case STREAM_EVENT_TYPE.AUDIO_UNMUTED:
            $("#audioMuted").text(false);
            break;
        case STREAM_EVENT_TYPE.VIDEO_MUTED:
            $("#videoMuted").text(true);
            break;
        case STREAM_EVENT_TYPE.VIDEO_UNMUTED:
            $("#videoMuted").text(false);
            break;
 
    }
    console.log("Received streamEvent ", streamEvent.type);
});

Подробности здесь.

 

[Ritmius]

это если он микрофон включил выключил? или отлавливается говорит ли он?

 

[Max]

это если он микрофон включил выключил? или отлавливается говорит ли он?

Речь о включении/выключении микрофона.

 

[Ritmius]

А когда человек заходит в комнату как ему узнать у кого включен, у кого выключен микрофон?

 

[Max]

Мы создали тикет для проброса StreamEvent через микшер, и сообщим здесь о результатах.
Как обходной вариант, Вы можете получить событие StreamEvent на бэкенде при публикации потока, который заходит в микшер, и передать его клиентам, которые играют потоки микшера, при помощи REST API запроса /data/send

 

[Ritmius]

мы уже перешли для чатов на https://centrifugal.github.io/centrifugo/ оно намного быстрее работает по тестам и фич больше... вы бы лучше основной функционал отладили.

Мобильные SDK не работают нормально. на веб SDKs ваши настройки тоже вызывают ужасную связь, документации нет нормальной.

wowza для мобил рекомендует webview может и вы его официально представите? мы его кстати сделали, можем показать, открываешь страницу и сразу работает либо спикер, либо слушатель, зависит от GET параметров

 

[Max]

мы уже перешли для чатов на https://centrifugal.github.io/centrifugo/ оно намного быстрее работает по тестам и фич больше... вы бы лучше основной функционал отладили.

Функционал передачи сообщений для оповещения об изменении состояния потока audioMuted, videoMuted описанный здесь, не имеет отношения к чатам, это сигналинг, привязанный к состоянию потока, и относится к основному функционалу сервера.

Мобильные SDK не работают нормально. на веб SDKs ваши настройки тоже вызывают ужасную связь, документации нет нормальной.

Если документация вызывает у Ваших разработчиков какие-либо затруднения, огласите их, пожалуйста. Обычно, мы даем пояснения даже на какие-то базовые вещи вроде управления SSL-сертификатами в Linux, если квалификация клиента лежит в иной области. Но для того, чтобы мы могли ответить на вопрос, необходимо его по крайней мере задать.

wowza для мобил рекомендует webview может и вы его официально представите? мы его кстати сделали, можем показать, открываешь страницу и сразу работает либо спикер, либо слушатель, зависит от GET параметров

Пример Webview example уже давно входит в комплект Android SDK, но пока не документирован. Код там для квалифицированного Android разработчика несложный, поэтому мы не видели причин подробно его описывать. Сделаем это в тикете WCS-3142.

 

[Max]

Добрый день.

Пример Webview example уже давно входит в комплект Android SDK, но пока не документирован. Код там для квалифицированного Android разработчика несложный, поэтому мы не видели причин подробно его описывать. Сделаем это в тикете WCS-3142.

По тикету WCS-3142. Пример Android Webview документирован, страница примера MCU Client в нем открывается и работает. Документация и ссылки на код примера здесь.

 

[Max]

Добрый день.
Начиная со сборки 5.2.966, подписчик, играющий выходной поток микшера, получает события, связанные с одним из входящих потоков микшера (например, если говорящий заглушил поток). Пример кода получения события в Web SDK приведен здесь