Работа с видеопотоком

luksoral

New Member
Подскажите, есть ли возможность на мобильных SDK работать с видеопотоком - получать его из PercentFrameLayout или SurfaceViewRenderer? Например, для наложения на него масок и фильтров.
 

Max

Administrator
Staff member
Добрый день.
Посмотрите. пожалуйста, работу с FPSurfaceViewRenderer в примере Media Devices. При помощи этого класса доступен SurfaceViewRenderer. PercentFrameLayout также доступен, см пример.
 

luksoral

New Member
Возможно я не правильно объяснил, я имею ввиду, можно ли в live-режиме манипулировать видео потоком (например, прикрутить sdk с распознованием лиц от google), чтобы зрители в это время видели на стримере маску или фильтр? Возможно есть вариант с помощью API перехватывать созданный поток и манипулировать им на сервере?
 

Max

Administrator
Staff member
Возможно я не правильно объяснил, я имею ввиду, можно ли в live-режиме манипулировать видео потоком (например, прикрутить sdk с распознованием лиц от google), чтобы зрители в это время видели на стримере маску или фильтр?
Такой возможности пока нет. Вы можете попытаться реализовать это, если каким-то образом будете кастомизировать картинку на SurfaceView
Также это можно реализовать в WebSDK, если рисовать картинку на канвасе и публиковать с канваса.
Возможно есть вариант с помощью API перехватывать созданный поток и манипулировать им на сервере?
В микшере поддерживается кастомный бэкграунд, также идет работа над возможностью задать водяной знак для каждого потока в отдельности. Это пока все элементы AR, которые имеются на стороне сервера или будут внедрены в ближайшее время.
Если Вы дадите более точную формулировку желаемого, мы создадим тикет на реализацию, он будет реализован при определенном количестве голосов пользователей.
 

Max

Administrator
Staff member
Добрый день.
В сборке 5.2.693 добавлена возможность указать водяной знак для каждого транскодера при его создании по REST API, см документацию здесь. Кроме того, водяной знак, фон и размещение картинок могут быть определены для каждого микшера.
Также в документацию добавлено описание примера перехвата декодированных картинок и обработки их на стороне сервера. Для этого необходимо разработать класс на Java, в котором можно получить декодированную картинку в YUV формате и модифицировать ее попиксельно желаемым образом.
 
Top