Сразу видно проблему в конфигурации:
Рекомендуется использовать под Java heap 1/2 памяти сервера. Если на сервере всего 3 Гб, максимум, который можно выставить для Java heap - 1.5 Гб
Также уточните кейс: как именно публикуется поток (WebRTC, RTMP, RTSP, MPEG-TS, VOD), как именно зрители его...