Уточните, пожалуйста: при каком количестве подписчиков начинаются проблемы?
Если на одном потоке было много подписчиков, и у части из них воспроизводилась эта проблема при подключении, а при массовом переподключении не воспроизвелась, похоже, что требуется оптимизация раздачи потока подписчикам...