Здесь вы можете найти черновой вариант документации, включая пошаговую инструкцию о том, как настроить простой видеочат без SIP-сервера: http://wcs-docs.flashphoner.com/display/WCS32/WebRTC+Video+Chat+With+Flash+Fallback
Руководство еще будет дорабатываться.
Попробуйте установить клиент на своем сервере, как описано в инструкции. Дайте знать, если у вас возникнут новые вопросы.