Добрый день.
Микшер очень любит оперативную память, т.к. оперирует растровыми YUV картинками, прогоняет их через память, собирает в один поток.
Поэтому 2 GB здесь явно недостаточно.
1. Попробуйте протестировать с 8 GB или 16 GB RAM.
2. Укажите в настройках wcs-core.properties
-Xmx4g -Xms4g
т.е...