Выглядит так, что корневой сертификат вашего провайдера AlphaSSL CA не известен на этой операционной системе и его надо руками импортировать в "Trusted Root Certification Authorities" чтобы это заработало. И это проблема, т.к. операционные системы часто имеют определенный список корневых сертификатов, и новые подтягивают только при обновлении.
Мы предполагали что Facebook предоставляет только rtmps:// эндпоинт для стриминга и поэтому OBS должна поддерживать стриминг с доверенными сертификатами и без (как ffmpeg, который похоже не проверяет сертификат).