Добрый день.
Чтобы определить, начался ли захват экрана, можно использовать событие UIScreen.capturedDidChangeNotification. Посмотрите этот код:
NotificationCenter.default.addObserver(forName: UIScreen.capturedDidChangeNotification, object: UIScreen.main, queue: OperationQueue.main) {...