Não tem como, mas você tem duas opções para se livrar dela imediatamente:

Opção 1: Você pode tirá-la do ar

-> Vá em configurações no topo da página;

-> Em visibilidade da página clique em editar e marque a opção tirar página do ar.

Ela só será vista por administradores da páginas, outras pessoas não verão mais sua página. É como se ela tivesse sido deletada. E se algum dia quiser voltar basta publicá-la novamente.

Opção 2:

A página desaparecerá imediatamente se vc for a única administradora e deletar o perfil com o qual a página é administrada. Se vc é a única administradora mas não quer deletar seu perfil basta criar um outro perfil e colocá-lo como único administrador da página. Depois é só excluir o perfil e a página desaparecerá. Mas se vc algum dia quiser voltar com a página basta reativar o perfil.