Stačí přidat další HTTP direktivy:

<IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteCond %{HTTPS} !=on
    RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R,QSA]
</IfModule>

více zde:

Redirect http to https for a domain in Plesk 12.5