Não, plugins inativos ou desativados não fazem o seu site ficar mais lento. Cada vez que um usuário acessa uma página ou post do seu site, a plataforma inicia o processo de carregamento.
Nessa etapao, o WordPress só faz o carregamento dos plugins ativos instalados. Todos os inativos são totalmente ignorados e não carregados. Logo, mesmo que você tenha 20 plugins inativos instalados em seu WordPress, a performance não será afetada e seu site não ficará mais lento.
O único lugar que o WordPress “procura” por plugins inativos é na própria página de plugin. Até mesmo lá, limita-se apenas na busca por arquivos de cabeçalho do plugin e não executa o carregamento deles.
Se o seu website está sofrendo com a lentidão, dificilmente os plugins inativos serão o motivo.
Então, conte conosco para dar uma verificada e sugerir melhorias sempre.
Referencia: https://www.yogh.com.br/blog/plugins-desativados-podem-deixar-meu-site-wordpress-mais-lento/