No, ovviamente non uno per uno!senò diventi scemo..
Notepad++ mi sembra abbia la possibilità di cercare stringhe nei files data una certa cartella (la root): si occuperà l'editor di scovare la stringa (http://) anche nei files presenti nelle sotto cartelle.
Es:
https://www.ghacks.net/2016/09/16/use-notepad-to-find-text-in-all-files-of-a-folder/Per il database basta che lo apri con l'editor di testo e cerchi la stringa http://
Fai un backup di tutto prima, ovviamente.
PS: ti consiglio di eliminare il codice dall'.htaccess per il redirect e agire sul file configuration.php forzando a tutto il sito l'https; i troppi reindirizzamenti forse dipendono dal conflitto della regola in .htaccess e della configurazione di joomla.
PS2: non serve alcun server http, non devi far girare il sito in locale, devi solo cercare la stringa di interesse nei files. Salvati i files e salvato il database li ricarichi in remoto.
PS3: nel database hai ad esempio i contenuti degli articoli, se hai inserito il caricamento di un'immagine in un articolo di joomla, il link non lo trovi nei files ma nel database.
La ricerca nei files invece serve per le estensioni di terze parti, nel caso in cui carichino contenuti in http; ovviamente prima di fare la modifica da http a https assicurati che il sito di richiamo in https esista realmente.