Penso di aver trovato quello che fa al caso tuo:
l'estensione si chiama
JUMultithumb.
Per ottenere quello che vuoi tu, devi entrare nella configurazione del plugin e disattivare l'opzione "Thumbnails All Images"; devi anche disattivare "Security image" se mod-rewrite è disattivato (nel dubbio puoi lasciarla e provare: se le immagini sono sostituite da un link, disattivala). Inoltre, se non vuoi la filigrana con il logo dello sviluppatore, disattiva "Use watermark for thumbnail image" o sostituisci l'immagine con una di tuo gradimento (vedi il suggerimento che appare su quest'ultima opzione).
A questo punto, quando vuoi che un'immagine abbia il thumbnail, dopo averla aggiunta in jce, la clicchi con il destro, selezioni "Inserisci/modifica immagine", apri la scheda avanzato e scrivi "juimage" nella riga classi.
Spero che sia quello che ti serviva.
Fammi sapere se è tutto ok!
Luca