Mi sono dannato anch'io parecchio...
Per risolvere il problema ho dovuto agire su diversi piani.
La macchina sulla quale gira PHP (in FastCGI) è dedicata; non è quella di gestione SMTP/POP. Ho quindi abilitato il server virtuale SMTP (spartano) di posta integrato in IIS6. Autenticazione con accesso anonimo ma permettendo al solo server/IP l'accesso al servizio. Come nome dominio predefinito ho inserito quello principale (della macchina) e come alias il nome del computer locale.
Nel PHP.ini ho inserito:
SMTP = localhost
smtp_port = 25
sendmail_from = nomedominio.ext*
*= va inserito quello principale impostato nel servizio SMTP locale
Nei siti di joomla, in configurazione globale, nei Mail Settings ho inserito:
Mailer = SMTP Server
Mail from = localhost
Sendmail Path = /usr/sbin/sendmail (quello di default)
SMTP Authentication = No
Per il momento queste impostazioni funzionano; sebbene ci sia ancora qualche errore in particolari circostanze. Secondo me, come ho già scritto, questa parte di gestione SMTP deve essere ottimizzata. Se inserivo i parametri per l'uso del mio server di posta principale non c'era verso di farlo funzionare. Va detto che su questo ho assunto pienamente le direttive ASTA con tutti i relativi controlli antispam previsti e temo che ci siano problemi da questo lato.