[RISOLTO] Eccessivo uso di risorse del server e pagina errore 404

[iccamar]

Il servizo di hosting di un mio sito (ovviamente in Joomla) mi avvisa di un eccessivo consumo di quella che loro chiamano Grid Performance Unit (GPU) dovuto alle numerose chiamate delle pagine di errore 404 che ho personalizzato come da guida trovata in questo sito.

Ho chiesto loro suggerimenti per eliminare il problema (che determina un aumento dei costi mensili) e mi hanno suggerito di predisporre una pagina di errore in HTML da richiamare attraverso il file .htaccess in quanto la generazione di una pagina dinamica da parte del server - come avviene adesso - richiede maggiori risorse.

Ho predisposto il tutto ma, ovviamente, non funziona in quanto Joomla utilizza la pagina di errore creata dal file error.php che si trova in templates/style o, in caso di personalizzazione come da guida di questo sito, nella directory del template utilizzato.

Ho provato ad escludere i file error.php (ed i files CSS correlati) uno per uno ma ottengo solo una pagina bianca.

Qualche suggerimento?

Per completezza di informazione di chi vorra' rispondermi:

- sono un neofita e a digiuno di php 

- il problema delle pagine di errore è dato da un recente passaggio da Phpnuke a Joomla solo in parte risolto con redirect & co. Non è un problema perché i contenuti sono dedicati agli utenti, il sito non vende nulla e non contiene pubblicità e la perdita di pagerank (già un punto...) non mi interessa più di tanto, quindi, aspetto che i contenuti nella nuova forma vengano indicizzati 

- non ho indicato il nome del servizio perché mi pare non sia consentito dalle regole del forum. Il server comunque è un server condiviso con un sistema definito Gridserver (se questa definzione non è consentita prego i moderatori di editare)

- il sito è abbastanza trafficato, strutturato come archivio\bancadati e contiene oltre 6000 documenti ma, dalle informazioni che ricavo dal pannello di controllo, il problema si pone solo con le pagine di errore 404

- non posso passare ad un server dedicato in quanto non ho competenze per gestirlo, specie per quanto riguarda la scurezza...e il problema, quindi, è solo di costi avendo la possibilità di ampliare banda e spazio pagando il dovuto.... 
 
Grazie a chi vorrà aiutarmi
 

[mmleoni]

ciao,
 la domanda è: ma che ci fai in quella pagina php?
credo che l'errore sia lì, dato che la pagina 404 dovrebbe sicuramente usare meno risorse/effettuare meno queries di una pagina normale, se le richieste andassero alla pagina normale che accadrebbe?

sicuro che non sia il tuo stesso sito a generare link non corretti? verifica con i web master tool di google magari.

alla peggio: un redirect da .htaccess ad una pagina standard del sito, per tutti i link esterni che si riesco ad individuare, servirebbero:
. sapere se hanno uno schema preciso
. log error di apache

ciao,
marco

[iccamar]

Non so se ho ben capito la tua risposta.

Ho provato a fare verifiche sia con Google - risorse per webmaster e sto utilizzando - per cercare di risolvere - le componenti ReDJ e Phoca SEF.

Da quanto ho potuto vedere con Phoca SEF ci sono errori a qualche link interno che sto correggendo, ma la maggior parte, a quanto ho capito, riguardano i link da altri siti o da Google alle vecchie pagine in Phpnuke (a causa della migrazione, i vecchi articoli in nuke hanno URL diversi). Man mano che vengono segnalati dagli utenti o trovati da me, cerco di correggerli.

La soluzione drastica, quella di un redirect via .htaccess non riesco, appunto a farla, perché Joomla usa quel file error.php e, quindi, la pagina di errore viene generata diversamente.

Altri problemi non mi sembra ci siano. Anche io uso il sito per lavoro, come moltissimi utenti e le ricerche attraverso il motore di ricerca interno e Google raggiungono perfettamente gli articoli nel sito in Joomla. 
 

[56francesco]

dovuto alle numerose chiamate delle pagine di errore 404 che ho personalizzato

se il problema è quello..
magari spiega come hai personalizzato
hai visto mai che ci sta un qualche piccolissimo errorino?

[iccamar]

La pagina 404 l'ho personalizzata come suggerito nell'articolo pubblicato in questo sito.

Nel frattempo, le chiamate alla pagina di errore sono diminuite (Google e gli altri motori hanno indicizzato i nuovi URL).

Sto monitorando i consumi, intanto:
- ho corretto alcuni errori di chiamata delle immagini
- ho installato alcune plugins suggerite negli articoli per velocizzare il sito
- ho modificato il file .htaccess per veocizzare il caricamento
- sto considerando se eliminare il frameless per il forum e passare al wrapper o alla visualizzazione diretta

[iccamar]

Torno sulla questione per aggiornare sui mie test sperando che la cosa possa servire anche ad altri.

Dopo l'indicizzazione dei nuovi URL da parte dei motori di ricerca e una ripulitura del file .htaccess da alcuni comandi che gestivano immagini e contenuti statici c'e stata una drastica riduzione dei consumi.

Facendo ricerche sulla rete ed analizzando i log ora per ora ho constatato che
 
1. è nota una certa difficoltà di gestione delle query da parte di Joomla con database contenenti parecchi articoli (se ho ben capito)

2. ho verificato picchi elevati di consumo in corrispondenza degli orari in cui ho tentato di effettuare il backup con Joomlapack (peraltro in alcuni casi ricevendo un error 500)

Un paio di domande agli esperti:

esistono sistemi per migliorare le prestazioni diversi da QueryCache (che non viene più aggiornato dal 2008) o estensioni che consentano una gestione meno stressante per il server dei documenti archiviati (nel mio caso 6000 in incremento quotidiano)?

è possibile che Joomlapack col suo utilizzo causi il problema risocontrato o è una coincidenza?

Grazie a chi vorra' aiutarmi

[56francesco]

è possibile che Joomlapack col suo utilizzo causi il problema risocontrato o è una coincidenza?

credo proprio non sia una coincidenza...

[iccamar]

Grazie 56francesco per la sollecita risposta!

Allora avevo visto giusto...
Farò il backup come in precedenza, a mano...

Resta il problema di un consumo veramente alto di GPU (che, in pratica è la CPU del processore del server). Mi sembra strano che un CMS così collaudato come Joomla stressi così il server.
Dipendera' da me ma non riiesco veramente a capire perché....

Il mio sito non è particolarmente trafficato (Analytics mi indica 88.894 visite nel periodo 4 aprile- 4 maggio) con un incremento rispetto al passato del'8%

Non ho installato plugin particolari ed i contenuti sono soltanto documenti ed un forum in phpbb3. In pratica, ho trasferito esattamente quello che prima avevo in Phpnuke e che mai nel corso degli anni mi aveva dato problemi di server (naturalmente - per ragioni facilmente intuibili - NON voglio tornare indietro...).

Tanto per fare un esempio concreto, prima del "trasloco" il massimo del consumo di GPU era di 850\1000 per un mese.
Adesso, mancando 8 giorni ala fine del periodo di stima, sono gia' a 1654\1000 con un eccedenza di 654 che pagherò 0,10 centesimi di dollaro per unità....

Ho anche fatto delle verifiche per passare ad un server dedicato\virtuale (l'unico che potrei gestire con le mie scarse conoscenze) ma a quanto pare andrei fuori anche così.

Mi pare strano che un CSM potente come Joomla non possa essere gestito con mezzi normali. Ma dove ho sbagliato?

Grazie acora per gli aiuti (se qualcuno necessita di link per verifiche o per vedere le caratteristiche del server posso mandarli via email perché credo che le regole del forum non lo consentano)   

P.S. 
Queste, se possono esser utili, le caratterstiche del server (condiviso)
    * 100 GBs spazio disco
    * 1 TB short-path bandwidth
    * 100 unique sites / alternate domains
    * 1,000 GPUs
    * 100 databases
    * 1,000 email addresses


 

[56francesco]

ed un forum in phpbb3.

ho sempre preferito SMF per via dell'impressione che consumasse meno risorse

se ad esempio se nel forum permetti di linkare ad immagini esterne nelle signe allora il consumo di risorse aumenta..
per non dire se si possono inserire video da server esterni

se tieni articoli copia ed incolla che linkano ancora le immagini dall'esterno, componenti video esterno, ecc..
e poi eccessivo non significa niente, eccessivo rispetto a che cosa? a quale parametro?
con riferimento alla macchina?  ovviamente se monta un monoprocessore o un quad  non è la stessa cosa..

non bisogna essere dei tecnici per capirlo, basta leggere la netiquette  e magari provare a farla rispettare, contrariamente a quanto si crede oramai al 100% la netiquette non c'entra niente con il galateo ma si preoccupa di tutelare la risorsa in uso, sito, forum, chat e altro che sia..
cioè un utente che scrive va....o non è così nocivo quanto uno che quota a tavoletta o inserisce una signe con dieci link esterni, la netiquette considera sconvenienti gli ultimi due utenti..
oppure aumentare le risorse, ma non basterebbero mai..

[iccamar]

Grazie ancora 56Francesco!

Mi riferivo al "consumo" di risorse rispetto al passato.

Per essere più chiaro:
il massimo quantitativo di GPU utilizzabile mensilmente è di 1000 (si tratta di un Grid server, quindi di host condiviso). Se si supera questa soglia di 1000 il sito continua a funzionare ma le unità successive vengono conteggiate e fatte pagare 0,10 centesimi per unità.

Il riscontro che ho fatto è rispetto al passato: i contenuti (sito e forum) sono gli stessi (comprese le immagini), mentre è cambiato il CMS (dal "rozzo" e ormai obsoleto PhpNuke a Joomla).
Il trasloco è avvenuto il 21 marzo scorso e, da quella data, questi consumi sono schizzati in alto.

Pagina di errore  conseguente al cambiamento degli URL e file .htaccess mal configurato hanno contribuito notevolmente ma, a parte questi picchi considerevoli, la media rimane alta.

Non credo dipenda dal Forum (peraltro non mi conveniva convertire pure quello ) perchè gli utenti sono quasi esclusivamente professionisti interessati alle materie trattate ed il massimo di contenuti esterni sono qualche emoticon e qualche riferimento a documenti su siti esterni (i link sono rigidamente disciplinati non essendo ammesso alcun riferimento a siti commerciali o a banche dati a pagamento). E' un sito essenzialmente di lavoro organizzato come banca dati.   

Peraltro con il trauma del passaggio i link esterni al sito sono sensibilmente diminuiti, tanto che il pagerank è sceso da 6 a 5 in pochi giorni.

In precedenza avevo usato per circa un anno Joomla con un altro sito di una associazione professionale (ma con poco traffico, un decimo dell'altro) per vedere come andava e non ho avuto problemi. Entrambi i siti erano e sono sullo stesso server.
   

[iccamar]

Problema risolto!!!!

Sperando che serva ad altri, riferisco...

Dopo varie ricerche e oltre 120 dollari di pagamento extra per questo mese (e grazie all'aiuto di mio figlio che non usa Joomla ma ne sa piu di me...) ho potuto accertare che:

- le chiamate a pagine non trovate, con conseguente errore 404, sono cessate grazie all'uso della componente ReDJ per il reindirizzamento e all'indicizzazione progressiva delle nuove pagine facilitata dall'uso di Xmap e dall'ottimo tutorial che ho trovato in questo forum

- il consumo eccessivo di GPU (che poi è la CPU del server) era dato anche da centinaia di chiamate per immagini che non venivano trovate con conseguente errore 404

- questo ultimo problema è dato - a quanto ho capito - da un bug (a quanto pare noto ma non ancora risolto come scritto in un forum in inglese) relativo al mod_rewrite generato da Joomla che, in pratica, cambia l'URL delle immagini quando si apre un articolo.

Esempio: se l'immagine è all'indirizzo www.miosito.it/pippo/images/immagine.gif
il mod_rewrite, quando si apre l'articolo, cambia questo indirizzo e tutti quelli di tutte le immagini della pagina
inserendo un numero che non c'entra nulla e fa diventare l'indirizzo
http://www.miosito.it/pippo/1234/images/immagine.gif

con la conseguenza che tutte le immagini non vengono trovate generando una miriade di errori 404 e 302 che, moltiplicati per il numero della pagine e dei visitatori, diventano una quantità impressionante.

Ho (mio figlio ha ) risolto modificando a mano il codice html del template aggiungendo questa riga

Codice: [Seleziona]

$this->setBase("http://miosito.it");

Resta da osservare che dalle ricerche effettuate vi è unanime consenso nel definire Joomla e altri CMS (come Wordpress etc.) molto "pesanti" e che, indipendentemente dal mio specifico problema, moltissime persone hanno avuto difficoltà con le risorse del server.

Ho comunque preso la decisione di passare ad un server dedicato che mi verrebbe a costare, a conti fatti, solo un centinaio di dollari in più l'anno.....

Grazie comunque a tutti per l'aiuto

P.S.
Edito con RISOLTO

[56francesco]

Esempio: se l'immagine è all'indirizzo www.miosito.it/pippo/images/immagine.gif
il mod_rewrite, quando si apre l'articolo, cambia questo indirizzo e tutti quelli di tutte le immagini della pagina
inserendo un numero che non c'entra nulla e fa diventare l'indirizzo
http://www.miosito.it/pippo/1234/images/immagine.gif

solo per curiosità, hai un link ad una pagina che fa/faceva sta cosa?
solo perchè a me non è mai accaduto..

[iccamar]

Non ho più i links, perché erano sul log giornaliero dell'hoster dove segnala i consumi.

Preciso però che il fatto del mod_rewrite lo ha trovato mio figlio su un forum in inglese dopo una lunga telefonata con gli USA (via Skipe ) dove c'e' il server e la relativa assistenza.
Io l'ho riferito pari pari.
Su quel forum c'erano anche alcune soluzioni che proponevano modifiche a mano del codice di Joomla che ho preferito non far fare per evitare poi di ritrovarmi daccapo ad ogni aggiornamento.

A questa mia obiezione, utilizzando firebug, mio figlio mi ha chiesto di aprirgli il file HTML del template e ha poi agito sul codice con quella modifica che ha risolto il tutto.

Dopo la tua risposta, effettivamente, ho fatto una verifica con l'altro sito in Joomla che ho da oltre un anno ed il problema non si pone.

A questo punto potrebbe darsi che il problema sia solo il template ma non ho le consocenze per poterlo affermare con certezza.
Se così fosse, verrebbe confermata una tua affermazione su un certo programma commerciale per fare template che, in un altro topic, hai pesantemente bollato dicendo che crea solo problemi (e questo template l'avevo fatto così ). Comunque questo fine settimana ne provo un altro e faccio qualche test così posso integrare l'informazione.     
Inoltre, se dovesse servire a chi è più esperto, posso chiedere a mio figlio di scrivere due righe di spiegazione con i link a quel forum per saperne di piu'... 

[56francesco]

mio figlio mi ha chiesto di aprirgli il file HTML del template e ha poi agito sul codice con quella modifica che ha risolto il tutto.

capito..
i "creatori" di template sono specialisti nel "rivendere" i loro errori ad estensioni o al core di joomla..
ecco perchè io mi servo sempre di template semplicemente "scritti" e mai "creati"
 

ma che un template "creato" male potesse dar luogo ad un tale problema ancora non lo sapevo, ora lo so, grazie della spiegazione.

[iccamar]

ma che un template "creato" male potesse dar luogo ad un tale problema ancora non lo sapevo, ora lo so, grazie della spiegazione.

Infatti...
Una settimana di passione per capirci qualcosa!
E il template era l'ultimo dei miei pensieri.
Adesso ne voglio trovare uno (in questo sito, almeno vado sul sicuro da falle & co.) leggerissimo e fare qualche prova.
Riferirò.

[mmleoni]

mi sovviene che il problema citato da iccamar forse lo avevo già visto, ma non stava nel template, ma nelle impostazioni errate dell'editor che non inseriva il percorso assoluto nelle immagini (insomma non metteva la / davanti). 

non è un problema di joomla ma di tutti i cms che usano il sef. in effetti se il percorso è:

sito/sezione/categoria/articolo

il browser pensa che /sezione/categoria/ sia una path reale e cerca le immagini, che non hanno un indirizzo assoluto, in tale percorso.

il che spiegherebbe perché la soluzione di tuo figlio (complimenti) funziona.

ciao,
marco