Classifica Estensioni che succhiano più RAM

[cuordileone]

Classifica Estensioni (Plugin/Moduli/Componenti) che succhiano più RAM ...

Il mio sito www.informazionepura.it è stato temporaneamente sospeso dal servizio Hosting Dedicato Pro dall'azienda che lo ospita, in quanto utilizzava il 750% della CPU di Xeon di ultima generazione e con 8gb di RAM.
Ossia, quello che consuma un sito da milioni di visite (il mio con punte massime massime di 23.000 unici al dì è una scemenza in confronto).

Mi hanno detto che Joomla di per sé consuma solo 24mb, e che dunque sicuramente era un suo applicativo (Plugin/Modulo/Componente) a mandar in tilt l'intera macchina che ospita il mio sito.

Ma quale plugin? O quale modulo o componente?
Di installati ne ho una sfilza - ed appena me lo spostano su una macchina test, magar li scrivo tutti - ma che voi sappiate quali sono storicamente così pesanti da creare problemi?

Uno di sicuro era JoomlaStat, e l'ho eliminato ... Da solo riempiva il database di 150mb in un mese e mezzo ... ma non deve esser stato lui dato che l'ho disattivato già da una settimana ... che altro allora?

[frascan]

Ciao.
Senza sapere che hai installato e senza poter vedere il sito che è sospeso la vedo dura poterti dare delle indicazioni utili.

Quando potrai fare l'elenco di quello che hai installato allora se ne riparla

[cuordileone]

Ok. Ho già chiesto di spostar il sito in AREA TEST ... Appena è lì, vi elenco TUTTE le estensioni che ho installate (plugin, moduli, componenti) e così mi date una mano ...

[ramses_2th]

Sembra strano che questo sito blocchi una macchina del genere. In ogni caso anche con "sole" 23.000 accessi unici al giorno io opterei per un servizio commerciale, in quanto quelli gratuiti limitano di parecchio la banda disponibile.

[cuordileone]

Non sto parlando di gratuiti ... Stiamo parlando di una grande macchina... Il fatto è a prescinder rispetto al pagamento o meno, e difatti qui non parliamo di servizi specifici. Parliamo di quali estensioni "succhino" tutta la CPU e la RAM ... Quali moduli o plugin o componenti ...

Appena mi riattivano il sito ne faccio una lista, però se già conoscete qualche estensione risaputa che è molto PESANTE, ditelo, così vi dico se ce l'ho o meno (a memoria) ...

[56francesco]

ho spostato..
niente che non si possa risolvere con un servizio adeguato, dici tu di avere 200 600 (modificato) articolisti, immagino che ciascuno utilizza una parte di risorse, moltiplica "poco" x 200 600 (modificato) e ottieni come risultato "tanto"

per cortesia, se non erro questo è il terzo topic sullo stesso problema (quale?) riscritto in diversa salsa..

[cuordileone]

1) Il sito è in fase di trasmigrazione all'area test (ne ho avuto conferma);
2) Ho avuto conferma dal gestore che Joomla di per sé non è pesante ma sono i suoi plugin quindi necessita trovare quelli. Appena lo rimettono online, vi faccio l'elenco..
3) Gli altri post avevano diverso fine ...

Vi tengo aggiornati!

[mau_develop]

in quanto utilizzava il 750% della CPU di Xeon di ultima generazione e con 8gb di RAM.
------------------------------------------------

ummhh, quindi con due joomla come il tuo gli dossi il server? ...interessante

M.

[mmleoni]

il 750% ?? e che, ha l'overboost? 

ovviamente senza mettere le mani sul server non si può dire niente, ma in generale le estensioni che usano più risorse sono quelle statistiche e quelle grafiche.

tra le prime inseriamo tutte quelle che danno indicazioni del tipo l'articolo più letto del giorno, della settimana, l'utente più attivo e così via.

tra le seconde tutte quelle che effettuano manipolazioni di file grafici, e che magari non gestiscono i ridimensionamenti in cache.

joomla di suo ha dei seri problemi di efficienza delle queries su articoli/categorie/sezioni quando questi sono in numero anche relativamente alto: non voglio entrare nella discussione se sia un problema di mysql o di joomla, ma c'è. quest'ultimo aspetto in sistemi in cui application/web e sql server coesistono sulla stessa macchina è spesso l'origine dello stallo del sistema. leggendo quello che riporta francesco...

ciao,
marco

[cuordileone]

il 750% ?? e che, ha l'overboost? 

Questo è quanto mi hanno detto! ... Cmq domani vi faccio l'elenco ... Così cerchiamo di risolvere insieme!

[cuordileone]

Elenco Plugin installati ed attivi (credo che quelli non attivi non sia necessario elencarli):

NOME                            TIPO           FILE
Authentication - Joomla         authentication joomla
Button - Agora Profile          editors-xtd    aup_button
Button - AllVideos Reloaded     editors-xtd    avreloaded
Content - Agora Olympus Discuss content        agoradiscuss
Content - AllVideos Reloaded    content        avreloaded
Content - AlphaToolbar          content        alphatoolbar
Content - DAvatar               content        davatar
Content - Email Cloaking        content        emailcloak
Content - JComments             content        jcomments
Content - Load Module           content        loadmodule
Content - Page Navigation       content        pagenavigation
Content - Pagebreak             content          pagebreak
Content - Rating                content         vote
Content - RokDownload Link      content           rokdownload
Editor - No Editor              editors         none
Editor - TinyMCE                editors         tinymce

Editor Button - Agora Olympus Discuss - editors-xtd - aodbutton
Editor Button - Image           editors-xtd     image
Editor Button - JComments OFF   editors-xtd     jcommentsoff
Editor Button - JComments ON    editors-xtd     jcommentson
Editor Button - Pagebreak       editors-xtd     pagebreak
Editor Button - Readmore        editors-xtd     readmore
Editor Button - RokDownloads Link - editors-xtd - rokdownload
Editor Button - Sourcerer       editors-xtd     sourcerer

Protos Lightbox                 content         protos.lightbox
Protos Lightbox JS              system          protos.lightbox.js
Search - Categories             search          categories
Search - Contacts               search          contacts
Search - Content                search          content
Search - JComments              search          jcomments
Search - Newsfeeds              search          newsfeeds
Search - RokDownloads           search          rokdownloads
Search - Sections               search          sections
Search - Weblinks               search          weblinks
SearchBot - Agora 3             search          agorasearch
System - AllVideos Reloaded     system          avreloaded

System - Debug                  system          debug
System - JComments              system          jcomments

System - Metagora               system          Metagora
System - NoNumber! Elements     system          nonumberelements
System - Remember Me            system          remember
System - SEF                    system          sef
System - Sourcerer              system          sourcerer
User - JComments                user            jcomments
User - Joomla!                  user            joomla

(Quelli disattivati non li ho scritti ... Adesso vi elenco i componenti)...

[vamba]

Prima d'imbarcarsi a cercare il colpevole - perchè non analizzi quanto consuma la prima pagina in termini
1. di query generate?
2. di memoria utilizzata?

(puoi vederlo attivando il debug)

La pagina principale di un sito standard genera da 20-30 query e un consumo che raggiunge i 5-7 mega, la tua pagina principale credo che generi molte più query e soprattutto consumi molto più memoria.

Prova a moltiplicare questi valori (query e memoria) con il numero di accessi e forse ... scopriremo che non occorre nemmeno cercare un colpevole 

[cuordileone]

1) Grazie dell'intervento;
2) L'ho appena fatto ... Non so leggerne i risultati però ... tra tutte quelle righe che devo trovare?

Queste forse?


PRIMA PAGINA:
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.190 seconds, 6.49 MB
Application afterRoute: 0.222 seconds, 8.89 MB
Application afterDispatch: 0.628 seconds, 23.62 MB
Application afterRender: 2.711 seconds, 42.35 MB
Utilizzo Memoria
44451656
164 queries logged


UNA QUALSIASI PAGINA DI "CATEGORIA" (es. economia)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.083 seconds, 6.50 MB
Application afterRoute: 0.103 seconds, 8.34 MB
Application afterDispatch: 0.247 seconds, 14.79 MB
Application afterRender: 1.426 seconds, 25.76 MB
Utilizzo Memoria
27060760
79 queries logged

[tonicopi]

Attivi il debug dal panello di controllo ---> configurazione ---> sistema ----> configurazione debug ----> debug sistema ---> SI

 

[cuordileone]

Già fatto Toni ^^

In grassetto sopra ci sono i risultati ... cosa mi sapete dire? ... Ps.. memoria usata ... è in byte?

[vamba]

Codice: [Seleziona]

Utilizzo Memoria
44451656
164 queries logged
Alla faccia del sito snello !!!! 

generi da 5-6 volte più query di un sito standard
cosumi da 6-7 volte più memoria di un sito standard

e qui parliamo solo della prima pagina ...

per farti un esempio classico di pagina leggermente pesante provo a portarti come esempio una pagina di un mio sito che utilizzo per hobby...

La prima pagina genera 27 query
e il consumo di memoria è 6,9 mega
www.mamboitalia.com

(e non è certo che manchino informazioni in questa pagina, è bella carica pure questa).
 

[cuordileone]

La tua pagina è bellissima (e non cado mai in complimenti io), e mi fa della sana invidia ...
Come mai la mia genera così tanto?
Sono disposto anche a passarti i report del debug completo se hai piacer di aiutarmi!

Diamine che bella quella pagina!

[vamba]

1.disattiva tutti i moduli che hai in home page e lascia solo le notizie e dopo verifica, con le  sole notizie, quante query vengono generate e quanta memoria consumi.
2. fatto questo inizia a ripubblicare un modulo alla volta per capire quale, effettivamente, genera query a randa...

[cuordileone]

Adesso sto finendo di portar tutto in locale così da far i test del caso. Ho notato che la voce del database jos_bannertrack è di 80mb ... Forse è quello il problema?

[start ot]
Quei moduli del tuo sito sono bellissimi:
1) Sono scaricabili gratuitamente?
2) Devi selezionare manualmente gli articoli, o puoi "ordinare" per es. che vengano pubblicati "gli ultimi di XXX categoria"?
[finish ot]

[cuordileone]

Leggendo questo - http://joomla.it/articoli-della-community/783-la-cache-di-joomla-15-usarla-o-no.html - mi pare di aver capito che se abilito la cache per es. a 3 min. potrei affaticare meno il sito ... dunque la ram e la cpu credo ... Sbaglio?

[cuordileone]

SITUAZIONE DI PARTENZA HOME PAGINE di www.informazionepura.it
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.190 seconds, 6.49 MB
Application afterRoute: 0.222 seconds, 8.89 MB
Application afterDispatch: 0.628 seconds, 23.62 MB
Application afterRender: 2.711 seconds, 42.35 MB
Utilizzo Memoria
44451656
164 queries logged

SENZA BANNER DA GESTIONE BANNER DEFAULT (1.67mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.083 seconds, 6.50 MB
Application afterRoute: 0.095 seconds, 8.35 MB
Application afterDispatch: 0.587 seconds, 23.30 MB
Application afterRender: 2.204 seconds, 40.68 MB
Utilizzo Memoria
42705256
121 queries logged

SENZA VISIT COUNTER (0,27mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.096 seconds, 6.50 MB
Application afterRoute: 0.108 seconds, 8.35 MB
Application afterDispatch: 0.516 seconds, 23.31 MB
Application afterRender: 1.474 seconds, 40.51 MB
Utilizzo Memoria
42528792
117 queries logged

SENZA mod_globalnews "ALTRI ARTICOLI" (di più?)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.083 seconds, 6.50 MB
Application afterRoute: 0.095 seconds, 8.35 MB
Application afterDispatch: 0.528 seconds, 23.32 MB
Application afterRender: 1.444 seconds, 40.78 MB
Utilizzo Memoria
42804768
112 queries logged

SENZA FACEBOOK (0,30mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.088 seconds, 6.50 MB
Application afterRoute: 0.102 seconds, 8.35 MB
Application afterDispatch: 0.532 seconds, 23.31 MB
Application afterRender: 1.585 seconds, 40.48 MB
Utilizzo Memoria
42495672
112 queries logged

SENZA MOD FEED (4,5mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.085 seconds, 6.50 MB
Application afterRoute: 0.097 seconds, 8.35 MB
Application afterDispatch: 0.515 seconds, 23.32 MB
Application afterRender: 1.049 seconds, 35.98 MB
Utilizzo Memoria
37772016
112 queries logged

SENZA CHAT (0,48mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.104 seconds, 6.50 MB
Application afterRoute: 0.117 seconds, 8.35 MB
Application afterDispatch: 0.537 seconds, 23.32 MB
Application afterRender: 0.971 seconds, 35.50 MB
Utilizzo Memoria
37274568
109 queries logged

SENZA mod_dwhosonline (ultimi utenti loggati)

(2.53mb):
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.139 seconds, 6.50 MB
Application afterRoute: 0.152 seconds, 8.35 MB
Application afterDispatch: 0.566 seconds, 23.32 MB
Application afterRender: 0.969 seconds, 32.97 MB
Utilizzo Memoria
34623336
97 queries logged

SENZA mod_cblogin (6.61mb)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.083 seconds, 6.50 MB
Application afterRoute: 0.094 seconds, 8.35 MB
Application afterDispatch: 0.752 seconds, 23.32 MB
Application afterRender: 1.106 seconds, 26.36 MB
Utilizzo Memoria
27768976
91 queries logged

SENZA mod_swmenufree (MENU ... 0,68mb che rimetto)
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.083 seconds, 6.50 MB
Application afterRoute: 0.095 seconds, 8.35 MB
Application afterDispatch: 0.494 seconds, 23.32 MB
Application afterRender: 0.797 seconds, 25.68 MB
Utilizzo Memoria
27051840
89 queries logged

TOLTE ALTRE COSETTE ... Ora siamo a:
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.099 seconds, 6.50 MB
Application afterRoute: 0.111 seconds, 8.35 MB
Application afterDispatch: 0.530 seconds, 23.32 MB
Application afterRender: 0.880 seconds, 26.65 MB
Utilizzo Memoria
28073544
91 queries logged

Sono partito da:
Utilizzo Memoria
44451656
164 queries logged

Ora sono a:
Utilizzo Memoria
28073544
91 queries logged

Cos'altro vi sembra potrei levare?

[vamba]

beh ... hai in pratica dimezzato il carico ... ma probabilmente c'è ancora qualcosa che sta puppando "illecitamente" (si fa per dire) memoria, e generando delle query, secondo me, inutili se il risultato è ricavare dei soli dati testuali dalla tabella content.

[cuordileone]

In soldoni che dovrei far?

Il tuo template è na' figata eppure a vederlo sembra pesantissimo ... Non vorrei ridurre il mio alla banalità di un blog con l'ordine degli articoli solo dal più recente al più vecchio senza la divisione per categorie ...

Dimmi te ...

[cuordileone]

Per far veder che c'è proprio qualcosa che NON va, ho creato questa pagina/articolo http://www.informazionepura.it/test-per-ram

Che non dovrebbe aver quasi nulla (infatti fa poche query), e che però usa un casino di memoria:

Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.40 MB
Application afterInitialise: 0.084 seconds, 6.50 MB
Application afterRoute: 0.097 seconds, 8.36 MB
Application afterDispatch: 0.186 seconds, 13.96 MB
Application afterRender: 0.475 seconds, 15.90 MB
Utilizzo Memoria
16.792.520
29 queries logged

Come mai? Cos'altro ci sarà?


Esclusione (ossia, che ho testato esser di poco conto):
mod_custom -> AlexaRank+Radio
mod_mainmenu -> Categorie2
mod_easy_paypal_donation -> Donazione Libera

[cuordileone]

Nessun altra idea? ... Ho provato persino a cambiare template per veder se dipendeva da quello ... ma nulla ... persino senza moduli, la pagina rimane pesante sulla memoria ... DATEMI UNA MANO PLEASE ...
http://www.informazionepura.it/test-per-ram

Ho provato a reinstallare TUTTO da capo su un sottodominio - http://www.2.informazionepura.it/ - e ne risulta che l'uso minimo che si può fare è di:
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.39 MB
Application afterInitialise: 0.041 seconds, 3.55 MB
Application afterRoute: 0.048 seconds, 4.21 MB
Application afterDispatch: 0.064 seconds, 5.55 MB
Application afterRender: 0.079 seconds, 6.29 MB
Utilizzo Memoria
6714576
8 queries logged

Ossia, ancor meno di quante ne fa il template di default rhuk_milkyway:
Informazioni Profilo
Application afterLoad: 0.000 seconds, 0.39 MB
Application afterInitialise: 0.042 seconds, 3.55 MB
Application afterRoute: 0.050 seconds, 4.21 MB
Application afterDispatch: 0.090 seconds, 7.46 MB
Application afterRender: 0.103 seconds, 8.07 MB
Utilizzo Memoria
8581072
11 queries logged

Tale valore - Utilizzo Memoria 6714576 e 8 queries logged - vi sembra alto? Se no, come faccio - dato che non trovo/troviamo il plugin/componente/modulo "maledetto" - a portar TUTTI gli articoli, i messaggi dei commenti, il forum, e i contatti, sul nuovo sito???

Oppure ditemi come trovarlo sto "maledetto"!

[cuordileone]

Ho trovato il PUNTO ove si trova il problema, ma mi serve la vostra mano per capirlo!

Sono quasi certo che il problema dipenda dalla tabella jos_sesion del database ove è installato joomla. Ne sono quasi certo per due motivi:
1) Innanzitutto perchè ho provato ad importare TUTTO su un altro sito, a parte questa tabella, e tutto funziona senza quell'uso della memoria eccessivo (ovviamente non vedo però le sezioni).
2) Inoltre è l'unica voce che dichiara "un eccesso"...

Adesso chiedo a voi - ricordandovi che ho + 2000 articoli, come risolvo il problema ora che l'ho individuato?

[cuordileone]

Ecco le foto di ciò che dico!

[allegato vecchio più di un anno eliminato automaticamente]

[jqjo]

da phpmyadmin in fondo selezioni tutte le tabelle, poi scegli alla voce se selezionate "ottimizza tabella" esegui la query e per magia i byte in eccesso spariscono.

ti consiglio di effettuare questa manovra almeno una volta a settimana se sei convinto che il problema è quello, in alternativa cerca qualche plug in che lo faccia in automatico.

[cuordileone]

Ho talmente tanti iscritti e visitatori che lo devo fare 40 volte al dì ... Conosci un plugin che faccia a caso mio (senza che riveli la password e l'id a nessuno)?

Ho scoperto un codice php che permette tale ottimizzazione automatica del database ma purtroppo se vai in "codice sorgente" potresti veder password di accesso e quindi violarlo!

[taolo]

Sarebbe utile vedere il tuo load avarange - processi in sospeso -. Sicuramente gran parte della memoria viene sfruttata da query che restano aperte per troppo tempo o non vengono mai chiuse.

Se fai una media di visitatori superiori ai 20000 al giorno penso che almeno per la metà di visite un dedicato sia più che necessario.
Valuta i costi - ed i ricavi - ed opta per un server tutto tuo. Se non te ne intendi cerca un servizio managed che ti aiuti nella configurazione e che si occupi della sicurezza. Rischi di vederti il sito sempre sospeso con quei valori, e vedi che l'ottimizzazione delle tabelle serve ma non risolve granchè con un consumo di risorse come il tuo.

Puoi fare un tentativo installando http://extensions.joomla.org/extensions/site-management/cache/3180 - non l'ho mai usato ma ne parlano bene (non puoi usarlo se utilizzi il legacy) - e abilitando la cache dalla configurazione globlale ( 3 minuti sono pochini... meglio 15 almeno, ma dipende ogni tot aggiorni il sito) diminundo così le richieste al mysql.

Se il tuo DB supera i 100 MB stai tranquillo che una buona percentuale di risorse utilizzate provengono proprio dalle chiamate continue al mysql.