Ich habe eigentlich nie Probleme mit der Ladezeit bei dieser Seite.
Dass soetwas mit einem Banner zusammenhängen kann, würde ich grundsätzlich nicht ausschliessen, denn scheinbar wird dafür JavaScript vom Betreiber geladen. Ist deren Server überlastet, beeinflusst das u.U. den Seitenaufbau.
Eine andere Möglichkeit ist Datenbank-Lag zu Stoßzeiten. Sowas kann vorkommen, wenn gerade viele Benutzer gleichzeitig irgendwas aufrufen. Dinge wie Suche und Sortierung kosten grundsätzlich "Geld", auch wenn Datenbanken daraufhin optimiert sind. Ob das Probleme verursacht, hängt mit der Skalierung des Servers und der Anzahl der Zugriffe zusammen.
Am Wahrscheinlichsten ist ein Problem irgendwo zwischen dem Provider und dem RZ, wo der Rechner steht.Da kann man als Server-Admin nix gegen machen. Aber gerade sowas kommt am häufigsten vor.
Nebenbei bemerkt, ich würde vorschlagen, die vorhandenen inline javascripts und stylesheet-Angaben auszugliedern. Damit lässt sich dann doch einiges an Traffic sparen, denn als inline in einer von PHP ausgegebenen Seite kann dieser Kram vom Browser nicht gecached werden. Bei den Seiten, die ich betreibe, hat sich der monatliche Traffic durch solche Maßnahmen locker halbiert.