X server allokiert endlos Speicher

Hallo! Ich habe ein ganz furchtbares Problem. X frisst mit der Zeit immer mehr Speicher. Derzeit sind's so 500MB, mein Rekord liegt bei 1.3GByte. Ein so offensichtliches memory leak kann ich mir kaum vorstellen. Irgendwelche trojaner oder dergleichen? Wer hat gute Ratschläge zu bieten? Timo