Linux muy lento con gran cantidad de directorios
tengo un problema con el acceso a directorios en Linux. He creado un script genera miles de directorios de forma recursiva, es decir, q dentro de un directorio hay otros miles de directorios. Ahora mismo tengo un total de casi 2 millones de directorios creados. Resulta que cada vez va mas lento el sistema de añadir nuevos directorios, y el acceso a ellos. El formato que tengo es ext3, con inodos de 1K. me interesa mantener el formato a ext3 y no otro sistema. ¿esto de la velocidad de acceso a un directorio tiene solucion? ¿o es que linux es lento con grandes volumenes de ficheros? Saludos Mauro
Voy a cambiar el formato de ext3 a JFS, he intentado darle un nuevo formato con el comando: mkfs.jfs /dev/hdg1 Pero me dice que ya tengo el disco montado con otro formato y que no se puede. ¿qu etengo que hacer? ¿hay que desmontar primero la partición antes de formatear?, ¿cuales son los pasos? He encontrado una comparativa y segun parece el mejor es JFS: http://linuxgazette.net/102/piszcz.html Mauro Romanos Escribe:
tengo un problema con el acceso a directorios en Linux. He creado un script genera miles de directorios de forma recursiva, es decir, q dentro de un directorio hay otros miles de directorios. Ahora mismo tengo un total de casi 2 millones de directorios creados.
Resulta que cada vez va mas lento el sistema de añadir nuevos directorios, y el acceso a ellos.
El formato que tengo es ext3, con inodos de 1K. me interesa mantener el formato a ext3 y no otro sistema.
¿esto de la velocidad de acceso a un directorio tiene solucion? ¿o es que linux es lento con grandes volumenes de ficheros?
Saludos Mauro
-- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com
Mauro Romanos wrote:
Voy a cambiar el formato de ext3 a JFS, he intentado darle un nuevo formato con el comando: mkfs.jfs /dev/hdg1 Pero me dice que ya tengo el disco montado con otro formato y que no se puede. ¿qu etengo que hacer? ¿hay que desmontar primero la partición antes de formatear?, ¿cuales son los pasos? He encontrado una comparativa y segun parece el mejor es JFS: http://linuxgazette.net/102/piszcz.html
No se cual es tu razón, para prescindir de Reiserfs, que es el FS que mejor funciona con infinidad de archivos pequeños.
Lo otro sería revisar la necesidad de crear tantísimos archivos ... quizás re-escribir la aplicación para que use una Base de Datos o una estructura alternativa de almacenamiento ... Suerte en tu problema, Jean H// -----Mensaje original----- De: Juan Erbes [mailto:jerbes@arnet.com.ar] Enviado el: Martes, 14 de Diciembre de 2004 05:46 p.m. Para: Mauro Romanos CC: suse-linux-s@suse.com Asunto: Re: [suse-linux-s] Re: Linux muy lento con gran cantidad de directorios Mauro Romanos wrote:
Voy a cambiar el formato de ext3 a JFS, he intentado darle un nuevo formato con el comando: mkfs.jfs /dev/hdg1 Pero me dice que ya tengo el disco montado con otro formato y que no se puede. ¿qu etengo que hacer? ¿hay que desmontar primero la partición antes de
formatear?, ¿cuales son los pasos? He encontrado una comparativa y segun parece el mejor es JFS: http://linuxgazette.net/102/piszcz.html
No se cual es tu razón, para prescindir de Reiserfs, que es el FS que mejor funciona con infinidad de archivos pequeños. -- Para dar de baja la suscripción, mande un mensaje a: suse-linux-s-unsubscribe@suse.com Para obtener el resto de direcciones-comando, mande un mensaje a: suse-linux-s-help@suse.com --- Incoming mail is certified Virus Free. Checked by AVG anti-virus system (http://www.grisoft.com). Version: 6.0.813 / Virus Database: 553 - Release Date: 13/12/2004 --- Outgoing mail is certified Virus Free. Checked by AVG anti-virus system (http://www.grisoft.com). Version: 6.0.813 / Virus Database: 553 - Release Date: 13/12/2004
El 2004-12-14 a las 11:38 +0100, Mauro Romanos escribió:
Voy a cambiar el formato de ext3 a JFS, he intentado darle un nuevo formato con el comando: mkfs.jfs /dev/hdg1 Pero me dice que ya tengo el disco montado con otro formato y que no se puede. ¿qu etengo que hacer? ¿hay que desmontar primero la partición antes de formatear?,
Por supuesto, no se puede formatear una partición montada, o sea, en uso.
¿cuales son los pasos? He encontrado una comparativa y segun parece el mejor es JFS: http://linuxgazette.net/102/piszcz.html Mauro Romanos Escribe:
JFS da algunos problemas en Linux, XFS parece mejor. Se ha comentado en la lista alguna vez, y recientemente. Y, por otra parte, reiserfs es un sistema que va muy bien con miles de archivos o directorios pequeños, podrías pensarlo. -- Saludos Carlos Robinson
Mauro Romanos wrote:
tengo un problema con el acceso a directorios en Linux. He creado un script genera miles de directorios de forma recursiva, es decir, q dentro de un directorio hay otros miles de directorios. Ahora mismo tengo un total de casi 2 millones de directorios creados. Resulta que cada vez va mas lento el sistema de añadir nuevos directorios, y el acceso a ellos. El formato que tengo es ext3, con inodos de 1K. me interesa mantener el formato a ext3 y no otro sistema. ¿esto de la velocidad de acceso a un directorio tiene solucion? ¿o es que linux es lento con grandes volumenes de ficheros? Saludos
Hola Mauro. Revisa este mensaje que envió Ernesto Hernadez Novich de Venezuela, indicando unas diferencias en FileSystem(s), en el puedes visualizar ciertas diferencias en ext3, ext2, reiserfs, etc..., también trata sobre los volumenes. http://lists.suse.com/archive/suse-linux-s/2004-Mar/0920.html Saludos -- Víctor Pérez Pereira Condor Systems S.A. Maracay - Venezuela
On Tue, 14 Dec 2004 10:38:21 +0100, Mauro Romanos
tengo un problema con el acceso a directorios en Linux. He creado un script genera miles de directorios de forma recursiva, es decir, q dentro de un directorio hay otros miles de directorios. Ahora mismo tengo un total de casi 2 millones de directorios creados.
Resulta que cada vez va mas lento el sistema de añadir nuevos directorios, y el acceso a ellos.
Disculpá que no te responda concretamente a tu pregunta, pero he trabajado en equipos SUN y en equipos Digital, obviamente en Linux también y la performance baja mucho cuando trabajamos con directorios con muchos archivos. Directorios con muchos directorios debe ser lo mismo. Estoy hablando de directorios que contienen cerca de 100000 archivos o mas. Saludos SF.-
participants (6)
-
Carlos E. R. -
Jean Hendrickx -
Juan Erbes -
Mauro Romanos -
Sebastian Ferro -
Víctor Pérez Pereira