Buenas, Me surge una duda, o mejor dicho un problema, que no consigo averiguar como solucionarlo. Os pongo en antecedentes: estoy montando un pequeño entorno de dos máquinas openSuSE 11.1 bajo plataforma vmware vsphere. Estas máquinas virtuales van a tener el cometido de ser servidores iSCSI de discos. Es un laboratorio nada más, para lo que va perfecto la virtualización (en producción serán 6 nodos de máquinas físicas montadas con SLES 11). Bien, estas máquinas openSuSE a la vez que sirven volúmenes LVM, replican la una hacia la otra esos mismos volúmenes mediante el uso de DRBD. Hasta aquí tengo el tema controlado. El problema me viene con los backups y los restores. Como dije la principal función de estas máquinas openSuSE es hacer de servidores iSCSI. Los "discos" que sirven a los clientes iSCSI no son más que logical volums configurados en sus discos locales. La pregunta, ¿como se hace el backup y el restore de volúmenes LVM? La opción que he visto es via snapshot. Vale, pero no me sirve, ¿porque?. Sencillo. Los datos que van a alojar esos volúmenes en el 90% de los casos van a tener filesystems no reconocidos ni por openSuSE ni SLES: ZFS, UFS, NTFS, GFS2, etc, ya que en esos volumenes van a ir instalados sistemas operativos completos que botearán desde esos servidores openSuSE via iSCSI y tarjetas QLogic así como datos utilizados por servidores configurados con capacidades de clúster. Ahí está el problema: ¿como narices se hace un backup de esto? Me basta si consigo extraer un archivo del backup resultante, pero eso sí ha de ser una copia exacta de lo que hay en el volumen. Otra opción que he visto es el dd, y que creo que és la única, pero hay qye hilar muy pero que muy fino con el restore. El backup por el contrario no parece presentar muchos problemas. Y la segunda parte: ¿y el restore?. Ya digo que solo encuentro cosas referente a esto haciendo el snapshot del lvm, montándolo, hacer el cpio o tar de turno, desmontar y destruir el snapshot ... pero tal como digo no me sirve. Y por cierto, ¿sabe alguien si es posible hacer un logical volume sparse? Todo esto estoy acostumbrado a hacerlo con Solaris u OpenSolaris y ZFS cosa que es un plis plas pero no consigo ver como hacerlo usando LVM ... Gracias. -- CL Martinez carlopmart {at} gmail {d0t} com -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Hola :) On Tuesday 22 December 2009 23:41:41 carlopmart wrote:
Buenas,
Me surge una duda, o mejor dicho un problema, que no consigo averiguar como solucionarlo.
Os pongo en antecedentes: estoy montando un peque�o entorno de dos m�quinas openSuSE 11.1 bajo plataforma vmware vsphere. Estas m�quinas virtuales van a tener el cometido de ser servidores iSCSI de discos. Es un laboratorio nada m�s, para lo que va perfecto la virtualizaci�n (en producci�n ser�n 6 nodos de m�quinas f�sicas montadas con SLES 11).
Bien, estas m�quinas openSuSE a la vez que sirven vol�menes LVM, replican la una hacia la otra esos mismos vol�menes mediante el uso de DRBD. Hasta aqu� tengo el tema controlado. El problema me viene con los backups y los restores.
Como dije la principal funci�n de estas m�quinas openSuSE es hacer de servidores iSCSI. Los "discos" que sirven a los clientes iSCSI no son m�s que logical volums configurados en sus discos locales. La pregunta, �como se hace el backup y el restore de vol�menes LVM?
La opci�n que he visto es via snapshot. Vale, pero no me sirve, �porque?. Sencillo. Los datos que van a alojar esos vol�menes en el 90% de los casos van a tener filesystems no reconocidos ni por openSuSE ni SLES: ZFS, UFS, NTFS, GFS2, etc, ya que en esos volumenes van a ir instalados sistemas operativos completos que botear�n desde esos servidores openSuSE via iSCSI y tarjetas QLogic as� como datos utilizados por servidores configurados con capacidades de cl�ster. Ah� est� el problema: �como narices se hace un backup de esto? Me basta si consigo extraer un archivo del backup resultante, pero eso s� ha de ser una copia exacta de lo que hay en el volumen.
Otra opci�n que he visto es el dd, y que creo que �s la �nica, pero hay qye hilar muy pero que muy fino con el restore. El backup por el contrario no parece presentar muchos problemas.
Y la segunda parte: �y el restore?. Ya digo que solo encuentro cosas referente a esto haciendo el snapshot del lvm, mont�ndolo, hacer el cpio o tar de turno, desmontar y destruir el snapshot ... pero tal como digo no me sirve.
Y por cierto, �sabe alguien si es posible hacer un logical volume sparse?
Todo esto estoy acostumbrado a hacerlo con Solaris u OpenSolaris y ZFS cosa que es un plis plas pero no consigo ver como hacerlo usando LVM ...
Me imagino que buscas herramientas FLOSS. A mi se me ocurre desde el tar y el afio hasta Amanda y Bacula. La pregunta mía sería si lo que quieres es hacer backup de los datos o también de la estructura del LVM. Si es sólo de los datos, me imagino que cualquier herramienta de backup FLOSS que soporte las plataformas que dices te valdrá. Si lo que quieres es la estructura completa y bla bla bla ... tendrás que pasar por snapshots. Otra cosa: 1.- ¿por debajo del LVM tienes RAID? Lo pregunto porque el LVM no tiene protección de datos 2.- me imagino que la respuesta a la pregunta anterior es sí y que tienes una cabina de discos. Si es así, mira a ver si la cabina de discos te permite hacer snapshots. Yo no usaría dd porque: - es muy lento - es muy I/O intensivo y te tira abajo los discos - no es SMP, es decir, sólo hace uso de una CPU Nunca lo he usado, pero yo tiraría por Amanda, tiene buena pinta. Rafa PD si te da igual que sea SW cerrado o FLOSS, creo que ya lo he dicho en otras ocasiones, Time Navigator de ATEMPO es muy bueno y hace dedupe también. -- "We cannot treat computers as Humans. Computers need love." rgriman@skype.com rgriman@jabberes.org Happily using KDE 4.3.3 :) -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Rafa Grimán wrote:
Hola :)
On Tuesday 22 December 2009 23:41:41 carlopmart wrote:
Buenas,
Me surge una duda, o mejor dicho un problema, que no consigo averiguar como solucionarlo.
Os pongo en antecedentes: estoy montando un peque�o entorno de dos m�quinas openSuSE 11.1 bajo plataforma vmware vsphere. Estas m�quinas virtuales van a tener el cometido de ser servidores iSCSI de discos. Es un laboratorio nada m�s, para lo que va perfecto la virtualizaci�n (en producci�n ser�n 6 nodos de m�quinas f�sicas montadas con SLES 11).
Bien, estas m�quinas openSuSE a la vez que sirven vol�menes LVM, replican la una hacia la otra esos mismos vol�menes mediante el uso de DRBD. Hasta aqu� tengo el tema controlado. El problema me viene con los backups y los restores.
Como dije la principal funci�n de estas m�quinas openSuSE es hacer de servidores iSCSI. Los "discos" que sirven a los clientes iSCSI no son m�s que logical volums configurados en sus discos locales. La pregunta, �como se hace el backup y el restore de vol�menes LVM?
La opci�n que he visto es via snapshot. Vale, pero no me sirve, �porque?. Sencillo. Los datos que van a alojar esos vol�menes en el 90% de los casos van a tener filesystems no reconocidos ni por openSuSE ni SLES: ZFS, UFS, NTFS, GFS2, etc, ya que en esos volumenes van a ir instalados sistemas operativos completos que botear�n desde esos servidores openSuSE via iSCSI y tarjetas QLogic as� como datos utilizados por servidores configurados con capacidades de cl�ster. Ah� est� el problema: �como narices se hace un backup de esto? Me basta si consigo extraer un archivo del backup resultante, pero eso s� ha de ser una copia exacta de lo que hay en el volumen.
Otra opci�n que he visto es el dd, y que creo que �s la �nica, pero hay qye hilar muy pero que muy fino con el restore. El backup por el contrario no parece presentar muchos problemas.
Y la segunda parte: �y el restore?. Ya digo que solo encuentro cosas referente a esto haciendo el snapshot del lvm, mont�ndolo, hacer el cpio o tar de turno, desmontar y destruir el snapshot ... pero tal como digo no me sirve.
Y por cierto, �sabe alguien si es posible hacer un logical volume sparse?
Todo esto estoy acostumbrado a hacerlo con Solaris u OpenSolaris y ZFS cosa que es un plis plas pero no consigo ver como hacerlo usando LVM ...
Me imagino que buscas herramientas FLOSS. A mi se me ocurre desde el tar y el afio hasta Amanda y Bacula.
La pregunta mía sería si lo que quieres es hacer backup de los datos o también de la estructura del LVM. Si es sólo de los datos, me imagino que cualquier herramienta de backup FLOSS que soporte las plataformas que dices te valdrá. Si lo que quieres es la estructura completa y bla bla bla ... tendrás que pasar por snapshots.
Necesito hacer full backup con toda la info del LVM: particiones, datos, etc...Copia exacta de lo que contiene el LVM. Pero no puedo hacer snapshot por lo comentado anteriormente, openSuSE no puede "ver" los filesystems ya que no los soporta, como por ejemplo ZFS.
Otra cosa: 1.- ¿por debajo del LVM tienes RAID? Lo pregunto porque el LVM no tiene protección de datos
En la infraestructura de producción habrá RAID y por hardware.
2.- me imagino que la respuesta a la pregunta anterior es sí y que tienes una cabina de discos. Si es así, mira a ver si la cabina de discos te permite hacer snapshots.
No son cabinas, son servidores con mucho espacio para almacenamiento.
Yo no usaría dd porque: - es muy lento - es muy I/O intensivo y te tira abajo los discos - no es SMP, es decir, sólo hace uso de una CPU
Ahí vamos de porqué no me convence dd. Eso y el restore, demasiados puntos de fallo.
Nunca lo he usado, pero yo tiraría por Amanda, tiene buena pinta.
Rafa
PD si te da igual que sea SW cerrado o FLOSS, creo que ya lo he dicho en otras ocasiones, Time Navigator de ATEMPO es muy bueno y hace dedupe también.
Puedo contemplar sw propietario siempre y cuando sea capaz de entregarme una imagen exacta de lo que tiene el LVM. ¿lo hace? No veo que con amanda pueda hacer un backup completo del lvm (imagen exacta), ¿o me equivoco?
-- CL Martinez carlopmart {at} gmail {d0t} com -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Hola :) On Wednesday 23 December 2009 15:06:57 carlopmart wrote:
Rafa Grimán wrote:
Hola :)
On Tuesday 22 December 2009 23:41:41 carlopmart wrote:
Buenas,
Me surge una duda, o mejor dicho un problema, que no consigo averiguar como solucionarlo.
Os pongo en antecedentes: estoy montando un peque�o entorno de dos m�quinas openSuSE 11.1 bajo plataforma vmware vsphere. Estas m�quinas virtuales van a tener el cometido de ser servidores iSCSI de discos. Es un laboratorio nada m�s, para lo que va perfecto la virtualizaci�n (en producci�n ser�n 6 nodos de m�quinas f�sicas montadas con SLES 11).
Bien, estas m�quinas openSuSE a la vez que sirven vol�menes LVM, replican la una hacia la otra esos mismos vol�menes mediante el uso de DRBD. Hasta aqu� tengo el tema controlado. El problema me viene con los backups y los restores.
Como dije la principal funci�n de estas m�quinas openSuSE es hacer de servidores iSCSI. Los "discos" que sirven a los clientes iSCSI no son m�s que logical volums configurados en sus discos locales. La pregunta, �como se hace el backup y el restore de vol�menes LVM?
La opci�n que he visto es via snapshot. Vale, pero no me sirve, �porque?. Sencillo. Los datos que van a alojar esos vol�menes en el 90% de los casos van a tener filesystems no reconocidos ni por openSuSE ni SLES: ZFS, UFS, NTFS, GFS2, etc, ya que en esos volumenes van a ir instalados sistemas operativos completos que botear�n desde esos servidores openSuSE via iSCSI y tarjetas QLogic as� como datos utilizados por servidores configurados con capacidades de cl�ster. Ah� est� el problema: �como narices se hace un backup de esto? Me basta si consigo extraer un archivo del backup resultante, pero eso s� ha de ser una copia exacta de lo que hay en el volumen.
Otra opci�n que he visto es el dd, y que creo que �s la �nica, pero hay qye hilar muy pero que muy fino con el restore. El backup por el contrario no parece presentar muchos problemas.
Y la segunda parte: �y el restore?. Ya digo que solo encuentro cosas referente a esto haciendo el snapshot del lvm, mont�ndolo, hacer el cpio o tar de turno, desmontar y destruir el snapshot ... pero tal como digo no me sirve.
Y por cierto, �sabe alguien si es posible hacer un logical volume sparse?
Todo esto estoy acostumbrado a hacerlo con Solaris u OpenSolaris y ZFS cosa que es un plis plas pero no consigo ver como hacerlo usando LVM ...
Me imagino que buscas herramientas FLOSS. A mi se me ocurre desde el tar y el afio hasta Amanda y Bacula.
La pregunta mía sería si lo que quieres es hacer backup de los datos o también de la estructura del LVM. Si es sólo de los datos, me imagino que cualquier herramienta de backup FLOSS que soporte las plataformas que dices te valdrá. Si lo que quieres es la estructura completa y bla bla bla ... tendrás que pasar por snapshots.
Necesito hacer full backup con toda la info del LVM: particiones, datos, etc...Copia exacta de lo que contiene el LVM. Pero no puedo hacer snapshot por lo comentado anteriormente, openSuSE no puede "ver" los filesystems ya que no los soporta, como por ejemplo ZFS.
Vaya ... Me da que eso va a ser complicado con FLOSS :(
Otra cosa: 1.- ¿por debajo del LVM tienes RAID? Lo pregunto porque el LVM no tiene protección de datos
En la infraestructura de producción habrá RAID y por hardware.
2.- me imagino que la respuesta a la pregunta anterior es sí y que tienes una cabina de discos. Si es así, mira a ver si la cabina de discos te permite hacer snapshots.
No son cabinas, son servidores con mucho espacio para almacenamiento.
OK.
Yo no usaría dd porque: - es muy lento - es muy I/O intensivo y te tira abajo los discos - no es SMP, es decir, sólo hace uso de una CPU
Ahí vamos de porqué no me convence dd. Eso y el restore, demasiados puntos de fallo.
Sip :(
Nunca lo he usado, pero yo tiraría por Amanda, tiene buena pinta.
Rafa
PD si te da igual que sea SW cerrado o FLOSS, creo que ya lo he dicho en otras ocasiones, Time Navigator de ATEMPO es muy bueno y hace dedupe también.
Puedo contemplar sw propietario siempre y cuando sea capaz de entregarme una imagen exacta de lo que tiene el LVM. ¿lo hace?
No lo sé, si quieres, te paso el contacto y que te comenten ellos posibles soluciones. La verdad es que no me suena que lo pueda hacer, pero por si las moscas te puedo pasar el contacto.
No veo que con amanda pueda hacer un backup completo del lvm (imagen exacta), ¿o me equivoco?
No lo he usado, pero creo qu eno se puede. Rafa -- "We cannot treat computers as Humans. Computers need love." rgriman@skype.com rgriman@jabberes.org Happily using KDE 4.3.3 :) -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
Rafa Grimán wrote:
Hola :)
On Wednesday 23 December 2009 15:06:57 carlopmart wrote:
Rafa Grimán wrote:
Hola :)
On Tuesday 22 December 2009 23:41:41 carlopmart wrote:
Buenas,
Me surge una duda, o mejor dicho un problema, que no consigo averiguar como solucionarlo.
Os pongo en antecedentes: estoy montando un peque�o entorno de dos m�quinas openSuSE 11.1 bajo plataforma vmware vsphere. Estas m�quinas virtuales van a tener el cometido de ser servidores iSCSI de discos. Es un laboratorio nada m�s, para lo que va perfecto la virtualizaci�n (en producci�n ser�n 6 nodos de m�quinas f�sicas montadas con SLES 11).
Bien, estas m�quinas openSuSE a la vez que sirven vol�menes LVM, replican la una hacia la otra esos mismos vol�menes mediante el uso de DRBD. Hasta aqu� tengo el tema controlado. El problema me viene con los backups y los restores.
Como dije la principal funci�n de estas m�quinas openSuSE es hacer de servidores iSCSI. Los "discos" que sirven a los clientes iSCSI no son m�s que logical volums configurados en sus discos locales. La pregunta, �como se hace el backup y el restore de vol�menes LVM?
La opci�n que he visto es via snapshot. Vale, pero no me sirve, �porque?. Sencillo. Los datos que van a alojar esos vol�menes en el 90% de los casos van a tener filesystems no reconocidos ni por openSuSE ni SLES: ZFS, UFS, NTFS, GFS2, etc, ya que en esos volumenes van a ir instalados sistemas operativos completos que botear�n desde esos servidores openSuSE via iSCSI y tarjetas QLogic as� como datos utilizados por servidores configurados con capacidades de cl�ster. Ah� est� el problema: �como narices se hace un backup de esto? Me basta si consigo extraer un archivo del backup resultante, pero eso s� ha de ser una copia exacta de lo que hay en el volumen.
Otra opci�n que he visto es el dd, y que creo que �s la �nica, pero hay qye hilar muy pero que muy fino con el restore. El backup por el contrario no parece presentar muchos problemas.
Y la segunda parte: �y el restore?. Ya digo que solo encuentro cosas referente a esto haciendo el snapshot del lvm, mont�ndolo, hacer el cpio o tar de turno, desmontar y destruir el snapshot ... pero tal como digo no me sirve.
Y por cierto, �sabe alguien si es posible hacer un logical volume sparse?
Todo esto estoy acostumbrado a hacerlo con Solaris u OpenSolaris y ZFS cosa que es un plis plas pero no consigo ver como hacerlo usando LVM ... Me imagino que buscas herramientas FLOSS. A mi se me ocurre desde el tar y el afio hasta Amanda y Bacula.
La pregunta mía sería si lo que quieres es hacer backup de los datos o también de la estructura del LVM. Si es sólo de los datos, me imagino que cualquier herramienta de backup FLOSS que soporte las plataformas que dices te valdrá. Si lo que quieres es la estructura completa y bla bla bla ... tendrás que pasar por snapshots. Necesito hacer full backup con toda la info del LVM: particiones, datos, etc...Copia exacta de lo que contiene el LVM. Pero no puedo hacer snapshot por lo comentado anteriormente, openSuSE no puede "ver" los filesystems ya que no los soporta, como por ejemplo ZFS.
Vaya ... Me da que eso va a ser complicado con FLOSS :(
Otra cosa: 1.- ¿por debajo del LVM tienes RAID? Lo pregunto porque el LVM no tiene protección de datos En la infraestructura de producción habrá RAID y por hardware.
2.- me imagino que la respuesta a la pregunta anterior es sí y que tienes una cabina de discos. Si es así, mira a ver si la cabina de discos te permite hacer snapshots. No son cabinas, son servidores con mucho espacio para almacenamiento.
OK.
Yo no usaría dd porque: - es muy lento - es muy I/O intensivo y te tira abajo los discos - no es SMP, es decir, sólo hace uso de una CPU Ahí vamos de porqué no me convence dd. Eso y el restore, demasiados puntos de fallo.
Sip :(
Nunca lo he usado, pero yo tiraría por Amanda, tiene buena pinta.
Rafa
PD si te da igual que sea SW cerrado o FLOSS, creo que ya lo he dicho en otras ocasiones, Time Navigator de ATEMPO es muy bueno y hace dedupe también. Puedo contemplar sw propietario siempre y cuando sea capaz de entregarme una imagen exacta de lo que tiene el LVM. ¿lo hace?
No lo sé, si quieres, te paso el contacto y que te comenten ellos posibles soluciones. La verdad es que no me suena que lo pueda hacer, pero por si las moscas te puedo pasar el contacto.
No veo que con amanda pueda hacer un backup completo del lvm (imagen exacta), ¿o me equivoco?
No lo he usado, pero creo qu eno se puede.
Rafa
entonces solo me queda el dd ... Voy a testear de hacer el of contra un solaris a ver que pasa con el performance ... -- CL Martinez carlopmart {at} gmail {d0t} com -- Para dar de baja la suscripción, mande un mensaje a: opensuse-es+unsubscribe@opensuse.org Para obtener el resto de direcciones-comando, mande un mensaje a: opensuse-es+help@opensuse.org
-----BEGIN PGP SIGNED MESSAGE----- Hash: SHA1 Content-ID: <alpine.LSU.2.00.0912231733430.10135@nimrodel.valinor> El 2009-12-23 a las 14:55 +0100, Rafa Grimán escribió:
Yo no usaría dd porque: - es muy lento - es muy I/O intensivo y te tira abajo los discos - no es SMP, es decir, sólo hace uso de una CPU
Puedes lanzar varios procesos en paralelo, y cada uno copiar un trozo (skip). Pero probablemente eso sea inutil, porque haría al hardware leer de dos zonas al mismo tiempo, lo que supone movimientos de la cabeza que enlentecen el proceso. Por ello creo que el dd de una imagen es más rápido con una cpu que con varias - salvo que la imagen origen esté repartida en varios discos físicos y puedas lanzar un proceso por cada disco. Eso tendría que hacerlo un proceso que entendiera el sistema raid por dentro, o el lvm. Y es tan I/O intensivo porque va al máximo de velocidad que permiten el sistema de buses y memoria. No procesa: lee, escribe, no más, a toda pastilla. Si eso es un problema, pues se puede probar a reducir su velocidad con ionice, probablemente. Y si no, con cpulimit. - -- Saludos Carlos E. R. -----BEGIN PGP SIGNATURE----- Version: GnuPG v2.0.9 (GNU/Linux) iEYEARECAAYFAksyRn0ACgkQtTMYHG2NR9XOSQCfRGSuJ+m6ZyFicZYfs9Cs5Xzt uY0AoIOSN8Maea9DXGqD0cYv3Yp9H7ub =gaNk -----END PGP SIGNATURE-----
participants (3)
-
carlopmart -
Carlos E. R. -
Rafa Grimán