10.3, Bonding - wie denn?
Hallo miteinander, ich habe gerade frustrierende Versuche mit openSUSE 10.3 auf einem Dell 6600 hinter mir. Die Kiste (eine Zusammenstellung aus ehemals 3 Dell 6600) hat insgesamt 4 Netzwerkanschlüsse, 2x on Board (BCM 5700), 2 Intel e1000. Sie ist an 2 Subnetze gepatcht, die Karten zeigen paarweise ins selbe Subnetz. Also dachte ich mir, dass das doch eine schöne Anwendung für Bonding ist. Neues Netzwerkgerät, Typ Bonding, 2 Karten entsprechend konfiguriert, dem Bonding Device zugeordnet, und gut is. Ne, is nich. Beim Beenden der YaST-Konfiguration schießt er jedesmal die /etc/sysconfig/network/routes weg (bzw. löscht den Inhalt). Also komme ich per Netzwerk nicht mehr an die Kiste ran. Da der KVM-Zugang ebenfalls muckt, kann ich rüberlatschen, die routes wiederherstellen und sämtliche Netzwerkinterfaces manuell starten (for X in eth bond; do ifup $X0; done). Bis zum nächsten Experiment... Wenn ich bond0 gestartet habe, hat das Teil eine Adresse in Subnetz 128. Pinge ich einen Host in diesem Subnetz an: "destination unreachable". Ein "ifdown bond0" - so dass die Pakete über die Backbone gehen müssen - und schon klappt's mit dem Ping. Wenn ich die Adresse im 128er Subnetz an eine einzelne Karte hänge, klappt die Verbindung auch. Auf (z. B.) <http://linux.derkeiler.com/Mailing-Lists/SuSE/2004-05/4067.html> sehe ich, dass der Startmode der Karten auf "off" gesetzt werden muss, für bond0 auf "auto". Bringt nix. Auch Karten auf "auto": nix. Fragen: a) wie kann ich erreichen, dass Daten über bond0 usw. gehen? Ein "route -n" zeigt, dass Daten zum 128er Subnetz über bond0 gehen sollen. b) wie erreiche ich, dass bei einem "rcnetwork restart" die bondX mit aktiviert werden? c) warum wird jedesmal von YaST die routes gelöscht, wenn ich die IP-Adressen nicht ändere? Freundlicher Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Werner, also damit das bonding funktioniert müssen zunächst man deine Devices, die du einbinden willst mit dem Startmode=off (bzw. activate=never) versehen sein, sonst werden die auch gar nicht in der Liste der möglichen Bonding-Devices angezeigt. Eine IP-Adresse bekommen die natürlich auch nicht. Danach kannst du theoretisch dein Bonding-Device über yast einrichten. Allerdings funktioniert das nicht ganz optimal, da yast keinen Bonding-Modus angibt. Ich hab bei mir folgende Konfigurationsdatei /etc/sysconfig/hardware/ifcfg-bond0 BONDING_MASTER='yes' BONDING_MODULE_OPTS='mode=2 miimon=50' BOOTPROTO='static' BROADCAST='' ETHTOOL_OPTIONS='' IPADDR='192.168.101.254/24' MTU='' NAME='' NETWORK='' REMOTE_IPADDR='' STARTMODE='auto' USERCONTROL='no' PREFIXLEN='' NETMASK='' BONDING_SLAVE0='eth1' BONDING_SLAVE1='eth2' Zeile 2 ist entscheidend. Hier wird der Bonding-Modus 2 angegeben. D.h. Balancing zum Netzwerklastenausgleich mit einer Überprüfung der Aktivität beider Devices alle 50ms (miimon=50). Der Rest spricht denke ich für sich. STARTMODE='auto' : beim Einstecken des Kabels wird das Device aktiviert BONDING_SLAVEx='ethx' : gibt an welche Devices gebündelt werden. Werner Flamme schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Werner, hast Du das Bonding mit der Anleitung von Lars hinbekommen? Bitte gib mal ein feedback. Ich versuche mich auch schon seit einiger Zeit an dieser Sache (allerdings 802.3ad = gebündelter Datendurchsatz) und habe dieselben Probleme beobachten können/müssen. Wichtig ist mir zu sagen, dass der Router bzw. die an die Netzwerkkarten angeschlossene Hardware Bonding unterstützen muss. Das weißt Du aber sicher. Ich hatte bereits einmal Erfolg mit dem Bonding (Modus siehe oben). Das hat mir jedenfalls WireShark so gezeigt. Die Daten wurden perfekt auf beide Netzwerk-Adapter verteilt. Leider konnte ich aber meinen "Versuchsaufbau" nicht mehr erfolgreich rekonstruieren :-(. Deshalb ist mir diese Sache hier wichtig. Liebe Grüße, Alex ----- Original Message ----- From: "Lars Ziegler" <lziegler@online.de> To: <opensuse-de@opensuse.org> Sent: Friday, March 21, 2008 9:39 PM Subject: Re: 10.3, Bonding - wie denn?
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Alex Winzer [26.03.2008 10:07]:
Hallo Werner,
Hallo Alex,
hast Du das Bonding mit der Anleitung von Lars hinbekommen? Bitte gib mal ein feedback.
Nein, nix geht :-( Das, was Lars schreibt, ist genau das, was ich auch konfiguriert hatte. Ich weiß allerdings nicht, was er mit "da yast keinen Bonding-Modus angibt" meint - bei mir kann ich unten im YaST wählen, in welchem Modus der bond betrieben werden soll. Die deutsche Übersetzung für "Deactivate (for bonding)" ist im YaST etwas ... äh, eigenwillig ;-) Die einzelnen eth sind auf Startmode off, bond auf on. Kein Problem, nur wenn ich "ifup bond0" mache, tut die Kiste, als wenn das IF tatsächlich oben wäre und funktionierte, aber es gehen keine Pakete rein oder raus. Leider hängt in dem Subnetz der DNS-Server... Mein netzwerkender Kollege schob es auf eine Einstellung der Switch. Wir werden mal damit experimentieren. # cat /etc/sysconfig/network/ifcfg-bond0 BONDING_MASTER='yes' BONDING_MODULE_OPTS='mode=active-backup' BONDING_SLAVE0='eth2' BONDING_SLAVE1='eth3' BOOTPROTO='static' BROADCAST='' ETHTOOL_OPTIONS='' IPADDR='141.65.128.175/24' MTU='' NAME='' NETWORK='' REMOTE_IPADDR='' STARTMODE='auto' USERCONTROL='no' PREFIXLEN='' Gruß Werner
-- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hast du schon mal probiert deine Firewall abzuschalten? Werner Flamme schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Lars Ziegler [17.04.2008 13:24]:
Hast du schon mal probiert deine Firewall abzuschalten?
Hallo Lars, welche Firewall? Auf dem Rechner ist keine aktiv. War auch nie. Dafür haben wir einen separaten Firewaller, der das Firmennetz gegen die böse Welt abschottet ;-) Innerhalb sollen keine FW laufen. Außerdem funktioniert alles fabelhaft mit eth0 und eth1; auch eth2 und eth3 funktionieren, wenn ich sie nicht gebondet, sondern als separate Interfaces betreibe. Mit denselben IP-Adressen, wohlgemerkt ;-) Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
From: "Werner Flamme"
Lars Ziegler [17.04.2008 13:24]:
Hast du schon mal probiert deine Firewall abzuschalten?
Hallo, ich hatte das Bonding - wohlgemerkt nur einmal und LEIDER nicht mehr reproduzierbar - am Laufen. Und dass trotz Firewall. Daran sollte es deshalb nicht liegen.
Soll das gehen? Ich habe es noch nicht ausprobiert: Aber der Effekt (z.B. Bandbreitenverdoppelung) dürfte sich kaum einstellen, oder? Gruß, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Also das mit den identischen IP-Adressen hört sich für mich sehr dubios an. Ich könnte mir vorstellen, dass dann der Switch (ich vermute ihr habt da kein Billigzeug) eine der beiden Ports dicht macht um Dateninkonsistenz im Netz zu vermeiden. Kannst du vielleicht mit einem Netzwerksniffer (wireshark) mal in dem selben Subnetz was mitprotokollieren, wenn du von deinem Bonding-Rechner einen Ping ins Netzwerk raus schickst? Oder sind vielleicht irgendwelche Auffälligkeiten in der /var/log/messages vermerkt? Du hast aber schon Opensuse 10.3 auf dem Rechner installiert, oder? Ich frag nur wegen der Firewall, weil die doch standardmäßig installiert und aktiviert ist. Kann es vielleicht sein, dass euer separater Firewaller durch die Pakete von den Bonding-Devices irritiert ist und diese filtert und blockt? Alex Winzer schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Lars Ziegler [17.04.2008 14:26]:
Ach so, nee, Missverständnis: "identisch" nicht miteinander, sondern mit den Adressen, die ich sonst auf den Bond lege!
Da ist tote Hose. Ein ifconfig zeigt 0 TX und 0 RX, sowohl beim Bond als auch bei den einzelnen Interfaces. Das dürfte weiter draußen nicht anders sein ;-)
Oder sind vielleicht irgendwelche Auffälligkeiten in der /var/log/messages vermerkt?
Nix :-(
Bei *meinen* Installationen der 10.3 ist die Firewall *aus* :-) Ich hample nicht seit der 6.x mit SuSE rum, um das zu übersehen ;-)
Kann es vielleicht sein, dass euer separater Firewaller durch die Pakete von den Bonding-Devices irritiert ist und diese filtert und blockt?
Nein, die Firewall hat damit nichts zu tun. Die Pakete laufen doch innerhalb des Firmennetzes (lasst euch von der Adresse nicht verwirren, wir haben alle 141.65.* hier ;-), es gibt kein NAT). Eher kann die Switch Probleme haben. Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hast du schon mal probiert, wenn das bonding aktiv ist, das Kabel von einer der beiden Netzwerkkarten zu trennen? Wenn dein Switch dran Schuld wäre, müsste es doch dann theoretisch funktionieren, schließlich merkt der Switch dann ja nicht, dass es sich um einen Anschluss aus einem Bonding-Verbund handelt. Um welche Karten handelt es sich eigentlich und welchen Treiber / Modul verwenden die? Werner Flamme schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Lars Ziegler [17.04.2008 16:26]:
Der/das Bond liegt auf den beiden Intel_Karten, PRO/1000 XT. Hwinfo sagt "Driver Status: e1000 is active". Wenn ich mal wieder in den Raum komme, kann ich auch mal ans Kabel fassen. Ist nur nicht gerade nebenan, könnte dauern ;-) Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Alex Winzer [17.04.2008 14:13]:
Soll das gehen? Ich habe es noch nicht ausprobiert: Aber der Effekt (z.B. Bandbreitenverdoppelung) dürfte sich kaum einstellen, oder?
Hallo Alex, ich will keine Bandbreitenverdopplung, sondern Redundanz: wenn der eine Anschluss nicht mehr läuft, soll der andere weitermachen. Den Test mit den Bond-Slaves als einzelne Schnittstellen habe ich nur gemacht, um festzustellen, ob die Switch ein grundsätzliches Problem mit meinen Daten ;-) hat. Hat sie nicht. Das Problem der nichtübermittelten Datenpakete tritt nur mit Bonding auf. Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
On Thu, 17 Apr 2008 13:15:30 +0200, Werner Flamme wrote:
Die deutsche Übersetzung für "Deactivate (for bonding)" ist im YaST etwas ... äh, >eigenwillig ;-)
Machst Du bitte einen Bugreport in https://bugzilla.novell.com auf? Solche Hinweise können für uns ganz hilfreich sein. Philipp -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Werner, also damit das bonding funktioniert müssen zunächst man deine Devices, die du einbinden willst mit dem Startmode=off (bzw. activate=never) versehen sein, sonst werden die auch gar nicht in der Liste der möglichen Bonding-Devices angezeigt. Eine IP-Adresse bekommen die natürlich auch nicht. Danach kannst du theoretisch dein Bonding-Device über yast einrichten. Allerdings funktioniert das nicht ganz optimal, da yast keinen Bonding-Modus angibt. Ich hab bei mir folgende Konfigurationsdatei /etc/sysconfig/hardware/ifcfg-bond0 BONDING_MASTER='yes' BONDING_MODULE_OPTS='mode=2 miimon=50' BOOTPROTO='static' BROADCAST='' ETHTOOL_OPTIONS='' IPADDR='192.168.101.254/24' MTU='' NAME='' NETWORK='' REMOTE_IPADDR='' STARTMODE='auto' USERCONTROL='no' PREFIXLEN='' NETMASK='' BONDING_SLAVE0='eth1' BONDING_SLAVE1='eth2' Zeile 2 ist entscheidend. Hier wird der Bonding-Modus 2 angegeben. D.h. Balancing zum Netzwerklastenausgleich mit einer Überprüfung der Aktivität beider Devices alle 50ms (miimon=50). Der Rest spricht denke ich für sich. STARTMODE='auto' : beim Einstecken des Kabels wird das Device aktiviert BONDING_SLAVEx='ethx' : gibt an welche Devices gebündelt werden. Werner Flamme schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hallo Werner, hast Du das Bonding mit der Anleitung von Lars hinbekommen? Bitte gib mal ein feedback. Ich versuche mich auch schon seit einiger Zeit an dieser Sache (allerdings 802.3ad = gebündelter Datendurchsatz) und habe dieselben Probleme beobachten können/müssen. Wichtig ist mir zu sagen, dass der Router bzw. die an die Netzwerkkarten angeschlossene Hardware Bonding unterstützen muss. Das weißt Du aber sicher. Ich hatte bereits einmal Erfolg mit dem Bonding (Modus siehe oben). Das hat mir jedenfalls WireShark so gezeigt. Die Daten wurden perfekt auf beide Netzwerk-Adapter verteilt. Leider konnte ich aber meinen "Versuchsaufbau" nicht mehr erfolgreich rekonstruieren :-(. Deshalb ist mir diese Sache hier wichtig. Liebe Grüße, Alex ----- Original Message ----- From: "Lars Ziegler" <lziegler@online.de> To: <opensuse-de@opensuse.org> Sent: Friday, March 21, 2008 9:39 PM Subject: Re: 10.3, Bonding - wie denn?
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Alex Winzer [26.03.2008 10:07]:
Hallo Werner,
Hallo Alex,
hast Du das Bonding mit der Anleitung von Lars hinbekommen? Bitte gib mal ein feedback.
Nein, nix geht :-( Das, was Lars schreibt, ist genau das, was ich auch konfiguriert hatte. Ich weiß allerdings nicht, was er mit "da yast keinen Bonding-Modus angibt" meint - bei mir kann ich unten im YaST wählen, in welchem Modus der bond betrieben werden soll. Die deutsche Übersetzung für "Deactivate (for bonding)" ist im YaST etwas ... äh, eigenwillig ;-) Die einzelnen eth sind auf Startmode off, bond auf on. Kein Problem, nur wenn ich "ifup bond0" mache, tut die Kiste, als wenn das IF tatsächlich oben wäre und funktionierte, aber es gehen keine Pakete rein oder raus. Leider hängt in dem Subnetz der DNS-Server... Mein netzwerkender Kollege schob es auf eine Einstellung der Switch. Wir werden mal damit experimentieren. # cat /etc/sysconfig/network/ifcfg-bond0 BONDING_MASTER='yes' BONDING_MODULE_OPTS='mode=active-backup' BONDING_SLAVE0='eth2' BONDING_SLAVE1='eth3' BOOTPROTO='static' BROADCAST='' ETHTOOL_OPTIONS='' IPADDR='141.65.128.175/24' MTU='' NAME='' NETWORK='' REMOTE_IPADDR='' STARTMODE='auto' USERCONTROL='no' PREFIXLEN='' Gruß Werner
-- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Hast du schon mal probiert deine Firewall abzuschalten? Werner Flamme schrieb:
-- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
Lars Ziegler [17.04.2008 13:24]:
Hast du schon mal probiert deine Firewall abzuschalten?
Hallo Lars, welche Firewall? Auf dem Rechner ist keine aktiv. War auch nie. Dafür haben wir einen separaten Firewaller, der das Firmennetz gegen die böse Welt abschottet ;-) Innerhalb sollen keine FW laufen. Außerdem funktioniert alles fabelhaft mit eth0 und eth1; auch eth2 und eth3 funktionieren, wenn ich sie nicht gebondet, sondern als separate Interfaces betreibe. Mit denselben IP-Adressen, wohlgemerkt ;-) Gruß Werner -- Werner Flamme, Abt. WKDV Helmholtz-Zentrum für Umweltforschung GmbH - UFZ Permoserstr. 15 - 04318 Leipzig Tel.: (0341) 235-1921 - Fax (0341) 235-451921 http://www.ufz.de - eMail: werner.flamme@ufz.de -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
From: "Werner Flamme"
Lars Ziegler [17.04.2008 13:24]:
Hast du schon mal probiert deine Firewall abzuschalten?
Hallo, ich hatte das Bonding - wohlgemerkt nur einmal und LEIDER nicht mehr reproduzierbar - am Laufen. Und dass trotz Firewall. Daran sollte es deshalb nicht liegen.
Soll das gehen? Ich habe es noch nicht ausprobiert: Aber der Effekt (z.B. Bandbreitenverdoppelung) dürfte sich kaum einstellen, oder? Gruß, Alex -- Um die Liste abzubestellen, schicken Sie eine Mail an: opensuse-de+unsubscribe@opensuse.org Um eine Liste aller verfuegbaren Kommandos zu bekommen, schicken Sie eine Mail an: opensuse-de+help@opensuse.org
participants (4)
-
Alex Winzer -
Lars Ziegler -
Philipp Thomas -
Werner Flamme