ontwikkelBLOG.nl » Atlas

Ubuntu 8.04 LTS Hardy Heron

Maikel Gommans — Sat, 07 Jun 2008 19:21:56 +0000

Sinds een aantal weken heb ik de nieuwste versie van Ubuntu, Ubuntu 8.04 LTS Hardy Heron, in gebruik op een aantal computers. Ik heb een nieuwe Virtuele Server in gebruik genomen voor een caching nameserver met Ubuntu 8.04 (daarover later meer), Atlas zelf is inmiddels ook geherinstalleerd naar Ubuntu 8.04 (ook daar volgt later nog een blogje over). Het ingebruik nemen van Ubuntu 8.04 is tot zover een stuk beter verlopen dan het ingebruiknemen van Ubuntu 7.10. Ik ben zeer tevreden met de beschikbare versies in Ubuntu 8.04. Ik heb mijn desktop pc “Skippy” ook geupgrade naar Ubuntu 8.04, zonder problemen. Misschien kan ik die winterreleases van Ubuntu dan toch beter overslaan?

Acropolis en Aphaea bestaan niet langer

Maikel Gommans — Sun, 02 Sep 2007 19:08:12 +0000

Acropolis is mijn bij JRonline gehuurde virtuele server. Acropolis heeft vrijwel alles gehost voordat het het Atlas Project was gerealiseerd. Nu alles op virtuele servers vanaf Atlas draait is Acropolis niet meer nodig.

Aphaea was een virtuele server bij Strato AG en werdt gebruikt voor backups. De backups worden nu op een backup server bij mijn colocatie provider geplaatst. Daardoor is Aphaea dus ook niet meer nodig.

Acropolis bestaat inmiddels ook niet meer. Aphaea draait nu even Suse Linux 10.1 op met SWsoft Plesk 8.2 voor wat tests. Aphaea zal over een paar weken worden verwijderd door Strato.

Stroomuitval te Easynet DC Schiphol-rijk: Atlas, Asclepius, Athena, Atropos en nog een paar duizend servers offline

Maikel Gommans — Sat, 04 Aug 2007 17:56:08 +0000

Gisteren was ik om kwart voor drie ‘smiddags bij Albert Heijn toen ik een SMSje kreeg. Als ik een SMSje krijg betekend dat vaak niet veel goeds. Dus ik ging kijken: “NOC: De service HTTP op atlas.maikelg.net is down.”, hmm, Atlas is de VDS host server waar Asclepius, Athena en Atropos op draait, dus dat betekend dat die ook offline zijn. Hiervan zou ik echter geen smsjes moeten krijgen, omdat dat wordt onderdrukt als Atlas al offline is.
Omdat het ook een valse melding kan zijn bel ik vanuit de AH Thijs, hij neemt echter niet op. Dan m’n oom maar proberen. Die nam wel op en heb ik terwijl ik met m’n vader terug liep naar de auto door verschillende sites heen geloodst om te kijken of Atlas echt offline was, en daarmee de virtuele servers ook. Dat was ook zo.

Thuis aangekomen heb ik direct mijn PC aangezet en ben ik snel verschillende systemen afgegaan om te kijken wat er aan de hand is. Het was mij al snel duidelijk dat niet allleen heel Atlas met de virtuele servers offline was, maar ook de servers van mijn provider, die in hetzelfde datacentrum staan (niet specifiek in hetzelfde rack). Terwijl ik via mijn thuis fileserver Neo irc opstartte belde ik de Technische Dienst van mijn provider op. Die vertelde mij dat er een stroomstoring was en dat half Easynet plat lag. Nou, daar kan je het dan mee doen .
Na 2 en half uur was de stroom toevoer hersteld en zouden de servers allemaal weer online moeten zijn. Mijn server was een half uur later nogsteeds niet online. Even later kreeg ik een bericht van de technische dienst dat mijn server gewoon draaide. Toen een medewerker van mijn provider ging kijken bleek dat networking niet vanzelf was gestart, nadat dit handmatig was gedaan kon ik mijn server weer bereiken .

Verder ging alles gewoon goed alleen op Asclepius wou Plesk niet meteen starten, maar dat ging later ook weer zonder er wat aan te doen .

Op dit moment is het nog niet bekend waarom de stroom is weggevallen.

Ik hoop dit niet vaker mee te maken, maarjah, shit happens….

Update 06-08-2007: Vandaag is bekend geworden dat de stroomuitval door menselijk falen is veroorzaakt: http://www.ispam.nl/archives/992/menselijke-fout-oorzaak-van-stroomstoring-in-het-easynet-datacentrum/

Atlas is geplaatst, sites verhuist!

Maikel Gommans — Thu, 26 Jul 2007 18:46:27 +0000

Woensdag 18-07 heb ik Atlas geplaatst in het Easynet datacentrum te Schiphol-rijk. Dit verliep zonder noemenswaardige problemen. Alleen de DNS server van Athena wou niet direct starten, de mysql configuratie was niet helemaal goed.

Als eerste heb ik dezelfde dag mijn IRC server en chat robot Anna al verhuist naar Atropos.

Ik heb een dag later Plesk geinstalleerd op Asclepius, de hosting virtuele server. Dit verliep ook zonder problemen.

Op dit moment heb ik alle websites op Maikelg.EU, Gommans-NET.nl en Sitekeuring.net na al verhuist naar het nieuwe platform. Maikelg.EU, Gommans-NET.nl en Sitekeuring.net moeten ‘s nachts verhuist worden. Dit weblog en dochtersite OntwikkelZONE.nl draaien op development server Athena, samen met Klas2a.NL, Pittigetante.NL, Annab0t.nl en QVM.be. De rest draait allemaal op de hosting server Asclepius.
Als Maikelg.EU, Gommans-NET.nl en Sitekeuring.net zijn verhuist is mijn virtuele server bij JRonline Acropolis helemaal leeg en kan die worden uitgeschakeld .

Op dit moment draait Atlas al weer 8 dagen in Schiphol .

Aanpassing in NOC gemaakt voor Atlas

Maikel Gommans — Fri, 13 Jul 2007 19:44:30 +0000

Ik heb een aanpassing in m’n NOC gemaakt voor Atlas. De NOC controleerd elke 5 minuten of al mijn servers nog reageren, zo niet, krijg ik daar een SMS-je van. Alleen, als Atlas offline is, zijn automatisch alle virtuele servers ook offline. Het is dus een beetje zonde als hij dan ook voor alle andere servers een SMSje gaat sturen.
Daarom heb ik een extra kolom in de MySQL database aangemaakt, waarin ik aangeef of het record een virtuele server op Atlas betreft of niet. Ik heb dan de MySQL query in de cronjob aangepast zodat Atlas altijd bovenaan in het result staat. Als Atlas offline is, worden er voor de virtuele servers geen SMSjes verstuurd.

De realisatie van Atlas, het vervolg

Maikel Gommans — Fri, 13 Jul 2007 19:31:26 +0000

Zoals ik in voorgaande posts heb verteld ben ik bezig met het opzetten van een nieuwe server die al mijn websites ed mag gaan hosten. Ik heb uitgelegd dat ik dit wil gaan doen door de server in meerdere virtuele servers te verdelen dmv Xen. Het is een poosje geleden dat ik hierover heb geschreven, maar ik heb het zo druk gehad met het realiseren van Atlas dat ik helemaal niet aan scrijven toen ben gekomen. Die achterstand probeer ik nu in te halen.

Inmiddels heb ik alle hardware binnen en heb ik Atlas gebouwd en volledig geinstalleerd.

Hardware

Chieftec 1U case UNC-110S-W
Intel Core 2 Duo E4300 1.8 Ghz
Supermicro PDSMi+ server motherboard
Supermicro SNK-P0016 heatsink
4x Corsair 1024MB DDR2 128MX64
2x WesternDigital Caviar SE16 320GB (Software RAID 1)

Ik had eerst de verkeerde koeler besteld, ook was m’n eerste motherboard, de Intel S3000AHV niet leverbaar. Ik heb toen eerst een Asus P5B-V geprobeerd, maar daar bleek m’n koeler niet op te passen. Nu heb ik uiteindelijk de Supermicro PDSMi+ genomen, een erg leuk moederbordje.

Software op Atlas

De software die ik heb gebruikt op Atlas:

Ubuntu 6.06 LTS
Xen 3.0.4
Apache 2.2.4
PHP 5.2.3
MRTG met eigen scripts

Ubuntu als OS, Xen als virtualisatiesoftware. MRTG gebruik ik om het dataverkeer verbruik van de virtuele servers bij te houden .

De virtuele servers

Asclepius
40 GB harddisk
512 MB RAM
CentOS Linux 5.0
SWsoft Plesk 8.2
Voor de normale websites. Mijn keuze is op Plesk gevallen omdat ik dat een heel uitgebreid en net controlepaneel vind. CentOS is een stabiele distributie en een goede combinatie met Plesk, mede heb ik voor CentOS gekozen omdat Plesk de software uit de repositorys van het OS haalt en CentOS 5 gewoon op dit moment het beste bij de tijd daar mee is. PHP 5 heb ik zelf gecompileerd.

Athena
40 GB harddisk
768 MB ram
Gentoo Linux
Voor Ontwikkelzone, OntwikkelBLOG, de website waar het dataverkeer verbruik op staat, database en website van Anna en experimenten ed: De keuze voor Gentoo omdat je het gewoon lekker naar je eigen hand kan zetten. Je kan helemaal zelf opgeven met welke opties je pakketten gecompileert moeten worden ( Portage ), en dat is voor een server die toch meer gericht is op de development wel zo leuk.

Atropos
5 GB harddisk
256 MB ram
Ubuntu Linux 6.06 LTS
Voor Anna (de bot zelf), m’n IRC server en m’n bouncer. Ik heb voor Ubuntu 6.06 gekozen omdat dat het besturingssysteem is wat ik het meeste gebruik en debian based vind ik nog altijd het prettigste werken. Deze IRC servers zijn toch niet zonder risico en daarom lekker gescheiden van de rest op deze virtuele server.

Met deze virtuele servers is er nog genoeg ruimte over voor test virtuele servers, dus met atlas kan ik weer een hele poos voort.

De plaatsing van Atlas vind aanstaande woensdag (18-07-07) plaats. Ik ga Atlas plaatsen in het Easynet datacentrum te Amsterdam Schiphol-rijk. Atlas zal daar met de rest van de wereld in verbinding staan via het Euroaccess netwerk.

Traffic manager af

Maikel Gommans — Thu, 07 Jun 2007 21:23:21 +0000

Om het dataverkeer wat door de virtuele servers wordt verzet te kunnen meten, heb ik een systeem gemaakt.
Dit systeem is nu af en die zet de data ook in mooie grafiekjes.

Het was niet zo heel lastig om hier een systeem voor te maken. Xen maakt voor elke virtuele server een vif aan. Vervolgens kan je met dit commando bruikbare data verkrijgen om in bijv. php te verwerken:

1
shell# cat /proc/net/dev | grep vif-vm1 | tr -s " "

Binnenkort zal ik wat screenshots plaatsen, als het systeem draait op Atlas.

Hoop hardware Atlas binnengekomen

Maikel Gommans — Thu, 07 Jun 2007 21:15:49 +0000

Afgelopen dinsdag is er heel wat hardware voor Atlas binnengekomen.
Dit is wat ik nu binnen heb gekregen:

Intel Core 2 Duo E4300 1.8 Ghz

4x Corsair DDR2 1024 MB RAM

2x WesternDigital 320 GB SATA2 harddisk

Supermicro SNK-P0011 heatsink

Het wachten is nu op het moederbord. Deze moet vrijdag aankomen. Dan is het de bedoeling dat ik zaterdag ga bouwen.

Kast Atlas gearriveerd en motherboard besteld

Maikel Gommans — Sat, 02 Jun 2007 20:38:02 +0000

Een paar dagen geleden is de kast van Atlas binnengekomen. Ik heb ook het motherboard besteld bij Norrod: de Intel S3000AHV. De koeler heb ik inmiddels bij een andere leverancier (TWP) besteld omdat 4launch hem niet kon leveren.

Ik had bedacht dat in Atlas de Intel Pentium D 935 komt, maar ik heb nu toch besloten dat dit de Intel Core 2 Duo E4300 moet worden omdat deze beter presteert en minder stroom verbruikt.
Ik heb ook nog eens goed nagedacht over de geheugen verdeling, en heb besloten de vds-en wat meer geheugen toe te kennen. Het nieuwe overzicht is hier te vinden: http://www.ontwikkelblog.nl/2007/05/07/idee-zelf-virtuele-servers-hosten.html

Het gaat nu erg hard, de bedoeling is dat aankomende week de koeler en het motherboard binnen komen. Dan kan ik als MyCOM verder alles op voorraad heeft Zaterdag gaan bouwen

Eerste onderdelen Atlas besteld

Maikel Gommans — Sun, 27 May 2007 21:51:47 +0000

Zoals ik een tijdje terug in een eerdere post heb verteld, ben ik vanplan een eigen server te gaan bouwen en die te plaatsen in een datacentrum. Ik heb een paar aanpassingen gemaakt aan de server configuratie: er komt nu 4x 1 GB ram in ipv 3x 1 GB en de Xen versie zal niet 3.0.4 zijn maar 3.1.0 (er is een update ). Ik had bedacht dat eind mei de eerste onderdelen besteld moesten worden om zo nog voldoende tijd te hebben om te testen met de server. Deze week is “eind mei”, dus heb ik de kast en de koeler besteld:

Chieftec UNC-110S-B (Retail, Zwart)

SuperMicro SNK-P0011 1U Passieve Heatsink, S775

Als de kast binnen is ga ik het moederboard bij Norrod bestellen, tegen de tijd dat die binnen is is die koeler er ook. Dan hoef ik alleen nog maar de CPU, Harddisks, RAM en koelpasta op te halen bij MyCOM en dan kan het assembleren beginnen.

Het leed dat het maken van een Debian image heet

Maikel Gommans — Mon, 07 May 2007 19:14:22 +0000

Ik ben voor Atlas standaard images aan het maken. Die voor CentOS 4.4 heb ik gemakkelijk zelf kunnen maken adhv http://www.x-tend.be/~raskas/blog/howtos/centos-base-image/ .

Voor Gentoo 2006.1, Slackware 11 en CentOS 5.0 heb ik de images van Jailtime.org gebruikt. Die voldoen prima

Maar voor Debian…..
Ik ben nou al een hele tijd bezig om image’s te maken dmv debootstrap. Maar sinds de release van Etch werkt debootstrap voor geen meter meer. De images hebben allemaal vage gebreken. Ik ben niet de enige die dat probleem heeft.
Iemand kon me de oplossing aanreiken voor het probleem dat baseconfig “terminate”:

1
mount -t devpts -o gid=5,mode=620 none /dev/pts

in de chroot uitvoeren.

Maar dan nog blijven er allemaal vage problemen over, en booten doet de image al helemaal niet…
Ik heb uiteindelijk maar weer de Sarge image van jailtime erbij gepakt. Die had geen device files. Maar /dev/MAKEDEV loste dat op .
Toen had ik iniedergeval al een redelijk werkende Sarge image…
De Etch image heb ik gemaakt door de Sarge image te apt-get dist-upgraden naar Etch. Dit is natuurlijk niet helemaal geweldig, maar beter iets dan niets….

Met dit gezeik heb ik al helemaal zin gekregen Debian er op Atlas in z’n geheel uit te gooien

Idee: Zelf virtuele servers hosten

Maikel Gommans — Mon, 07 May 2007 18:43:21 +0000

Op dit moment heb ik een vds bij JRonline, namelijk: Acropolis. Dit is een vds met 4 GB harddisk, 512 MB ram, 50 GB traffic, 2 IP’s, Debian 3.1 Sarge en een DirectAdmin licentie.

Dit wordt echter een beetje te klein voor mij, zeker met al die experimenten en fotos. Daarnaast moet ik toch oppassen wat ik op Acropolis allemaal uitvoer. Alles draait er namelijk op: Websites, Experimenten, Anna, M’n IRC server, Foto’s….
Met sommige websites en experimenten loop ik tegen de beperkingen aan die DirectAdmin me oplegt, en sommige dingen zou ik zowizo liever apart draaien, bijv. omdat het veiliger is (IRC server en Anna).

Nu ben ik me erin gaan verdiepen hoe het met de kosten zit met een compleet eigen server. Na een poos offertes aanvragen en een hoop rekenwerk ben ik tot de conclusie gekomen dat een eigen colocated server al snel goedkoper is, en zoveel meer mogelijkheden bied .

De colocation provider en de configuratie van de server staat al redelijk vast:

De colocation provider: Technotop Internet Diensten
De configuratie van de server:
Chieftec 1U case UNC-110S-W
Intel Core 2 Duo E4300 1.8 Ghz
Intel S3000AHV server moederbord
4x Corsair 1024MB DDR2 128MX64
2x WesternDigital Caviar SE16 320GB (Software RAID 1)

Op die server (die Atlas zal gaan heten) zal ik dan gebruik maken van Ubuntu 6.06 LTS met Xen 3.1.0 als virtualisatiesoftware.
Hier heb ik inmiddels al meerdere testjes mee gedaan en dat werkt hartstikke goed.
De keuze voor Ubuntu 6.06 LTS is omdat ik vind dat Debian teveel achterblijft met ouwe meuk, en daarnaast is de LTS versie ondersteund tot 2011. Wat natuurlijk wel erg fijn is met een server in een datacenter.

Op die server wil ik dan de volgende virtuele servers voor mezelf draaien:

Asclepius
50 GB harddisk
768 MB RAM
CentOS 4.4
DirectAdmin
Voor de normale websites: De keuze voor CentOS omdat dat beter werkt met DirectAdmin. Ik heb zowel DirectAdmin servers met CentOS als met Debian opgezet. En op CentOS bezorgt het updaten van versies je gewoon veel minder hoofdpijn .

Athena
50 GB harddisk
1024 MB RAM
Gentoo 2006.1
Voor Ontwikkelzone, OntwikkelBLOG, database en website van Anna en experimenten ed: De keuze voor Gentoo omdat je het gewoon lekker naar je eigen hand kan zetten. Je kan helemaal zelf opgeven met welke opties je pakketten gecompileert moeten worden ( Portage ), en dat is voor een server die toch meer gericht is op de development wel zo leuk.

Atropos
5 GB harddisk
256 MB RAM
CentOS 4.4 of Debian 4.0 Etch (daar ben ik nog niet helemaal uit )
Voor Anna (de bot zelf), IRC-server, en m’n bouncer: Lekker gescheiden van de rest. Dit soort dingen zijn toch niet zonder risico. De keuze voor het OS: tjah, CentOS vind ik ook wel fijn, ik zit er aan te denken om Debian er in z’n geheel uittegooien op Atlas (lees eerder genoemde reden). CentOS heeft langere ondersteuning, maar voor deze VDS is dat niet zo heel noodzakelijk. Ik denk er nog even over na….

Er is dan ook nog meer dan genoeg ruimte over om kleine test vds-jes te kunnen aanmaken

Ik ben bezig die installatie uitgebreid te testen. Dat doe ik nu nog op Apollo, maar ik wil binnenkort de hardware gaan bestellen. Ik ben ook bezig met een Traffic manager die het dataverkeer van die vds-en moet gaan meten en het netjes in grafiekjes weer moet geven.

Voordat dat dit helemaal uitgevoerd is zal ik waarschijnlijk heel wat blogjes verder zijn…..