Category Archives: cloud computing

Houdbaarheid van digitale gegevens

Leave a reply

In Noorwegen heb ik rotstekeningen gezien waarvan vermoed wordt dat deze ongeveer 9000 jaar oud zijn. Een van de tekeningen laat een rendier of hert zien dat zijn kop omdraait en achter zich kijkt. Niets bijzonders zou je denken. Maar iemand heeft dat beeld 9000 jaar geleden gezien, op de rots getekend en nu weten wij het. Dat is toch onvoorstelbaar. Hoe zit dat eigenlijk met onze moderne digitale gegevens, hoe lang kunnen wij die bewaren? Dit zette me aan het denken en als zo vaak leidt dat tot een stukje tekst.

Uiteindelijk vergaat alles

Om te beginnen, natuurkundig bekeken zal alles tenslotte vergaan. Zo hiermee is het meest voor de handliggende eerste gedachte van tafel.

Hoe lang kunnen we als mensheid eigenlijk analoge gegevens bewaren? Welke voorbeelden zijn er van overleveringen (analoog evenwel) en hoe oud zijn die eigenlijk? Kort onderzoek op internet levert het volgende overzicht op:

  • Noorse rotstekeningen geschat 9000 jaar oud
  • Kahun Gynaecological Papyrus geschat op 4000 jaar oud
  • Gutenberg bijbel wordt geschat op 2000 jaar oud
  • Gedichtenbundel van Den Schoolmeester in de boekenkast, geschat net iets minder dan 100 jaar oud
  • Oudste foto in huis, mijn vader als kleine jongen, iets ouder dan 75 jaar

hertje

Mijn eerste observatie is dat ik vergeleken met de andere voorbeelden geen erg oude zaken in huis heb.  Mijn tweede observatie is dat mits zorgvuldig bewaard papier aardig kan concurreren met rotstekeningen. We zouden dit als baseline kunnen beschouwen en eens kijken welke digitale media ik nog heb.

Digitaal archief

De eerste digitale media die ik zelf in huis haalde waren CD’s. Voor zover ik weet is de inhoud daarvan nog steeds goed leesbaar. In overzicht:

  • Oudste CD (Kate Busch, Hounds of love) 30 jaar oud (het jaartal op het boekje)
  • Floppy disc 19 jaar oud (er stond een datum op het label, de leesbaarheid kan niet geverifieerd worden, ik heb geen diskdrive meer)
  • Oudste digitale foto 12 oud (ik wist nog waar en wanneer dat was, foto geverifieerd goed leesbaar)

Vergeleken met de rotstekeningen en de eerste boeken is dit nog geen indrukwekkend resultaat. Hoelang gaan digitale media eigenlijk mee? Kort onderzoek op internet levert het volgende overzicht op.

tabel levensduur media

Hoewel ik dit een wel erg voorzichtige inschatting vind, is het geen erg bemoedigend resultaat.

Digitaal versus analoog

Er is blijkbaar een belangrijk verschil tussen het opslaan van gegevens in analoge vorm en in digitale vorm. In het geval van analoge gegevens kan je stellen dat de levensduur van de gegevens gelijk is aan die van het materiaal (de media) waarop ze zijn opgeslagen. Voor digitale gegevens gaat dit niet op. Een tape of floppy kan zijn gegevens verloren zijn zonder dat je dat kan zien. Daarnaast moet het het medium nog kunnen lezen (heb je dan nog een werkende floppy drive of CD speler en interface?).

Er wordt wel gesteld dat media na twee generaties systemen niet meer leesbaar zijn.

Daarnaast moet het format van de bestanden ook nog leesbaar zijn. Deze zaken worden wel aangeduid met fysical media obsolescences. Naast deze digital obselescence speelt er nog een andere complicerende factor, namelijk datagroei. De groei van data is niet lineair, maar eerder exponentieel.

Welke factoren beïnvloeden digitale opslag media? Te denken valt aan magnetische invloeden, temperatuur (zowel hitte als kou), brand, radiostraling, vocht, uitdroging, chemicaliën en fysieke invloeden (aardbevingen, instortingen van gebouwen e.d.)

Aanvalsplan

Bedrijven en organisaties zien zich natuurlijk eveneens geconfronteerd met deze problematiek, daar zijn we bij ons in huis met onze muziek, foto’s en home video’s geen uitzondering op. Welke tactiek(en) passen deze bedrijven toe?

Het fysiek handelen van mensen doet de media sterk doet achteruitgaan en heeft daarom grote risico’s. Om dit tegen te gaan worden bijvoorbeeld robot’s gebruikt om tapes te hanteren.

Het labelen van CD's en DVD's verminderd de houdbaarheid van sterk.

Ook wordt data wel herschreven (ververst). Hiermee wordt datarot (ook wel bitrot genoemd) tegengegaan. Ook wordt ervoor gekozen data naar nieuwe media te migreren.

 

Datarot, het vervagen onleesbaar worden van digitale gegevens op een drager of in memory.

In alle gevallen wordt geaccepteerd dat een deel van de gegevens verloren gaat. Dat is dus niet anders dan ik de fysieke (analoge) wereld.

Misschien een vreemd idee, maar digitale gegevens op papier printen kan een oplossing zijn voor de eeuwigheid. We weten immers dat dit duizenden jaren kan overleven. Bovendien is er daarmee ook geen afhankelijkheid van gebruikte interfaces. Het is echter minder handig als het gaat om de opslag van veel gegevens. Daarmee vallen foto’s, muziek en film praktisch af.

De keuze voor rotstekeningen was dus nog zo slecht niet. Alle respect voor de kunstenaar van 9000 jaar geleden.

 

 

Docker, Dev-Ops bijna opgelost..

2 Replies

Nu grote- en middel grote organisaties de inzet van Linux en Open Source software niet vreemd meer vinden, maken zij zich op voor de volgende stap. De een noemt het “State config”, de ander noemt het “Datacenter automation”. Ongeacht de naam die het krijgt, verandering zit in de lucht.

Virtualisatie

De eerste grote slag vond plaats toen virtualisatie gemeengoed werd. Het maakte mogelijk dat hardware beter benut kon worden en onderhoud op de hardware uitgevoerd kon worden zonder down time van applicaties. Feitelijk werden server-installaties los gekoppeld van de hardware. In  sommige organisaties ontstond er zelfs een nieuwe groep van beheerders, zij die zich exclusief bezig hielden met deze virtualisatie. Nadeel van virtualisatie was wel dat nieuwe (virtuele) servers te makkelijk uitgerold konden worden. Dit leide veelal tot ongecontroleerde groei van servers. Immers, het aanvraag proces van nieuwe servers en de aanschaf van hardware waren ook ontkoppeld.

Puppet

Virtualisatie van servers vraagt om software en tooling waarmee dit beheerd kan worden. De servers zijn niet meer zichtbaar en het worden er wel heel veel. Het walhalla is hierbij natuurlijk dat servers volledig middels templates beschreven zijn en op commando geautomatiseerd gedeployed kunnen worden. Puppet is bij uitstek software die dit mogelijk maakt. Veel organisaties op dit moment zijn nu wakker voor deze ontwikkeling en het verklaart de populariteit van Puppet. Overigens zijn er veel meer initiatieven (software producten) die dit kunnen, te denken valt aan Ansible, Chef, MAAS, JuJu, Landscape e.t.c. Interessant is dat deze ontwikkelingen veelal vanuit de Open Source hoek lijken te komen. Duidelijk wordt dat traditioneel systeembeheer een veel grotere programmeer-component krijgt.

Cloud Computing

Als virtualisatie gecombineerd wordt met datacenter automation, dan komen we in het gebied van Cloud Computing. Hierbij gaat de ontkoppeling van de hardware nog een stap verder. De kosten worden volledig operationeel (opex – Operational Expenditures) en de capaciteit volledig elastisch. Bij de cloud aanbieders zijn het de grote IT bedrijven die de toon zetten. Met name Amazon met haar EC2 cloud mag genoemd worden. De EC2 cloud is voor velen nog steeds het lichtende voorbeeld van hoe een cloud zou moeten functioneren. Bij de aanbieders van cloud software wordt het peloton aangevoerd door Open Stack een project waaraan alle belangrijke software vendors inmiddels aan meewerken. Het is mogelijk een “Kip ei” vraagstuk of Cloud Computing of datacenter automation eerder was. Het zijn in ieder geval technieken die hand in hand gaan. Red Hat heeft dit zien aankomen en heeft Puppet in haar Red Hat Satelite product geïntegreerd en maakt met Cloud Forms mogelijk om orkestratie over verschillende Cloud- en virtualisatie platforms uit te voeren.

Docker

En op het moment dat de IT markt denkt de ontwikkelingen begrepen te hebben, komt er een game changer langs. Docker is een combinatie van container virtualisatie en applicatie virtualisatie. Dit verandert vreemd genoeg veel. De lichtere vorm van virtualisatie maakt dat er minder overhead is en er dus efficiënter gebruik van de hardware kan worden gemaakt. Het is niet strijdig met Cloud Computing, maar, bouwt daar juist op voort. De echte grote verandering is daarom niet technisch van aard, maar organisatorisch. Doordat ontwikkelaars de Docker pakketten maken wordt het traditionele systeembeheer gepasseerd.  Het traditionele IT afdelingen hebben de “Boot gemist”, de business heeft ze nauwelijks meer nodig. Na jarenlang barrières op te hebben geworpen, heeft de business zich nu onafhankelijk gemaakt van de IT afdeling. De aansluiting met de business is hierdoor eenvoudiger – een vraagstuk dat de IT al jaren teistert. Het is wel de vraag wat de IT beheer afdeling nu gaat doen. Resteert het hen de hardware te beheren en te onderhouden?

Nieuwe kansen

Er zijn ook wel weer kansen. De ontwikkelaars zijn nu “In charge” en daarmee ook van security – en daar zijn ze traditioneel niet erg goed in. Het is zaak om het traditioneel IT beheer te herzien en  aan te sluiten bij development afdelingen en te participeren in security vraagstukken – mits je niet alleen kapotte harddisks wil wisselen.

OpenStack, “T minus 10 seconds….”

Leave a reply

De Cloud hype in de IT wereld is je vast niet ontgaan. Bedrijven hebben delen van hun automatisering in een cloud omgeving onder gebracht of overwegen dat binnenkort te doen. IT dienstverleners volgen deze trend op de voet en willen graag cloud computing diensten aanbieden. En dan speelt er nog ook de verwarring over wat cloud computing precies is. Toch is het nu “hot” en met reden.

Afhankelijk van het gekozen perspectief, heeft cloud computing betrekking op alleen de infrastructuur (Infrastructure As A Service – IAAS), biedt het standaard platform voor diensten aan (Platform As A Service – PAAS) of biedt het standaard software producten (Software As A Service – SAAS). Deze opsomming is niet compleet, maar wat mij betreft is de rode draad wel duidelijk. Waar het hier namelijk om gaat is dat IT ondersteunend moet zijn aan de doelstellingen van de organisatie, zeker wanneer die snel veranderen zoals dat tegenwoordig het geval is. En dat is precies waarin cloud computing behulpzaam kan zijn. Door alle techniek “in software te vatten” kan de IT afdeling eindelijk weer snel de veranderende vraag van de organisatie volgen.

Amazon is een aanbieder van cloud computing van het eerste uur. Volgens veel vakgenoten hebben ze het dan ook “begrepen”. De manier waarop zij cloud computing aanbiedt getuigt van visie op de (IT) toekomst. Het aanbod van Amazon is namelijk volledig gericht op de eindgebruiker van IT diensten. De techniek (voornamelijk hardware zoals servers en netwerk) wordt bij eindgebruikers weggehouden. De diensten zijn flexibel en volledig schaalbaar naar behoefte. De kosten worden achteraf betaald (OpEx) en zijn op basis van daadwerkelijk gebruik. Een interessant detail is dat het platform van Amazon voor een belangrijk deel gebouwd op basis van open source software. Naast het aanbod van Amazon kunnen organisaties ook zelf private cloud omgevingen bouwen, bijvoorbeeld op basis van bestaande virtualisatie oplossingen zoals VMware.

OpenStackNASA en RackSpace volgende hetzelfde spoor en vonden dit interessant genoeg zelf een cloud computing software project te starten. OpenStack was een feit. Steeds meer grote IT bedrijven hebben zich sindsdien bij dit initiatief aangesloten zoals, IBM, HP, Cisco, VMware, Microsoft, Canonical (het bedrijf achter Ubuntu – waarop OpenStack tot nu toe ontwikkeld werd) en sinds twee jaar ook Red Hat. Het belang om deel te nemen kan egoïstisch zijn. Microsoft wil bijvoorbeeld graag dat haar Windows goed te gebruiken valt binnen OpenStack en ik vind dat een prima reden. Red Hat streeft andere belangen na. Zij wil graag dat er geen OpenStack implementaties komen met beperkingen en verdor lockin. Inmiddels levert Red Hat een substantiële bijdrage in het ontwikkelwerk van OpenStack. Natuurlijk heeft Red Hat dan nu ook een Open Stack aanbod. Dat niet alleen, ze zetten er vol op in….

Welke onderdelen kent OpenStack nu al?
Nova - compute nodes
Glance - image management
Swift - Object storage
Cinder - Block storage
Keystone - Identity management
Neutron - Network management
Horizon - Dashboard

Is OpenStack nu al bruikbaar voor klanten van IT diensten? Dit hangt af van de aanwezige (of ingekochte) kennis. Met voldoende technische ondersteuning is OpenStack prima bruikbaar. Het is nog wel sterk in ontwikkeling. Het is dan eigenlijk ook geen “kant en klaar” product, maar eerder een set van puzzelstukjes die gebruikt kunnen worden om een computing cloud te bouwen. Sommige stukjes zijn goed uit ontwikkeld, andere zijn nog niet goed (of zonder tuning) bruikbaar. Toch is Open Stack belangrijk. De delen die voldoende uitontwikkeld zijn kunnen nu al gebruikt worden een computing cloud te bouwen. De onvolwassen delen kunnen (voorlopig) ongebruikt blijven. Het belang van OpenStack voor eindgebruikers (organisaties en bedrijven) is de keuze voor een onafhankelijk cloud platform waar de markt gezamenlijk aan ontwikkeld. Er is nu tenminste keuze. Daarnaast blijven kosten een belangrijke rol spelen. Doordat OpenStack open source software is, kan het tegen lage (licentie) kosten gebouwd worden.

Voor de IT bedrijven die diensten willen aanbieden op OpenStack ligt de situatie naar mijn idee anders. Ziet men toekomst in OpenStack, dan is nu het moment om in te stappen. Zo kan nu nog tijdig voldoende kennis, ervaring en referenties opgedaan worden voordat de vraagzijde van de markt echte groei doormaakt. Zo was ik onlangs bij een presentatie van Mirantis die OpenStack implementaties hebben gedaan bij o.a. Webex, GAP en PayPal. Het is mij duidelijk, als deze bedrijven OpenStack gaan gebruiken, dan komt de rest van de markt ook los. Mijn advies aan IT bedrijven die OpenStack willen aanbieden, nu instappen, “T minus 10 seconds….”.