Van traditionele data processing naar gedistribueerde big data processing

[Nr.10]

INTRO: de traditionele aanpak

• aanvoer data
• verwerking data = processing
• opslag data
• visualiseren data = grafieken

[Nr.10]

Maar. Zoals we elders meldden, er is een data-explosie gaande.
Daaruit volgt: de noodzaak om veel sneller te (ver)werken.
==> gedistribueerde systemen

Meerdere computers, over verschillende locaties, delen processing capaciteit.

• de kost daalt
• het is meer betrouwbaar
• de performantie verbetert / werkt sneller
• het is flexibel

(aanklikken om te vergroten)

[Nr.10]

Naar analogie met het brein. Het brein is massief parallelle machine, een gedistribueerd computernetwerk.

[Nr.10]

Het brein. Een massief parallelle machine, een gedistribueerd computernetwerk.

• 100 miljard neuronen
• 100 triljard verbindingen

[Nr.10]

Ook hier dezelfde mooie definitie [in de mooie nederlandse taal] omtrent wat een parallelle computer is. Voor de helderheid.

Parallelle computer

Een parallelle computer is een computer die over meerdere processoren
beschikt en daardoor meerdere taken tegelijk kan uitvoeren. Daarbij gaat het
om taken die echt tegelijkertijd worden uitgevoerd en niet, zoals bij
multitasking, om het snel heen en weer schakelen tussen taken. Traditioneel
is een parallelle computer een supercomputer met duizenden tot
honderdduizenden processoren, die voor wetenschappelijk rekenwerk wordt
gebruikt, maar tegenwoordig zijn bijna alle computers parallel; zelfs de
eenvoudigste pc's en laptops zijn van multikernprocessoren voorzien.

Een parallelle computer kan sneller zijn dan een niet-parallelle (seriële)
computer omdat hij verschillende taken tegelijkertijd kan uitvoeren zonder
dat deze elkaar al te veel vertragen. De gebruiker kan bijvoorbeeld een foto
bewerken en tegelijkertijd naar muziek luisteren terwijl op de achtergrond
het systeem een update installeert. Helemaal zonder vertraging kan het niet,
omdat de verschillende taken mogelijk wel de systeembronnen (zoals
geheugen, harde schijf, netwerk) moeten delen.

Parallel rekenen

Het is ook mogelijk om één enkele taak door meerdere processoren te laten
uitvoeren. Dat gebeurt vooral bij grootschalige (wetenschappelijke)
rekenklussen. Lang niet alle taken kunnen door parallellisme versneld
worden. Een recursie bijvoorbeeld kan niet parallel worden uitgevoerd omdat
voor elke stap het resultaat van de vorige stap bekend moet zijn. Parallel
rekenen is vooral voordelig wanneer het onderliggende probleem uit veel
kleine delen bestaat die grotendeels afzonderlijk opgelost kunnen worden.
Hoe meer de delen met elkaar moeten communiceren, hoe minder efficiënt
de parallellisatie van het probleem wordt.

Het schrijven van goede parallelle programma's, het zogeheten
gedistribueerd programmeren, is veel moeilijker dan van gewone
"sequentiële" programma's, omdat de communicatie en de synchronisatie
tussen de verschillende processen in acht moet worden genomen. Ook moet
er rekening mee worden gehouden dat communicatie tussen de processen
relatief veel tijd kan kosten en dat elk proces maar over een klein stukje
geheugen beschikt, dus dat het werk en de daarvoor benodigde gegevens
goed verdeeld moeten worden over de processen.

[kelt]

Ik lees ondertussen dat zeer traditionele dataprocessing,gedaan vanuit data gegenereerd met programmas die draaien op bijna archeologische applicaties geschreven in COBOL,nog niet zo direct gaan verdwijnen....

Het zou me zelfs niet verbazen dat bij een meerderheid van de bedrijven ,als we de "moderniteitslagen" van hun bedrijfsapplicatie afschrapen zullen vinden dat:

ESSENTIELE bureausoftware als de boekhouding op bijna archaische methoden draait,al is het maar omdat het ook in een strikt wettelijk kader moete gebeuren....Als het niet kapot is blijft iedereen daar van af,soms al ettelijke decennia lang.

Verschillende Warehouse-management systemen,HRM-pakketten ,Customer Relations Management software....noem maar op op eilandjes draaien waartussen dan Excell sheets,al dan niet met de door IT-department zo verfoeide macros geschreven door iemand die de firma al lang verlaten heeft voor de verbindingen zorgen.......

En dan heb ik het niet over de tig meet- en testapparaatjes die allemaal hun resultaten in een andere vorm (in het beste geval ook een CSV-tje) afleveren,of hun eigen specifiek database opslag aanmaken...Komplete enigmas voor IT-department,maar soms zeer belangrijke informatie bevattend.....De beschikbaarheid daarvan afhangend van een persoon die misschien ook de firma gaat verlaten...maar wat niet beseft wordt hogerop want....het werkt totnogtoe


"Software" is een even groot probleem als de mensen die het veroorzaken en data processing in gelijk welke theoretische vorm is nog een even groot probleem als 3000 jaar geleden....De technische vooruitgang stond enkel toe een spectaculaire verveelvoudiging van data te veroorzaken....

Mogelijk evenzeer een verveelvoudiging van gecomputeriseerde onzin....3000 jaar geleden was het best een beulejob ganse dagen in spijkerschrijft data te zitten drukken in kleitabletten....laat staan onzin....

[kelt]

Het heeft hem meer dan een jaar gekost,en ontelbare uren waarvan we maar een deeltje zien in zijn (vele) filmpjes omtrent het restaureren van oude computersystemen maar YT-er "Usagi Electric" is nu werkelijk heel dichtbij gekomen bij het finaliseren van wat misschien zijn "piece the resistance"
zal worden.(hoewel,hij heeft daar in zijn werkhuis in Texas nog een paar oude ijzers in het vuur liggen.... )

https://www.youtube.com/watch?v=1XIX1K6tyqg

Het opnieuw in werkende staat krijgen van een Bendix G-15 machine gebouwd in 1958.Dat is nu waarschijnlijk
de oudste functionele digitale computer in de Verenigde Staten,en een van de oudste WERKENDE wereldwijd.Dit specifieke exemplaar heeft vermoedelijk tot in de vroege seventies in een of andere overheidsdienst gedraaid en toen "meubilair" geworden...Totdat het System Source Computer Museum er de hand kon opleggen en iemand zocht het weer tot leven te wekken.

Neen,wijsneuzen,dat doe je NIEt door vlugvlug de netstekker in te steken en eens op een knopje "ON" te duwen en zien wat er gebeurt.....

Radiolampen,roterend-disk geheugen,ponsbandprogrammas,diode-weerstands-logica.....allemaal al verouderd en vermoedelijk
enkel nog in de toenmalige Soviet-Unie en Volksrepubliek China nog in gebruik toen kelt nog op school zat in de vroege eighties.

Naar ik begrijp was het een dergelijke computer die in de sixties in japan het originele sneltrein-netwerk reguleerde.

Wat een KOLOSSAAL werk heeft David Lovett gehad aan dat ding zeg,en het moet uiteindelijk terug naar zijn eigenaar,het System Source Computer Museum..
Doorheen al die tijd leren we ook hoe "just in time" het allemaal wel is,zulke restauratieprojecten.
Want de meeste mensen die er nog iets van kennen en nog iets zouden kunnen vertellen erover,nog wat technische documentatie hebben,zijn nu zeer oud of al overleden.En we weten allemaal wat er gebert met "opa's oude papieren"...
Bendix,ooit een naam als een klok in de Amerikaanse technische industrie is al lang "weggemanaged" en hij heeft her en der de documentatie ervoor mogen bijeenschrapen...Maar het is gelukt....

O ja,programmeren gebeurde "hardcore"....met machinecode specifiek voor die machine...The hard way....In- en Output gebeurt op een teletype en met ponsband......Er bestaat blijkbaar ook een magneetbandlezer ervoor maar die is bij dit exemplaar niet beschikbaar.
Beeldschermen,dat was voor de watjes van 10 jaar later...