De
Lambda architectuur werd in 2013
ontworpen door Nathan Marz, gebaseerd op z'n ervaringen
met gedistribueerde big data verwerking bij Twitter.
Historisch belangrijk, deze
Lambda architectuur.
In de stream-laag:
- is lage latency vereist,
- er wordt gewerkt met bijvoorbeeld Apache Storm,
- en de output verdwijnt in een NoSQL database
In de batch-laag:
- beheert de master dataset,
- er wordt gewerkt met bijvoorbeeld Apache Hadoop,
- en de output verdwijnt in read-only database
In de serving-laag:
- wordt de output van beide voorgaande lagen bediend
- voor queries uit te voeren
- de output wordt gestockeerd op bijvoorbeeld Apache Hbase
De gebruiker is zich niet bewust van deze verschillende lagen.
Lambda Architecture: Low Latency Data in a Batch Processing World
28 sep 2015