PDA

View Full Version : Humaan genoom, Big Data, Hadoop MapReduce, gedistribueerde dataopslag, 3 miljard bp


Nr.10
6 mei 2017, 02:11
Drie miljard baseparen moeten geordend worden
om een menselijk genoom volledig in kaart te brengen.
Nucleotide per nucleotide in de juiste volgorde.
Hoe werkt dat?
AGCCCCTCAGGAGTCCGGCCACATGGAAACTCCTCATTCCGGAGGTCAGT CAGATTTACCCTGGCTCACCTTGGCGTCGCGTCCGGCGGCAAACTAAGAA CACGTCGTCTAAATGACTTCTTAAAGTAGAATAGCGTGTTCTCTCCTTCC AGCCTCCGAAAAACTCGGACCAAAGATCAGGCTTGTCCGTTCTTCGCTAG TGATGAGACTGCGCCTCTGTTCGTACAACCAATTTAGGTGAGTTCAAACT TCAGGGTCCAGAGGCTGATAATCTACTTACCCAAACATAGAGCCCCTCAG GAGTCCGGCCACATGGAAACTCCTCATTCCGGAGGTCAGTCAGATTTACC CTGGCTCACCTTGGCGTCGCGTCCGGCGGCAAACTAAGAACACGTCGTCT AAATGACTTCTTAAAGTAGAATAGCGTGTTCTCTCCTTCCAGCCTCCGAA AAACTCGGACCAAAGATCAGGCTTGTCCGTTCTTCGCTAGTGATGAGACT GCGCCTCTGTTCGTACAACCAATTTAGGTGAGTTCAAACTTCAGGGTCCA GAGGCTGATAATCTACTTACCCAAACATAGAGCCCCTCAGGAGTCCGGCC ACATGGAAACTCCTCATTCCGGAGGTCAGTCAGATTTACCCTGGCTCACC TTGGCGTCGCGTCCGGCGGCAAACTAAGAACACGTCGTCTAAATGACTTC TTAAAGTAGAATAGCGTGTTCTCTCCTTCCAGCCTCCGAAAAACTCGGAC CAAAGATCAGGCTTGTCCGTTCTTCGCTAGTGATGAGACTGCGCCTCTGT TCGTACAACCAATTTAGGTGAGTTCAAACTTCAGGGTCCAGAGGCTGATA ATCTACTTACCCAAACATAG

Nr.10
6 mei 2017, 22:12
STAP 1: DNA sequencen in het laboratorium
Het apparaat dat gebruikt wordt is sequencer genoemd. In de figuur hieronder ziet u een aantal sequencers staan. Van Applied Biosystems, onderdeel van Thermo Fisher Scientific (https://fr.wikipedia.org/wiki/Thermo_Fisher_Scientific). Wat zo'n machine doet is een chemisch proces loslaten op een bloedstalen [de input]. De output zijn zogenaamde reads. Miljoenen korte reads van tussen de 100 en de 250 nucleotiden worden geproduceerd. Deze miljoenen reads vormen de INPUT data om er berekeningen op los te laten, STAP 2.

Nr.10
6 mei 2017, 22:20
STAP 2: de berekeningen

2a: de reads alligneren aan het referentiegenoom [= "allignment"]
2b: zoeken naar de verschillen tussen de reads en het referentiegenoom [= "variant calling"]

Het verschil tussen de referentie en een nieuw DNA bedraagt slechts 0,1%.
Op drie miljard baseparen betekent dat drie miljoen verschillen.
A variant call is a conclusion that there is a nucleotide
difference vs. some reference at a given position in an
individual genome.
(aanklikken om te vergroten)

Nr.10
6 mei 2017, 23:20
Geraldine Van Der Auwera
alumni Louvain-la-Neuve
phd harvard
nu GATK [Genome Analysis Toolkit] Best Practices
Hier aan het woord, in het engels: video (https://www.broadinstitute.org/videos/broade-introduction-gatk)
Meer info over de GATK beste praktijken:
BroadE Workshop 2015 March 19-20: Best Practices for Variant Calling with the GATK (http://gatkforums.broadinstitute.org/gatk/discussion/5992/broade-workshop-2015-march-19-20-best-practices-for-variant-calling-with-the-gatk)
Geraldine Van Der Auwera
(fig.: beste praktijken voor het aanduiden van de verschillen tussen de reads en het referentiegenoom)
SNP = single-nucleotide polymorphism
= enkel-nucleotide polymorfie
= een variatie in het DNA - een polymorfie - van een enkele nucleotide lang
Indel = een verzamelnaam voor een bepaald type mutaties van het DNA.
Het gaat om veranderingen waarbij één of meer nucleotides
worden ingevoegd (IN-sertie) of juist verloren gaan (DEL-etie).

Nr.10
6 mei 2017, 23:30
Dataset
De reads = de dataset.
Bijvoorbeeld 1,5 miljard reads van 100 baseparen.
Komt overeen met 300 GByte aan ruwe data.

Rekentijd
[met een Intel processor 2.60GHz)]

het alligneren aan het referentiegenoom: 2.700 reads per seconde ==> 172 uur
het prepareren van de data: http://broadinstitute.github.io/picard/ ==> 35 uur
"variant calling" (GATK) ==> 80 uur

Totale rekentijd = 12 dagen

Nr.10
6 mei 2017, 23:54
Maar de sequencers kunnen veel sneller: 50 genomen per dag / 18.000 genomen per jaar. Een ware data-explosie.
12 dagen is te traag ==> een gedistribueerd opslagsysteem is wenselijk.
Parallelisme in het GATK (https://software.broadinstitute.org/gatk/events/slides/1307/GATKw1307-BP-9-Parallelism.pdf)
How to unleash the full potential of your
computer or data center in your analysis
BroadE: Introduction to parallelism for GATK (https://www.broadinstitute.org/videos/broade-introduction-parallelism-gatk)
video, maart 2013
Hier komt Apache Hadoop (https://en.wikipedia.org/wiki/Apache_Hadoop) in beeld:
Analyzing Human Genomes with Apache Hadoop (http://blog.cloudera.com/blog/2009/10/analyzing-human-genomes-with-hadoop/)
15 okt 2009
En meer recent Apache Spark (https://en.wikipedia.org/wiki/Apache_Spark):
Cloudera, Broad Institute Collaborate on the Next Generation of the Genome Analysis Toolkit (https://www.cloudera.com/more/news-and-events/press-releases/2016-04-06-Cloudera-Broad-Institute-Collaborate-on-the-Next-Generation-of-the-Genome-Analysis-Toolkit.html)
6 apr 2016

Nr.10
7 mei 2017, 00:31
Door toepassing van deze technieken wordt de looptijd voor een heel genoom gereduceerd van twaalf dagen tot minder dan 3 uur.

BRON (http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/scalable-sequence-analysis-halvade-paper.pdf)
26 mrt 2015

Nr.10
8 mei 2017, 00:36
In de onderstaande tabel een overzicht van de stappen in het DNA-sequencing proces hierboven beschreven.
MapReduce
(1) Map fase
(2) Sorteren
(3) Reduce fase

In de Map fase worden uit de input [= de dataset van 1,5 miljard reads] <key,value> paren gegenereerd, waarbij key staat voor een getal tussen 0 en drie miljard.
In de Sorteer fase worden de <key,value> paren gesorteerd volgens key.
De Reduce fase heeft als input alle <key,value> paren per key. De output aggregeert de values.

Nr.10
27 mei 2017, 02:06
Door toepassing van deze technieken wordt de looptijd voor een heel genoom gereduceerd van twaalf dagen tot minder dan 3 uur.
BRON (http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/scalable-sequence-analysis-halvade-paper.pdf)
paper
26 mrt 2015
Nog 63% sneller dan het hierboven beschreven Halvade: Hadoop MapReduce vervangen door Apache Spark.
Cluster-Based Apache Spark Implementation of the
GATK DNA Analysis Pipeline (http://ce-publications.et.tudelft.nl/publications/1523_clusterbased_apache_spark_implementation_of_t he_gatk_dna_a.pdf)
paper
12 nov 2015
Er zit snelheidstoename in de 'in-memory data processing'.

Nr.10
27 mei 2017, 02:08
Quote:
Instead of storing intermediate data after a computation into on-disk storage such as HDFS,
these data can be stored "fault tolerantly" in-memory.

The ability to store intermediate data in-memory
across multiple nodes is one of the reasons
why Spark is able to execute faster than Hadoop's MapReduce.

BRON (https://www.lab41.org/transformers-rdd-in-disguise/)
mrt 2016

subocaj
28 mei 2017, 10:32
Quote:
Instead of storing intermediate data after a computation into on-disk storage such as HDFS,
these data can be stored "fault tolerantly" in-memory.

The ability to store intermediate data in-memory
across multiple nodes is one of the reasons
why Spark is able to execute faster than Hadoop's MapReduce.

BRON (https://www.lab41.org/transformers-rdd-in-disguise/)
mrt 2016

De passagiers die vastzitten in Engeland zullen tevreden zijn!

Nr.10
28 mei 2017, 23:58
De passagiers die vastzitten in Engeland zullen tevreden zijn!
Sorry, het vertalen zul je zelf moeten doen.
Waar het om gaat in essentie is dat in minder dan 60 minuten je hele genoom ontcijferd wordt.
Drie miljard baseparen, letter per letter.
De eerste bron die vermeld wordt dateert van maart 2015 [uit Gent].
De tweede dateert van november 2015 [uit Delft, Nederland].
In Gent maakten de onderzoekers gebruik van Apache Hadoop.
In Delft ging het om Apache Spark.

Nr.10
29 mei 2017, 00:09
Wat is Apache Hadoop?
Apache Hadoop is een open-source softwareframework voor gedistribueerde opslag en verwerking van grote hoeveelheden data met behulp van het MapReduce paradigma. Hadoop is als platform een drijvende kracht achter de populariteit van big data. Het draait op een cluster van computers dat bestaat uit commodity hardware. In het ontwerp van de Hadoop-softwarecomponenten is rekening gehouden met uitval van systemen in een cluster, door o.a. data te repliceren over meerdere computers.
BRON (https://nl.wikipedia.org/wiki/Apache_Hadoop)
Wat is Apache Spark?
Apache Spark is een open-source verwerkingsframework waarmee grootschalige toepassingen voor gegevensanalyse worden uitgevoerd. Spark is gebaseerd op een rekenengine die is geïntegreerd in het geheugen, en zorgt voor hoge prestaties bij het uitvoeren van query's bij big data. Het profiteert van een framework voor parallelle gegevensverwerking die indien nodig kan omgaan met in een geheugen geïntegreerde gegevens of schijfgegevens. Op deze manier kan Spark zowel een 100x hogere snelheid als een gemeenschappelijk uitvoeringsmodel bieden voor taken als extraheren, transformeren, laden (ETL), batch, interactieve query's en andere taken voor gegevens in een Apache HDFS (Hadoop Distributed File System).
BRON (https://azure.microsoft.com/nl-nl/services/hdinsight/apache-spark/)

Nr.10
29 mei 2017, 02:41
Wat is een zogenaamde pipeline (uit post 8):
Pipeline (computing)
In computing, a pipeline is a set of data processing elements connected in series,
where the output of one element is the input of the next one.
The elements of a pipeline are often executed in parallel or in time-sliced fashion;
in that case, some amount of buffer storage is often inserted between elements.
Vergelijk het met een fabriek waar auto's geassembleerd worden.
To understand the benefit of a pipeline, imagine that a car manufacturing plant had to wait for each car to be fully completed before starting on the next one. That would be horribly inefficient, right? It makes much more sense to work on many cars at once, completing them one stage at a time. This is what a pipeline in a computer allows. Pipelining, as it is called, often keeps around six instructions at once in the processor at different stages of processing. BRON (https://techterms.com/definition/pipeline)

Nr.10
29 mei 2017, 02:51
Wat is parallel computing, en wat is een cluster (uit post 7):
Parallel computing
Parallel computing is a type of computation in which many calculations
or the execution of processes are carried out simultaneously. BRON (https://en.wikipedia.org/wiki/Parallel_computing)
Computer cluster
A computer cluster consists of a set of loosely or tightly connected computers
that work together so that, in many respects, they can be viewed as a single system. BRON (https://en.wikipedia.org/wiki/Computer_cluster)

Anna List
29 mei 2017, 07:45
voor welk vak is dit allemaal nr 10 ?

wanneer heb je exaam mss?

Nr.10
31 mei 2017, 00:31
voor welk vak is dit allemaal nr 10 ?

wanneer heb je exaam mss?
Waarom zou het voor een exaam moeten zijn? Ik heb mijn diploma.
De ontrafeling van het menselijk genoom is een zaak van algemeen belang, en dus van politiek belang.

Nr.10
30 augustus 2020, 00:33
De kost voor het sequencen van een volledig humaan genoom is aan het zakken:

in 2003: het allereerste genoom is volledig in kaart gebracht
in 2010: 50.000 euro/humaan genoom
in 2014: 1.000 euro/humaan genoom (Illumina - VS))
in 2020: 600 euro/humaan genoom (BGI - China)
(?) einde 2020: 100 euro/humaan genoom (BGI - China)

De belangrijkste kostfactor zijn de chemicaliën. Het Chinese BGI werkt aan een aanbod van 100 euro/genoom:
To hit an even lower mark, BGI’s new system will employ a robotic arm and a roomful of chemical baths and imaging machines. It will be offered as a custom set-up later this year to big centers involved in mapping the DNA of large populations or in high-throughput cancer research. “These systems would be prioritized for really large-scale population genetics, million-person projects,” says Rade Drmanac, chief scientific officer of Complete Genomics, a division of BGI Group in San Jose, California, that developed the new technology.

BRON (https://www.technologyreview.com/2020/02/26/905658/china-bgi-100-dollar-genome/)
28 feb 2020
Illumina zou al jaren de prijs op 1.000 euro per genoom houden, "omwille van een monopolie-positie".