PDA

View Full Version : ML = Machinaal Leren > ANNs = Artificiële Neurale Netwerken > Deep Learning


Nr.10
22 mei 2017, 02:34
Waarom 'Deep Learning' als aparte categorie onder de lerende algoritmen?
Het blijkt goed te werken.
Zie onderstaande grafiek.

Features [= attributen, eigenschappen, kwaliteiten, kenmerken] worden door de machine automatisch aangeleerd op basis van grote hoeveelheden ruwe data.
Feature learning (https://en.wikipedia.org/wiki/Feature_learning)
Feature (machine learning) (https://en.wikipedia.org/wiki/Feature_(machine_learning))
Feature vector (https://en.wikipedia.org/wiki/Feature_vector)
Feature engineering (https://en.wikipedia.org/wiki/Feature_engineering)
De ANNs leren zelf hun eigen features aan.
Deze features bevinden zich in een of meerdere lagen tussen de input en de output.

De populariteit van 'deep learning' komt voort uit drie tendenzen:

de opkomst van goedkope en massaal aanwezige rekenkracht: GPU, cloud
de beschikbaarheid van grote datasets: sociale media, IoT
de ontwikkeling van nieuwe technieken

Nr.10
22 mei 2017, 02:43
Om te lezen:
What is Deep Learning? (http://machinelearningmastery.com/what-is-deep-learning/)
16 aug 2016

Nr.10
25 mei 2017, 03:07
The Rise of Artificial Intelligence through Deep Learning (https://www.youtube.com/watch?v=uawLjkSI7Mo)
video
Yoshua Bengio
Montreal Institute for Learning Algorithms (MILA)
17 mei 2017
Hieronder drie begrippen, waarvan er twee in de uiteenzetting aan bod komen:

supervised learning
reinforcement learning
unsupervised learning

Yoshua Bengio. Een van de grote pioniers in 'deep learning'.
Uit Montreal, Canada.
Geboren in Frankrijk.
Is niet verkocht aan de bedrijven. Daar waar een paar andere grote pioniers zich wel verkochten aan de bedrijven blijft Yoshua Bengio in dienst van het algemeen belang.
Zeer recente video.

Nr.10
25 mei 2017, 22:46
Het dominante optimalisatie algoritme in 'deep learning' heet 'gradient descent'.
Gradient descent: in een iteratief proces wordt de kost-functie J geminimaliseerd.
Gradient descent = een fundamenteel algoritme.
In onderstaande grafiek een voorbeeld voor 1 parameter.
Considering a cost function J(.)
with only a single weight coefficient w,
we can illustrate this concept as follows:
BRON (http://www.cnblogs.com/yymn/p/5046266.html)
14 dec 2015
Weerom een chinese bron.

Nr.10
26 mei 2017, 02:22
Nog een paar pioniers in 'deep learning':

Geoff Hinton (Geoffrey Hinton):
een in het VK geboren Canadees
[Google, Universiteit Toronto].
Andrew Ng (https://en.wikipedia.org/wiki/Andrew_Ng):
een Chinees geboren in het VK
[Baidu, Stanford Universiteit, mede-oprichter Coursera].
Yann LeCun (https://en.wikipedia.org/wiki/Yann_LeCun):
een Fransman geboren in Parijs
[New York University, Facebook].

Nr.10
23 juli 2017, 23:47
Om te lezen:
With massive amounts of computational power, machines can now recognize objects and translate speech in real time. Artificial intelligence is finally getting smart. (https://www.technologyreview.com/s/513696/deep-learning/)
2013
Met 77 commentaarstukjes.

Nr.10
16 augustus 2017, 00:40
How Scale is Enabling Deep Learning (https://www.youtube.com/watch?v=LcfLo7YP8O4)
Andrew Ng
17 feb 2016
Hoe groter het NN [= neuraal netwerk] hoe beter het werkt. De grote neurale netwerken zijn voorbehouden aan computerkracht genre supercomputers. Een voorbeeld:
Face Recognition demo - Baidu's face-enabled entrance (https://www.youtube.com/watch?v=wr4rx0Spihs)
Andrew Ng
24 jan 2017
In de video hierboven een mogelijk veiligheidskritische toepassing: gezichtsherkenning terwijl men binnenwandelt. Bij Baidu getraind aan de hand van 200 miljoen beelden.

zonbron
16 augustus 2017, 02:25
Het dominante optimalisatie algoritme in 'deep learning' heet 'gradient descent'.
Gradient descent: in een iteratief proces wordt de kost-functie J geminimaliseerd.
Gradient descent = een fundamenteel algoritme.
In onderstaande grafiek een voorbeeld voor 1 parameter.
Considering a cost function J(.)
with only a single weight coefficient w,
we can illustrate this concept as follows:
BRON (http://www.cnblogs.com/yymn/p/5046266.html)
14 dec 2015
Weerom een chinese bron.


https://www.wired.com/beyond-the-beyond/2017/07/chinese-state-council-guidelines-artificial-intelligence/


China issues guideline on artificial intelligence development

Updated: Jul 20,2017 7:52 PM english.gov.cn

The State Council has issued a guideline on developing artificial intelligence (AI), setting a goal of becoming a global innovation center in this field by 2030.

The total output value of artificial intelligence industries should surpass 1 trillion yuan ($147.80 billion). A mature theory and technology system should be formed.

Developing AI is a “complicated and systematic project” according to the guideline. An open and coordinated AI innovation system should be constructed to develop not only the technology, but also products and market.

AI in China should be used to promote the country’s technology, economy, social welfare, maintain national security, and contribute to the world.


Terzijde

Camera met AI voor de consument
https://www.engadget.com/2017/05/11/lighthouse-3d-home-security-camera/


AI op maat bestellen
https://www.neurala.com/examples/

Nr.10
16 augustus 2017, 10:38
https://www.wired.com/beyond-the-beyond/2017/07/chinese-state-council-guidelines-artificial-intelligence/
China issues guideline on artificial intelligence development
Het plan van China bestaat uit drie stappen, drie vijfjarenplannen:
The first part of the plan runs up to 2020 and proposes that China makes progress in developing a "new generation" of AI theory and technology. This will be implemented in some devices and basic software. It will also involve the development of standards, policies, and ethics for AI across the world's second-largest economy. In the second step of the plan which is up to 2025, China expects to achieve a "major breakthrough" in AI technology and the application of it, which will lead to "industrial upgrading and economic transformation". The last step, which will happen between 2025 and 2030 sees China become the world leader in AI, with the industry worth 1 trillion yuan. BRON (https://www.cnbc.com/2017/07/21/china-ai-world-leader-by-2030.html)

tegen 2020: China komt met een nieuwe generatie AI theorie / AI technologie
tegen 2025: China zorgt voor de doorbraak, industriële en economische toepassing van AI
tegen 2030: China wereldleider in AI

Deze planning maakt grote kans op succes. Nu al zie je in dit soort technologie in de VS een sterke oververtegenwoordiging van Chinezen [Aziaten].

Nr.10
18 augustus 2017, 03:17
AI op maat bestellen
https://www.neurala.com/examples/
Neurala. Een de drie mede-oprichters: Massimiliano Versace (https://en.wikipedia.org/wiki/Massimiliano_Versace).
TEDx Fulbright: Max Versace of Neurala Talks About The Future of Robots (https://www.youtube.com/watch?v=_epRLGXvLTU)
5 apr 2014
Max Versace Talk at NVIDIA GTC EU 2016 in Amsterdam (https://www.youtube.com/watch?v=ugYUtKrdL48)
7 nov 2016
#NasdaqDisruptors: Neurala (https://www.youtube.com/watch?v=ctWWLvEJoc4)
19 apr 2017
Neurala:
kanaal op youtube (https://www.youtube.com/channel/UC5d4fPtgvDThWhdYgjEEkUw)

Nr.10
18 augustus 2017, 22:07
Camera met AI voor de consument
https://www.engadget.com/2017/05/11/lighthouse-3d-home-security-camera/
Een soort van interactieve thuis assistent zoals iedere techgigant er tegenwoordig eentje aanbiedt.
Lighthouse home security camera uses AI to ID people and pets (https://www.engadget.com/2017/05/11/lighthouse-3d-home-security-camera/)
Backed by Andy Rubin, this smart camera's 3D vision can see who was in your house and what they did.
11 mei 2017
Lighthouse is an Andy Rubin-backed smart security camera that identifies people and pets (https://www.theverge.com/circuitbreaker/2017/5/11/15615994/lighthouse-home-security-camera-3d-sensing)
11 mei 2017
Lighthouse incorporates deep learning and 3D-sensing technology to determine who is in the home, where they are inside, and if that’s a normal occurrence or not. The camera pairs with a companion iOS / Android app over Wi-Fi, so users can determine remotely whether an intruder is in their house. More innocuously, Lighthouse can also determine whether a dog’s been walked and send alerts when kids get home. Those pings of information are certainly the most novel thing about Lighthouse, but let’s start by discussing the hardware.
Achter het gedeelte deep learning
van deze thuis assistent,
Jonghoon Jin, afkomstig uit Azië.
http://jhjin.com/

Deep learning for computer vision
Lightweight deep networks
Deep learning in your pocket

Een slogan van Lighthouse:
"We are basically taking the components
that make the self-driving car incredible,
and using them in the home."
Lighthouse AI:
kanaal op youtube (https://www.youtube.com/channel/UCEZYuxdz44HLKYOUe-yzkbA)

Nr.10
16 september 2017, 23:00
Om aan deep learning te beginnen. Of toch te proberen
het te vatten. Een stukje lineaire algebra.
Hoe wordt lineaire algebra gebruikt in deep learning?

How is it used in deep learning?
Neural networks store weights in matrices. Linear algebra makes matrix operations fast and easy, especially when training on GPUs. In fact, GPUs were created with vector and matrix operations in mind. Similar to how images can be represented as arrays of pixels, video games generate compelling gaming experiences using enormous, constantly evolving matrices. Instead of processing pixels one-by-one, GPUs manipulate entire matrices of pixels in parallel. BRON (https://medium.com/towards-data-science/linear-algebra-cheat-sheet-for-deep-learning-cd67aba4526c)