ML = Machinaal Leren > ANNs = Artificiële Neurale Netwerken > Deep Learning
 

Waarom 'Deep Learning' als aparte categorie onder de lerende algoritmen?
Het blijkt goed te werken.
Zie onderstaande grafiek.

Features [= attributen, eigenschappen, kwaliteiten, kenmerken] worden door de machine automatisch aangeleerd op basis van grote hoeveelheden ruwe data.

Feature learning

Feature (machine learning)

Feature vector

Feature engineering

De ANNs leren zelf hun eigen features aan.
Deze features bevinden zich in een of meerdere lagen tussen de input en de output.

De populariteit van 'deep learning' komt voort uit drie tendenzen:

• de opkomst van goedkope en massaal aanwezige rekenkracht: GPU, cloud
• de beschikbaarheid van grote datasets: sociale media, IoT
• de ontwikkeling van nieuwe technieken

Om te lezen:

What is Deep Learning?
_{16 aug 2016}

The Rise of Artificial Intelligence through Deep Learning
_{video
Yoshua Bengio
Montreal Institute for Learning Algorithms (MILA)
17 mei 2017}

Hieronder drie begrippen, waarvan er twee in de uiteenzetting aan bod komen:

• supervised learning
• reinforcement learning
• unsupervised learning

Yoshua Bengio. Een van de grote pioniers in 'deep learning'.
Uit Montreal, Canada.
Geboren in Frankrijk.
Is niet verkocht aan de bedrijven. Daar waar een paar andere grote pioniers zich wel verkochten aan de bedrijven blijft Yoshua Bengio in dienst van het algemeen belang.
Zeer recente video.

Het dominante optimalisatie algoritme in 'deep learning' heet 'gradient descent'.
Gradient descent: in een iteratief proces wordt de kost-functie J geminimaliseerd.
Gradient descent = een fundamenteel algoritme.
In onderstaande grafiek een voorbeeld voor 1 parameter.

Considering a cost function J(.)
with only a single weight coefficient w,
we can illustrate this concept as follows:

BRON
_{14 dec 2015}
Weerom een chinese bron.

Nog een paar pioniers in 'deep learning':

• Geoff Hinton:
  een in het VK geboren Canadees
  [Google, Universiteit Toronto].
• Andrew Ng:
  een Chinees geboren in het VK
  [Baidu, Stanford Universiteit, mede-oprichter Coursera].
• Yann LeCun:
  een Fransman geboren in Parijs
  [New York University, Facebook].

Om te lezen:

With massive amounts of computational power, machines can now recognize objects and translate speech in real time. Artificial intelligence is finally getting smart.
₂₀₁₃

Met 77 commentaarstukjes.

How Scale is Enabling Deep Learning
_{Andrew Ng
17 feb 2016}

Hoe groter het NN [= neuraal netwerk] hoe beter het werkt. De grote neurale netwerken zijn voorbehouden aan computerkracht genre supercomputers. Een voorbeeld:

Face Recognition demo - Baidu's face-enabled entrance
_{Andrew Ng
24 jan 2017}

In de video hierboven een mogelijk veiligheidskritische toepassing: gezichtsherkenning terwijl men binnenwandelt. Bij Baidu getraind aan de hand van 200 miljoen beelden.

https://www.wired.com/beyond-the-bey...-intelligence/

China issues guideline on artificial intelligence development

Updated: Jul 20,2017 7:52 PM english.gov.cn

The State Council has issued a guideline on developing artificial intelligence (AI), setting a goal of becoming a global innovation center in this field by 2030.

The total output value of artificial intelligence industries should surpass 1 trillion yuan ($147.80 billion). A mature theory and technology system should be formed.

Developing AI is a “complicated and systematic project” according to the guideline. An open and coordinated AI innovation system should be constructed to develop not only the technology, but also products and market.

AI in China should be used to promote the country’s technology, economy, social welfare, maintain national security, and contribute to the world.

Terzijde

Camera met AI voor de consument
https://www.engadget.com/2017/05/11/...curity-camera/


AI op maat bestellen
https://www.neurala.com/examples/

Het plan van China bestaat uit drie stappen, drie vijfjarenplannen:

The first part of the plan runs up to 2020 and proposes that China makes progress in developing a "new generation" of AI theory and technology. This will be implemented in some devices and basic software. It will also involve the development of standards, policies, and ethics for AI across the world's second-largest economy. In the second step of the plan which is up to 2025, China expects to achieve a "major breakthrough" in AI technology and the application of it, which will lead to "industrial upgrading and economic transformation". The last step, which will happen between 2025 and 2030 sees China become the world leader in AI, with the industry worth 1 trillion yuan. BRON

1. tegen 2020: China komt met een nieuwe generatie AI theorie / AI technologie
2. tegen 2025: China zorgt voor de doorbraak, industriële en economische toepassing van AI
3. tegen 2030: China wereldleider in AI

Deze planning maakt grote kans op succes. Nu al zie je in dit soort technologie in de VS een sterke oververtegenwoordiging van Chinezen [Aziaten].

Neurala. Een de drie mede-oprichters: Massimiliano Versace.

TEDx Fulbright: Max Versace of Neurala Talks About The Future of Robots
_{5 apr 2014}

Max Versace Talk at NVIDIA GTC EU 2016 in Amsterdam
_{7 nov 2016}

#NasdaqDisruptors: Neurala
_{19 apr 2017}

Neurala:

kanaal op youtube

Een soort van interactieve thuis assistent zoals iedere techgigant er tegenwoordig eentje aanbiedt.

Lighthouse home security camera uses AI to ID people and pets
_{Backed by Andy Rubin, this smart camera's 3D vision can see who was in your house and what they did.
11 mei 2017}

Lighthouse is an Andy Rubin-backed smart security camera that identifies people and pets
_{11 mei 2017}

Lighthouse incorporates deep learning and 3D-sensing technology to determine who is in the home, where they are inside, and if that’s a normal occurrence or not. The camera pairs with a companion iOS / Android app over Wi-Fi, so users can determine remotely whether an intruder is in their house. More innocuously, Lighthouse can also determine whether a dog’s been walked and send alerts when kids get home. Those pings of information are certainly the most novel thing about Lighthouse, but let’s start by discussing the hardware.

Achter het gedeelte deep learning
van deze thuis assistent,
Jonghoon Jin, afkomstig uit Azië.

http://jhjin.com/

• Deep learning for computer vision
  
• Lightweight deep networks
  
• Deep learning in your pocket
  

Een slogan van Lighthouse:

"We are basically taking the components
that make the self-driving car incredible,
and using them in the home."

Lighthouse AI:

kanaal op youtube

Om aan deep learning te beginnen. Of toch te proberen
het te vatten. Een stukje lineaire algebra.
Hoe wordt lineaire algebra gebruikt in deep learning?

How is it used in deep learning?
Neural networks store weights in matrices. Linear algebra makes matrix operations fast and easy, especially when training on GPUs. In fact, GPUs were created with vector and matrix operations in mind. Similar to how images can be represented as arrays of pixels, video games generate compelling gaming experiences using enormous, constantly evolving matrices. Instead of processing pixels one-by-one, GPUs manipulate entire matrices of pixels in parallel. BRON