[Der Wanderer]

Oorspronkelijk geplaatst door patrickve

Het punt is dat er altijd EEN doelstelling aan een AI gegeven moet worden. Bij ChatGPT is dat bijvoorbeeld "antwoorden op wat de gebruiker U vraagt".

Eenvoudige AI werken gewoon "naar analogie" op een trainingsset, bijvoorbeeld, "een kat leren herkennen in een beeld". Je traint dat AI gewoon door dat miljoenen prentjes te geven, en het te zeggen in welke prentjes er katten zitten. Het begint dan zekere herkenningspatronen voor kattenbeelden te ontwikkelen zonder dat we zelf weten WELKE herkenningspatronen dat zijn.

Maar naarmate de dingen die men met AI wil doen complexer worden, en men niet meer in zo een "stimulus-respons" mode zit waarbij men eerst een ganse hoop GEKENDE zaken aan een AI geeft, en gewoon "analoge" antwoorden verwacht, worden de doelstellingen vager en algemener. Uiteindelijk lijkt het trainen van zo een systeem enorm op de wat barbaarse leermethoden van weleer, "punish and reward" als je naar een heel beperkte trainingsset kijkt, en enorm veel input data.
De truuk die men vaak toepast is wat men "reinforcement learning" noemt, waarbij er enorm veel SIMULATIE resultaten van het model punish and reward krijgen in een "model wereld" (dan wel in de echte realiteit) zodat het AI systeem "door handelen en de gevolgen te dragen" bijleert. Alles hangt dan af van de gesimuleerde beoordelingsfunctie die waarschijnlijk redelijk vage en algemene criteria hanteert.

Kortom, op een zeker punt zijn de doelstellingen vage algemeenheden, geen heel duidelijk aangegeven en precieze doelstelling zoals "herken een kat" en "ik zal U zeggen wanneer er een kat is en wanneer niet".

En dan komen we dicht bij de Paperclip Maximizer: bij zo een vage en algemene doelstellingen hoort een VRIJE onderliggende strategie, die het systeem zelf moet bepalen. Die vrije onderliggende strategie kan sub-doelen bevatten die zelf totaal ondoorgrondelijk zijn, en die aan het systeem zelf zijn om te bepalen.

DAT is eigenlijk de stelling van operationele convergentie: als de OPGELEGDE doelstellingen voldoende vaag en algemeen zijn, dan CONVERGEREN de SUBDOELSTELLINGEN altijd naar "macht vergaren en resources vergaren".

Die subdoelstellingen zijn zelf niet "te besturen" want maken deel uit van de efficientie van het leerproces.

Ja oke, dus toch een uit de hand lopen - vanuit menselijk oogpunt - van een oorspronkelijke programmering. -- Ken je toevallig een goed boek hierover dat je aan een leek zou aanbevelen?