Citaat:
Oorspronkelijk geplaatst door Der Wanderer
Dat 'domheden' of kortzichtigheden bij het programmeren heel snel tot ongewenste gevolgen kunnen leiden snap ik. We weten onszelf niet eens te plannen. Maar ik dacht dat A.I. nog altijd maximaal efficiënt opereerde binnen een bepaalde oorspronkelijk ingegeven doelstelling (en daarbinnen desnoods zichzelf 'verdedigt' en tot het uiterste gaat). Hoe zou A.I. plots autonoom doelen kunnen stellen? (Ik ben hier een totale leek in he.)
|
Het punt is dat er altijd EEN doelstelling aan een AI gegeven moet worden. Bij ChatGPT is dat bijvoorbeeld "antwoorden op wat de gebruiker U vraagt".
Eenvoudige AI werken gewoon "naar analogie" op een trainingsset, bijvoorbeeld, "een kat leren herkennen in een beeld". Je traint dat AI gewoon door dat miljoenen prentjes te geven, en het te zeggen in welke prentjes er katten zitten. Het begint dan zekere herkenningspatronen voor kattenbeelden te ontwikkelen zonder dat we zelf weten WELKE herkenningspatronen dat zijn.
Maar naarmate de dingen die men met AI wil doen complexer worden, en men niet meer in zo een "stimulus-respons" mode zit waarbij men eerst een ganse hoop GEKENDE zaken aan een AI geeft, en gewoon "analoge" antwoorden verwacht, worden de doelstellingen vager en algemener. Uiteindelijk lijkt het trainen van zo een systeem enorm op de wat barbaarse leermethoden van weleer, "punish and reward" als je naar een heel beperkte trainingsset kijkt, en enorm veel input data.
De truuk die men vaak toepast is wat men "reinforcement learning" noemt, waarbij er enorm veel SIMULATIE resultaten van het model punish and reward krijgen in een "model wereld" (dan wel in de echte realiteit) zodat het AI systeem "door handelen en de gevolgen te dragen" bijleert. Alles hangt dan af van de gesimuleerde beoordelingsfunctie die waarschijnlijk redelijk vage en algemene criteria hanteert.
Kortom, op een zeker punt zijn de doelstellingen vage algemeenheden, geen heel duidelijk aangegeven en precieze doelstelling zoals "herken een kat" en "ik zal U zeggen wanneer er een kat is en wanneer niet".
En dan komen we dicht bij de Paperclip Maximizer: bij zo een vage en algemene doelstellingen hoort een VRIJE onderliggende strategie, die het systeem zelf moet bepalen. Die vrije onderliggende strategie kan sub-doelen bevatten die zelf totaal ondoorgrondelijk zijn, en die aan het systeem zelf zijn om te bepalen.
DAT is eigenlijk de stelling van operationele convergentie: als de OPGELEGDE doelstellingen voldoende vaag en algemeen zijn, dan CONVERGEREN de SUBDOELSTELLINGEN altijd naar "macht vergaren en resources vergaren".
Die subdoelstellingen zijn zelf niet "te besturen" want maken deel uit van de efficientie van het leerproces.