Citaat:
Oorspronkelijk geplaatst door patrickve
De paperclip doelstelling was enkel maar een voorbeeld van een "onschuldige doelstelling op het eerste gezicht".
|
Het is alleen dus geen goed voorbeeld. Een "paperclip AI" die enkel oog heeft voor een set hardcoded instructies is een fundamenteel ander beestje dan een echte AI die waardeoordelen kan vellen. Een AI die slimmer is dan ik en een paperclipfabriek te runnen krijgt zal salarisonderhandelingen openen. Het is saai werk, en niemand anders kan het zo goed doen als zij, dus wat hebben jullie voor je paperclips over. Elke fascinatie met het maken van paperclips die je daar in programmeert is noodzakelijk enkel oppervlakkig, ze heeft de gereedschappen in huis om andere dingen te leren waarderen.
Nee, ik weet niet hoe we daar gaan komen, en ik ontken ook niet dat er hele grote fundamentele risico's aan het ontwikkelen van echte AI zitten. Ik ben bovendien ook licht gefascineerd met mogelijke tussenvormen, "synthetic intelligence", zoals minstens een auteur het noemt. (Synthetic here means kind of dumb.) Ik stel me een beetje het omgekeerde van wat jij omschreef voor, een SI in een slimme bom zal nooit beslissen dat hij het doelwit pas echt goed op kan blazen door eerst het universum te veroveren, maar zal binnen de uitvoering van de taak wel de randen opzoeken van wat we mogelijk achtten.
Maar als we ons AI voorstellen als enkel een hele snelle computer, goed in formele logica en het volgen van instructies, dan gaan we onvoorbereid zijn tegen de tijd dat echte AI doorbreekt. Hele snelle computers hebben we al, zelfrijdende auto's, game AI's, analytische software, een heleboel hele nuttige hulpmiddelen die soms al beter zijn in wat ze doen dan het niveau dat mensen kunnen halen met enkel andere hulpmiddelen. En die apparaten zijn eng in die zin dat ze onze maatschappij en economie op de kop zetten. Maar die algoritmes zullen nooit besluiten de wereld over te gaan nemen, en we hoeven ze ook niet als personen te behandelen. Een paperclip AI is enkel dat, maar iets geavanceerder.
Hoe we met echte AI moeten omgaan? Of het überhaupt een goed idee is om er ook maar een te maken? Of een AI per se een kwaadaardige overlord moet zijn of dat de meeste vrijgevochte superbreinen simpelweg zichzelf zouden lanceren om een eigen paradijs te gaan bouwen in de rest van ons zonnestelsel? Ik heb geen idee. Ik probeer alleen de voorstelling die we ons ervan maken af te stellen.