[patrickve]

Oorspronkelijk geplaatst door Bovenbuur

Nee, ik snap die redenering niet. Wat je de AI hier toedicht is het vermogen om zelf doelstellingen te stellen. De AI kiest ervoor om in plaats van een paperclipfabriek te runnen voor de aardse markt op dit moment de paperclipfabriek te laten voor wat het is, proberen om het universum over te nemen en als dat gelukt is alles ombouwen tot paperclips. Dat is compleet iets anders dan haar originele instructies waren. Dus als ze ervoor kan kiezen om dat te gaan doen, waarom zou ze dan niet kiezen om heel iets anders te gaan doen?

Elke vorm van intelligentie, de onze ook, heeft een, door de intelligentie zelf onbegrepen, fundamentele drijfveer he. Dat is wat je "oerinstincten" zou kunnen noemen of zo. Intelligentie zonder een doelstelling is een contradictie, want intelligentie is net de gave om doelstellingen te bereiken. Aangezien een geëvolueerde AI (die dus zelf een product is van een andere AI, die zelf een product is van nog een andere AI en zo voort) "oerinstincten" heeft waar wij het raden naar hebben, en waar ik gewoon als voorbeeld maar genomen heb dat die niks anders waren dan een "drang om veel paperclips te maken", zoals Freud dacht dat we allemaal seks wilden, zal het die oerinstincten beter kunnen realiseren - wat ze ook zijn - door intelligenter en machtiger te worden.

Wat voor nut zou een AI ooit kunnen zien in het hele universum tot paperclips ombouwen? Ik zie het nut namelijk niet, en ik zie het nut van een normale paperclipfabriek runnen wel

"nut" is nu net precies gekoppeld aan een of ander oer instinct. Jij ziet, als mens, ergens het nut in van een paperclip fabriek, omdat dat heel heel indirect menselijke oerinstincten zal bevredigen - de bron van alle menselijke handelingen. Een AI zal waarschijnlijk niet die menselijke oer instincten hebben, maar zijn eigen, ondoorgrondelijke. Ik kan mij best inbeelden dat een oerinstinct van een AI zou zijn van het ganse universum in een paperclip fabriek willen te veranderen, ook al is dat duidelijk karikaturaal. Het heeft geen belang welke die oer instincten zijn: ze zullen *beter* verwezenlijkt kunnen worden bij meer macht en meer intelligentie.

Het is een van de twee, of je hebt een gewoon heel slimme computer die strikt de regels volgt

Intelligentie en "'strikt andermans' regels volgen" gaat volgens mij niet samen.

of je hebt een echte AI die kan nadenken over het nut van doelstellingen (Terminator, de AI kiest zelf zijn doelstellingen).

Dat is pas echte AI. En welke ook zijn doelstellingen zullen zijn, of dat nu "overleven" is (wat waarschijnlijk een automatisch geselecteerde eigenschap zal zijn als AI het tegen elkaar opnemen: Darwinisme is immers quasi-tautologisch), of iets anders, machtig worden en intelligenter worden is altijd een goeie investering in het bereiken ervan.

De paperclip doelstelling was enkel maar een voorbeeld van een "onschuldige doelstelling op het eerste gezicht".

Kijk naar menselijk gedrag: velen onder ons willen hun intelligentie verhogen (door bvb te studeren), en willen meer macht "sociaal hogerop komen, baas worden enz ...", ook al weten ze zelf niet goed waarom. En wij zijn bijzonder beperkt want wij kunnen onszelf niet "upgraden". Wij kunnen onszelf geen extra hersenen toekennen. Wij kunnen geen fundamenteel nieuwe mens maken en ons daarin "uploaden".