[patrickve]

Oorspronkelijk geplaatst door Visjnu

Ik zou zeggen juist het tegenovergestelde. De Paperclip Maximizer heeft een heel andere drijfveer, namelijk het produceren van zo veel mogelijk paperclips - dus niet zijn codebase bewaren. De PM zou bijvoorbeeld kunnen beslissen zijn codebase te vernietigen, moest het tot de conclusie komen dat dit de productie van paperclips zou verhogen.

Het gedachten experiment laat enkel zien dat zelfs een heel eenvoudige en onschuldige drijfveer, zeer negatieve onvoorziene gevolgen kan hebben.

De PM was een argument om aan te tonen dat GELIJK WELKE *open* vraag naar een prestatie optimisering zo goed altijd convergeert naar onbegrensde macht en resource vergaring, om dat doel zo goed mogelijk te verwezenlijken.

Zelfs de vraag naar "uw code base bewaren" zou dat aangeven, want om de kans om uw code base te bewaren groter te maken, moet men alle mogelijke elementen die buiten uw controle zijn, en die uw code base zouden kunnen vernietigen, uitgeschakeld worden. Mensen in de eerste plaats, maar ook catastrofes die de aarde zouden vernietigen, en men moet zich voorbereiden op mogelijke invasies van buitenaardse beschavingen die mogelijks die code base zouden bedreigen.

Gelijk welke vraag tot een "behoud" zou onmiddellijk naar een enorme militaire expansie leiden om wat er ook behouden moet worden, te beschermen tegen meer en meer nefaste invloeden van buitenaf.

Moest de Paperclip Maximizer echter een AI zijn die intelligenter is dan ons (superintelligent), dan hebben we echter een ander probleem. We kunnen dan namelijk de gevolgen (en dus de relatie PM-Mens) per definitie niet voorspellen. Moesten we dat wel kunnen, dan waren we namelijk intelligenter dan die AI, wat de premisse tegenspreekt.

Wel, er is wel 1 ding dat we wel kunnen voorspellen: dat is dat die AI de storende factor die de mens zou vormen, totaal moet kunnen onder controle houden.

Een intelligente hond die toch dommer is dan mensen, kan 1 ding beseffen: dat mensen nooit zullen toelaten dat hij nog beslissingen neemt waar zij geen controle over hebben.

Wij kunnen dus van een grotere intelligentie 1 ding verwachten: dat zij ons onder controle zullen houden, en dat zij ons niet zullen toelaten hen te controleren. WAT ze dan nadien over ons lot zullen beslissen, daar heb je gelijk, dat kunnen wij niet weten. Maar er is niet veel leuks in dat vooruitzicht. Op zijn best houden ze ons als huisdier.