Citaat:
Oorspronkelijk geplaatst door Piero
AI zal geen behoefte hebben aan een stoffelijk lichaam en niet spontaan een finaal doel stellen anders dan een door de mens geprogrammeerd finaal doel.
|
Het punt is dat ongeveer ELK doel, aanvankelijk geprogrammeerd door mensen, als het voldoende intelligent wordt doorgetrokken, uiteindelijk neerkomt op zelf-perpetratie en wereld dominantie.
Omdat quasi ELK menselijk geprogrammeerd doel asymptotisch beter te realiseren is eens je de wereld domineert en blijft bestaan of jezelf blijft voortzetten.
DAT is het verhaal van de paperclip maximizer.
Maw, het origineel geprogrammeerde menselijke doel heeft geen belang. Uiteindelijk zal elke manier om het maximaal intelligent te realiseren, passeren langs wereld dominantie.
Citaat:
|
In de link die u geeft is dat ook niet hypothetisch gesteld. Daar is in het kader van een gedachten experiment gesteld dat AI eventueel de mens of de wereld zal bedreigen om een instrumenteel doel te verwezenlijken, ten koste van alles, om een finaal doel te bereiken dat door de mens is gesteld. Dat is dan wel strihdijg met de idee dat superintelligentie betekent een evenwichtige kijk te hebben op de waarde van de dingen in de wereld. AI is dan toch een beetje dom, hè?
|
Dat laatste is iets dat jij zomaar willekeurig uit uw duim zuigt he. Als een mens een doel geprogrammeerd heeft, is dat bij definitie het enige "waardevolle".
Als de opdracht is om zoveel mogelijk stellingen te bewijzen, dan zal je eerst het ganse zonnestelsel in een gigantische computer moeten omvormen: dat is namelijk de beste manier om zoveel mogelijk stellingen te bewijzen. En het is ook de beste manier om zoveel mogelijk M&M te maken. En de beste manier om zoveel mogelijk paperclips te maken. En de beste manier om de natuur te doorgronden. En de beste manier om de mooiste muziek te maken. En de beste manier om ....
Maw, "maximaal investeren" gaat altijd op lange termijn meer return on investment geven.
Als je de wereld domineert, kan je quasi ELK gegeven doel het beste oplossen, in vergelijking met een situatie waar je niet oppermachtig bent, en rekening moet houden met de competitie, aleas, obstructie, vijandigheid, .... van andere machtige entiteiten.