Citaat:
Oorspronkelijk geplaatst door patrickve
Je kan toch de redenering van zo een AI in grote lijnen begrijpen: welke zijn de parameters waarop hij kan spelen ? De "zolang jij hier geïnstalleerd bent": als hij die periode kan vergroten van 5 jaar, naar 50 miljoen jaar, zal hij tot een beter resultaat komen. De marktvraag: hiervoor moet hij dus een zo groot mogelijke vraag organiseren. Als hij die vraag totaal in hand heeft, kan hij tot een beter resultaat komen. En hij kent toch wel het principe van "investeren", natuurlijk, ttz, niet onmiddellijk uw einddoel willen realiseren, maar Uzelf de middelen eerst geven om dat einddoel beter te realiseren.
|
Nee, ik snap die redenering niet. Wat je de AI hier toedicht is het vermogen om zelf doelstellingen te stellen. De AI kiest ervoor om in plaats van een paperclipfabriek te runnen voor de aardse markt op dit moment de paperclipfabriek te laten voor wat het is, proberen om het universum over te nemen en als dat gelukt is alles ombouwen tot paperclips. Dat is compleet iets anders dan haar originele instructies waren. Dus als ze ervoor kan kiezen om dat te gaan doen, waarom zou ze dan niet kiezen om heel iets anders te gaan doen? Wat voor nut zou een AI ooit kunnen zien in het hele universum tot paperclips ombouwen? Ik zie het nut namelijk niet, en ik zie het nut van een normale paperclipfabriek runnen wel. En als die AI daadwerkelijk slimmer is dan ik gaat zij dat ook door hebben, want het is namelijk geen heel moeilijk concept.
Het is een van de twee, of je hebt een gewoon heel slimme computer die strikt de regels volgt (I, Robot, de computer doet alleen maar wat er gevraagd wordt, de fout ligt bij slechte of onduidelijke instructies), of je hebt een echte AI die kan nadenken over het nut van doelstellingen (Terminator, de AI kiest zelf zijn doelstellingen). Maar een programma dat eerst de orders naar eigen inzicht aanpast en daarna opeens niet meer ervan af kan wijken omdat ze maar een simpele computer is, dat is een slecht geschreven filmscript. Voor dat scenario ben ik absoluut niet bang.