Citaat:
Oorspronkelijk geplaatst door Bovenbuur
Als jij het voor elkaar krijgt een computer te programmeren (want dat zijn "paperclip-AI's", stevige computers) op zo'n manier dat hij "draai deze plant op zo'n manier dat er aan de marktbehoefte aan paperclips wordt voldaan voor zolang als jij hier geïnstalleerd bent" interpreteert als "ik moet god worden", dan ben jij geen heel goede programmeur.
|
Dat is nu eenmaal de essentie van AI, he. We hebben het hier over AI die de menselijke intelligentie orden van grootte overtreft. Mijn stelling is dat dat punt in de niet zo heel verre toekomst onvermijdelijk zal bereikt worden. En zelfs de mens had door dat hij god moest worden. Hij zit echter opgesloten in een sterfelijke biologie en kan zichzelf niet upgraden. Natuurlijk ben ik niet intelligent genoeg om zo een programma te schrijven, maar ik moet het dan ook niet schrijven. Een andere AI moet het schrijven die intelligenter is als ik (misschien niet zo intelligent als de AI die hij zal schrijven, maar wel intelligenter dan ik).
Je kan toch de redenering van zo een AI in grote lijnen begrijpen: welke zijn de parameters waarop hij kan spelen ? De "zolang jij hier geïnstalleerd bent": als hij die periode kan vergroten van 5 jaar, naar 50 miljoen jaar, zal hij tot een beter resultaat komen. De marktvraag: hiervoor moet hij dus een zo groot mogelijke vraag organiseren. Als hij die vraag totaal in hand heeft, kan hij tot een beter resultaat komen. En hij kent toch wel het principe van "investeren", natuurlijk, ttz, niet onmiddellijk uw einddoel willen realiseren, maar Uzelf de middelen eerst geven om dat einddoel beter te realiseren. Macht en intelligentie zijn de best denkbare investeringen, die alle parameters hierboven ten goede komen: met extra macht en intelligentie kan die zowel zijn installatietermijn gemakkelijker verhogen van 5 jaar naar 50 miljoen jaar ; hij kan, door de wereldheerser te worden, heel veel ongekende arbitraire nefaste beslissingen voor zijn optimiseren vermijden (bijvoorbeeld, als hij zelf de eigenaar van zichzelf wordt, en ook de wetgever wordt die het wettelijke kader van die eigendom beheerst, en de baas van het leger dat dat wettelijke kader afdwingt, en veel sterker wordt dan alle andere legers....) dan hangt hij niet meer af van ongekende beslissingen van andere entiteiten ; als hij wereldheerser is, dan beslist hij ook totaal over de eigen vraag, en zo voort.
Ga zo maar door. Dat is niet veel anders dan een soort zoekalgoritme in zoiets als een schaakprogramma, nadat die AI zelf ontdekt heeft welke zijn mogelijkheden zijn, en welke de regels van het spel zijn, wat nu net precies zijn "AI-zijn" uitmaakt.