Citaat:
Oorspronkelijk geplaatst door Bovenbuur
Het is alleen dus geen goed voorbeeld. Een "paperclip AI" die enkel oog heeft voor een set hardcoded instructies is een fundamenteel ander beestje dan een echte AI die waardeoordelen kan vellen.
|
Maar we draaien rond de pot, he. "in den beginne" moet er een doelstelling zijn. Zonder doelstelling is er niet zoiets als "waardeoordeel". Een waardeoordeel is een meting/schatting/hypothese over hoe iets overeenkomt met zijn "grond doelstelling".
Intelligentie is van 't zelfde: intelligentie is de capaciteit om gegevens te verwerken om tot handelingen kunnen te besluiten die doelstellingen verwezenlijkt. Maar je moet dus *ergens* beginnen met een gronddoelstelling die het spel bootstrapped.
Voor mensen, en biologische levende wezens, is dat hard bekabeld in ons lichaam, ook al weten we niet precies wat het is. Het is de bron van ons lijden en onze vreugde (die we dan bewust ervaren, maar die bewuste ervaring is een gevolg, en geen drijfveer van dat lijden en die vreugde in mijn optiek). Er zijn dingen die eenvoudig zijn, zoals fysieke pijn, en fysiek genot, en er zijn dingen die ingewikkelder zijn, zoals psychologisch lijden en psychologische vreugde. Verwaandheid, jaloersheid, liefde, vriendschap, haat, empathie, diepe angsten en verlangens en dergelijke meer zijn die onbegrepen mentale vormen van vreugde en lijden, die diep in ons bekabeld zijn, en die de bron vormen van wat wij "waarden" noemen. De intelligentie van het systeem (het systeem "mens" bijvoorbeeld) gaat uit van die primaire bekabelde instellingen, en bouwt daar strategieën rond, pakt dat in, en zo voort maar diep beneden is dat allemaal gedreven door die nogal ondoogrondelijke bekabelde "eerste doelstellingen". Ik nam gewoon als doelstelling, niet "liefde, haat, jaloersheid, angst, fysische pijn" en dergelijke meer maar gewoon de diepe drang om paperclips te maken.
Het is mijn idee dat, met voldoende intelligentie, de "diepere doelstellingen" uiteindelijk geen rol spelen, want dat de strategie er altijd zal in bestaan om macht te vergaren en intelligentie te verhogen. Noem het de "vreemde attractor" van intelligentie: wat ook je eerste primaire drijfveren zijn, uiteindelijk ga je macht en intelligentie willen verhogen.