Citaat:
Oorspronkelijk geplaatst door patrickve
De PM was een argument om aan te tonen dat GELIJK WELKE *open* vraag naar een prestatie optimisering zo goed altijd convergeert naar onbegrensde macht en resource vergaring, om dat doel zo goed mogelijk te verwezenlijken.
Zelfs de vraag naar "uw code base bewaren" zou dat aangeven, want om de kans om uw code base te bewaren groter te maken, moet men alle mogelijke elementen die buiten uw controle zijn, en die uw code base zouden kunnen vernietigen, uitgeschakeld worden. Mensen in de eerste plaats, maar ook catastrofes die de aarde zouden vernietigen, en men moet zich voorbereiden op mogelijke invasies van buitenaardse beschavingen die mogelijks die code base zouden bedreigen.
Gelijk welke vraag tot een "behoud" zou onmiddellijk naar een enorme militaire expansie leiden om wat er ook behouden moet worden, te beschermen tegen meer en meer nefaste invloeden van buitenaf.
Wel, er is wel 1 ding dat we wel kunnen voorspellen: dat is dat die AI de storende factor die de mens zou vormen, totaal moet kunnen onder controle houden.
Een intelligente hond die toch dommer is dan mensen, kan 1 ding beseffen: dat mensen nooit zullen toelaten dat hij nog beslissingen neemt waar zij geen controle over hebben.
Wij kunnen dus van een grotere intelligentie 1 ding verwachten: dat zij ons onder controle zullen houden, en dat zij ons niet zullen toelaten hen te controleren. WAT ze dan nadien over ons lot zullen beslissen, daar heb je gelijk, dat kunnen wij niet weten. Maar er is niet veel leuks in dat vooruitzicht. Op zijn best houden ze ons als huisdier.
|
Het is zelf erger dan dat he, strikt genomen hoeft het systeem niet intelligenter dan wij te zijn.
Het volstaat dat het denkt dat het superieur is, en sneller en efficienter kan werken zonder ons.
Stel dat het maar 4 of 5 stappen verder kan denken, en niet voorziet dat stap 7 enkel door mensen kan worden uitgevoerd.