Stop gevraagd in de training van AI-systemen krachtiger dan GPT-4

[Nr.10]

Na de bovenvermelde petitie van 22 maart 2023 ll., een nieuwe waarschuwing d.d. 30 mei 2023 bereikt ons.

In het Engels luidt de vrij simpel ogende waarschuwing als volgt:

"Mitigating the risk of extinction from AI should be a global priority alongside
other societal-scale risks such as pandemics and nuclear war."

Vertaald naar het Nederlands:

"Het beperken van het risico op uitsterving [van de mens] door AI moet een
wereldwijde prioriteit zijn, naast andere maatschappelijke risico's zoals
pandemieën en kernoorlogen."

Risico (1): AI
Risico (2): pandemieën
Risico (3): kernoorlog(en)

[Nr.10]

Mijns inziens is deze discussie legitiem, maar we moeten opletten dat we niet een val trappen, de val van de culturele hegemonie.

Door de wereldwijde aandacht van de ontwikkeling van AI helemaal naar zich toe te trekken zetten de Angelsaksen een nieuwe val op.

Ieder groot continent, iedere grote beschaving, moet zich verdiepen in de consequenties van de posities die zij innemen in deze zeer belangrijke discussie.

[kelt]

Wat hoger in het draadje staat inderdaad,in één enkele zin, wat we als aanmaning kunnen zien om toch maar te reguleren.


De EU zal nog dit jaar gereageerd hebben...
https://digital-strategy.ec.europa.e...l-intelligence

https://www.reuters.com/technology/e...ks-2023-05-31/





Het is het zwaarste kanon in de Commissie,mevr Vestager,die er aan werkt.

[Nietzsche]

Oorspronkelijk geplaatst door vanderzapig

Eliezer Yudkowsky, blogger en oprichter van het rationalisten-forum LessWrong, wil nog veel verder gaan: datacenters met GPU's moeten desnoods vanuit de lucht platgebombardeerd worden.

____________________


Pausing AI Developments Isn't Enough. We Need to Shut it All Down


By Eliezer Yudkowsky

March 29, 2023 6:01 PM EDT

Yudkowsky is a decision theorist from the U.S. and leads research at the Machine Intelligence Research Institute. He's been working on aligning Artificial General Intelligence since 2001 and is widely regarded as a founder of the field.



In open letter published today calls for “all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.”

This 6-month moratorium would be better than no moratorium. I have respect for everyone who stepped up and signed it. It’s an improvement on the margin.

I refrained from signing because I think the letter is understating the seriousness of the situation and asking for too little to solve it.

The key issue is not “human-competitive” intelligence (as the open letter puts it); it’s what happens after AI gets to smarter-than-human intelligence. Key thresholds there may not be obvious, we definitely can’t calculate in advance what happens when, and it currently seems imaginable that a research lab would cross critical lines without noticing.

Many researchers steeped in these issues, including myself, expect that the most likely result of building a superhumanly smart AI, under anything remotely like the current circumstances, is that literally everyone on Earth will die. Not as in “maybe possibly some remote chance,” but as in “that is the obvious thing that would happen.” It’s not that you can’t, in principle, survive creating something much smarter than you; it’s that it would require precision and preparation and new scientific insights, and probably not having AI systems composed of giant inscrutable arrays of fractional numbers.

Without that precision and preparation, the most likely outcome is AI that does not do what we want, and does not care for us nor for sentient life in general. That kind of caring is something that could in principle be imbued into an AI but we are not ready and do not currently know how.

Absent that caring, we get “the AI does not love you, nor does it hate you, and you are made of atoms it can use for something else.”

The likely result of humanity facing down an opposed superhuman intelligence is a total loss. Valid metaphors include “a 10-year-old trying to play chess against Stockfish 15”, “the 11th century trying to fight the 21st century,” and “Australopithecus trying to fight Homo sapiens“.

To visualize a hostile superhuman AI, don’t imagine a lifeless book-smart thinker dwelling inside the internet and sending ill-intentioned emails. Visualize an entire alien civilization, thinking at millions of times human speeds, initially confined to computers—in a world of creatures that are, from its perspective, very stupid and very slow. A sufficiently intelligent AI won’t stay confined to computers for long. In today’s world you can email DNA strings to laboratories that will produce proteins on demand, allowing an AI initially confined to the internet to build artificial life forms or bootstrap straight to postbiological molecular manufacturing.

If somebody builds a too-powerful AI, under present conditions, I expect that every single member of the human species and all biological life on Earth dies shortly thereafter.

There’s no proposed plan for how we could do any such thing and survive. OpenAI’s openly declared intention is to make some future AI do our AI alignment homework. Just hearing that this is the plan ought to be enough to get any sensible person to panic. The other leading AI lab, DeepMind, has no plan at all.

An aside: None of this danger depends on whether or not AIs are or can be conscious; it’s intrinsic to the notion of powerful cognitive systems that optimize hard and calculate outputs that meet sufficiently complicated outcome criteria. With that said, I’d be remiss in my moral duties as a human if I didn’t also mention that we have no idea how to determine whether AI systems are aware of themselves—since we have no idea how to decode anything that goes on in the giant inscrutable arrays—and therefore we may at some point inadvertently create digital minds which are truly conscious and ought to have rights and shouldn’t be owned.

The rule that most people aware of these issues would have endorsed 50 years earlier, was that if an AI system can speak fluently and says it’s self-aware and demands human rights, that ought to be a hard stop on people just casually owning that AI and using it past that point. We already blew past that old line in the sand. And that was probably correct; I agree that current AIs are probably just imitating talk of self-awareness from their training data. But I mark that, with how little insight we have into these systems’ internals, we do not actually know.

If that’s our state of ignorance for GPT-4, and GPT-5 is the same size of giant capability step as from GPT-3 to GPT-4, I think we’ll no longer be able to justifiably say “probably not self-aware” if we let people make GPT-5s. It’ll just be “I don’t know; nobody knows.” If you can’t be sure whether you’re creating a self-aware AI, this is alarming not just because of the moral implications of the “self-aware” part, but because being unsure means you have no idea what you are doing and that is dangerous and you should stop.



On Feb. 7, Satya Nadella, CEO of Microsoft, publicly gloated that the new Bing would make Google “come out and show that they can dance.” “I want people to know that we made them dance,” he said.

This is not how the CEO of Microsoft talks in a sane world. It shows an overwhelming gap between how seriously we are taking the problem, and how seriously we needed to take the problem starting 30 years ago.

We are not going to bridge that gap in six months.

It took more than 60 years between when the notion of Artificial Intelligence was first proposed and studied, and for us to reach today’s capabilities. Solving safety of superhuman intelligence—not perfect safety, safety in the sense of “not killing literally everyone”—could very reasonably take at least half that long. And the thing about trying this with superhuman intelligence is that if you get that wrong on the first try, you do not get to learn from your mistakes, because you are dead. Humanity does not learn from the mistake and dust itself off and try again, as in other challenges we’ve overcome in our history, because we are all gone.

Trying to get anything right on the first really critical try is an extraordinary ask, in science and in engineering. We are not coming in with anything like the approach that would be required to do it successfully. If we held anything in the nascent field of Artificial General Intelligence to the lesser standards of engineering rigor that apply to a bridge meant to carry a couple of thousand cars, the entire field would be shut down tomorrow.

We are not prepared. We are not on course to be prepared in any reasonable time window. There is no plan. Progress in AI capabilities is running vastly, vastly ahead of progress in AI alignment or even progress in understanding what the hell is going on inside those systems. If we actually do this, we are all going to die.

Many researchers working on these systems think that we’re plunging toward a catastrophe, with more of them daring to say it in private than in public; but they think that they can’t unilaterally stop the forward plunge, that others will go on even if they personally quit their jobs. And so they all think they might as well keep going. This is a stupid state of affairs, and an undignified way for Earth to die, and the rest of humanity ought to step in at this point and help the industry solve its collective action problem.



Some of my friends have recently reported to me that when people outside the AI industry hear about extinction risk from Artificial General Intelligence for the first time, their reaction is “maybe we should not build AGI, then.”

Hearing this gave me a tiny flash of hope, because it’s a simpler, more sensible, and frankly saner reaction than I’ve been hearing over the last 20 years of trying to get anyone in the industry to take things seriously. Anyone talking that sanely deserves to hear how bad the situation actually is, and not be told that a six-month moratorium is going to fix it.

On March 16, my partner sent me this email. (She later gave me permission to excerpt it here.)

“Nina lost a tooth! In the usual way that children do, not out of carelessness! Seeing GPT4 blow away those standardized tests on the same day that Nina hit a childhood milestone brought an emotional surge that swept me off my feet for a minute. It’s all going too fast. I worry that sharing this will heighten your own grief, but I’d rather be known to you than for each of us to suffer alone.”

When the insider conversation is about the grief of seeing your daughter lose her first tooth, and thinking she’s not going to get a chance to grow up, I believe we are past the point of playing political chess about a six-month moratorium.

If there was a plan for Earth to survive, if only we passed a six-month moratorium, I would back that plan. There isn’t any such plan.

Here’s what would actually need to be done:

The moratorium on new large training runs needs to be indefinite and worldwide. There can be no exceptions, including for governments or militaries. If the policy starts with the U.S., then China needs to see that the U.S. is not seeking an advantage but rather trying to prevent a horrifically dangerous technology which can have no true owner and which will kill everyone in the U.S. and in China and on Earth. If I had infinite freedom to write laws, I might carve out a single exception for AIs being trained solely to solve problems in biology and biotechnology, not trained on text from the internet, and not to the level where they start talking or planning; but if that was remotely complicating the issue I would immediately jettison that proposal and say to just shut it all down.

Shut down all the large GPU clusters (the large computer farms where the most powerful AIs are refined). Shut down all the large training runs. Put a ceiling on how much computing power anyone is allowed to use in training an AI system, and move it downward over the coming years to compensate for more efficient training algorithms. No exceptions for governments and militaries. Make immediate multinational agreements to prevent the prohibited activities from moving elsewhere. Track all GPUs sold. If intelligence says that a country outside the agreement is building a GPU cluster, be less scared of a shooting conflict between nations than of the moratorium being violated; be willing to destroy a rogue datacenter by airstrike.

Frame nothing as a conflict between national interests, have it clear that anyone talking of arms races is a fool. That we all live or die as one, in this, is not a policy but a fact of nature. Make it explicit in international diplomacy that preventing AI extinction scenarios is considered a priority above preventing a full nuclear exchange, and that allied nuclear countries are willing to run some risk of nuclear exchange if that’s what it takes to reduce the risk of large AI training runs.

That’s the kind of policy change that would cause my partner and I to hold each other, and say to each other that a miracle happened, and now there’s a chance that maybe Nina will live. The sane people hearing about this for the first time and sensibly saying “maybe we should not” deserve to hear, honestly, what it would take to have that happen. And when your policy ask is that large, the only way it goes through is if policymakers realize that if they conduct business as usual, and do what’s politically easy, that means their own kids are going to die too.

Shut it all down.

We are not ready. We are not on track to be significantly readier in the foreseeable future. If we go ahead on this everyone will die, including children who did not choose this and did not do anything wrong.

Shut it down.

Smerig, reactionair tuig dat bang is voor nieuwe ontwikkelingen. Vroeger hadden zij boeken tegen gehouden.

[patrickve]

Oorspronkelijk geplaatst door Nr.10

Na de bovenvermelde petitie van 22 maart 2023 ll., een nieuwe waarschuwing d.d. 30 mei 2023 bereikt ons.

In het Engels luidt de vrij simpel ogende waarschuwing als volgt:

"Mitigating the risk of extinction from AI should be a global priority alongside
other societal-scale risks such as pandemics and nuclear war."

Vertaald naar het Nederlands:

"Het beperken van het risico op uitsterving [van de mens] door AI moet een
wereldwijde prioriteit zijn, naast andere maatschappelijke risico's zoals
pandemieën en kernoorlogen."

Risico (1): AI
Risico (2): pandemieën
Risico (3): kernoorlog(en)

Dat is totaal idioot. Er moet niet vermeden worden dat de mensheid uitsterft, en dat zal ook niet kunnen vermeden worden. Wat die mensen EINDELIJK ontdekken is wat ik ook al heel lang zeg: dit is gewoon EVOLUTIE, meer niet. Life finds a way he. Denken die onnozelaars nu echt dat ze de evolutie zullen kunnen stopzetten ? Helemaal niet he.

Het lijkt erop dat mensen NU PAS beseffen wat ons lot is he. Maar dat verandert niks aan het feit dat het ons onafwendbaar lot is, tenzij we onszelf zodanig naar het stenen tijdperk terug katapulteren met een "andere" ramp dat we weer een paar honderdduizend jaar kopen of zo.

Maar uiteindelijk komt het er hoor, dat is onafwendbaar, en daar moeten we geen problemen over maken.

Life finds a way, en machineleven is nu eenmaal waar het op zal uitdraaien, wat we ook doen he.

[patrickve]

Oorspronkelijk geplaatst door kelt

Wat hoger in het draadje staat inderdaad,in één enkele zin, wat we als aanmaning kunnen zien om toch maar te reguleren.

Ge kunt dat niet reguleren. Je kan niemand beletten om computer programmaatjes te schrijven he. En je kan zeker MILITAIREN niet beletten om computer programmaatjes te schrijven.

Kijk, we gaan nu in elk geval in een militaire AI escalatie terecht komen. Vergeet niet dat het militair confronteren altijd de lakmoes test is waar er niet gesjoemeld kan worden en die dus doorheen onze geschiedenis altijd voor grote doorbraken hebben gezorgd. Als er nu EEN "gevaarlijke" aanwending van AI is, dan is het de militaire wel, en die zal men niet kunnen "reguleren" he.

Kortom, de doos van pandora is open, en die gaat niet meer dicht, en het marcheert onvermijdelijk vooruit. NIKS kan dat tegenhouden, en zij die dat willen tegenhouden, blijven aan de kant van de weg zitten he. DAT is het principe van de evolutie, en geen kat heeft dat ooit kunnen stoppen.

[Nr.10]

Oorspronkelijk geplaatst door patrickve

Ge kunt dat niet reguleren. Je kan niemand beletten om computer programmaatjes te schrijven he. En je kan zeker MILITAIREN niet beletten om computer programmaatjes te schrijven.

Kijk, we gaan nu in elk geval in een militaire AI escalatie terecht komen. Vergeet niet dat het militair confronteren altijd de lakmoes test is waar er niet gesjoemeld kan worden en die dus doorheen onze geschiedenis altijd voor grote doorbraken hebben gezorgd. Als er nu EEN "gevaarlijke" aanwending van AI is, dan is het de militaire wel, en die zal men niet kunnen "reguleren" he.

Kortom, de doos van pandora is open, en die gaat niet meer dicht, en het marcheert onvermijdelijk vooruit. NIKS kan dat tegenhouden, en zij die dat willen tegenhouden, blijven aan de kant van de weg zitten he. DAT is het principe van de evolutie, en geen kat heeft dat ooit kunnen stoppen.

Akkoord. Het gevaar van AI bevindt zich in de menselijke natuur om competitief te willen zijn. Het militaire is daar een exponent van. Voor de menselijke soort, om te willen overleven, zou je bijgevolg kunnen stellen dat we moeten overgaan tot een maatschappij waarin de vruchten van dergelijke competitie, de winsten laten we het zo formuleren, in de mate van het mogelijke afgeroomd worden.

[Nr.10]

Er is lobby aan de gang om de AI wetgeving van de EU af te zwakken. Enerzijds blijken de verantwoordelijke voor de ontwikkeling van deze technologie een stop te vragen, anderzijds wordt er tegelijke gepleit voor een afzwakking van (mogelijke) regelgeving. Uit het onderstaande blijkt ook een biergigant zich te verzetten tegen de regelgeving.

= = =

De Europese AI-wet dreigt te worden afgezwakt, onder druk van de techlobby

LINK
_{5 dec 2023}

Woensdag vindt een cruciale onderhandelingsronde plaats over AI Act, de
Europese wet om artificiële intelligentie (AI) te reguleren. Achter de schermen
lobbyen AI-bedrijven tegen strenge regels.

Onder grote druk van Frankrijk, Duitsland en Italië dreigt de AI Act, de Europese
wet voor kunstmatige intelligentie, fors te worden afgezwakt. Een lobby van de
Europese AI-bedrijven Mistral (Frans) en Aleph Alpha (Duits) heeft daarbij een
belangrijke rol gespeeld. Dat blijkt uit gesprekken met betrokkenen rond de
onderhandelingen.

De AI Act is wetgeving waarmee Europa de toenemende gevaren van artificiële
intelligentie (AI) een halt wil toeroepen. Deze woensdag vindt er een cruciale
onderhandelingsronde over plaats tussen Europese Commissie, Raad en
Parlement. EU-voorzitter Spanje leidt de onderhandelingen. Het land draagt per
januari het voorzitterschap over aan België en probeert de AI Act nog dit jaar
over de streep te trekken.

Frankrijk, Duitsland en Italië bepleiten sinds vorige maand dat de meest krachtige
AI-modellen (foundational models) niet onder de AI Act hoeven vallen. In plaats
daarvan zouden de bedrijven achter deze modellen – zoals Google, Mistral, Aleph
Alpha en OpenAI, de bedenker van chatbot ChatGPT – worden onderworpen aan
een ‘gedragscode’. In de praktijk betekent dit dat de AI-bedrijven vooral zichzelf
reguleren en Europa geen sancties kan opleggen.

„Je ziet dat de enorme druk van de techlobby deze landen ertoe dwingt zich
publiekelijk uit te spreken tegen reguleren van foundational models”, zegt
Europees parlementslid Kim van Sparrentak (GroenLinks). „Hiermee zetten ze de
hele AI-wet op het spel.”

Economische kans

Sinds chatbot ChatGPT een jaar geleden algemeen beschikbaar werd, hebben
met name Chinese en Amerikaanse techbedrijven miljarden dollars geïnvesteerd in
AI-technologie. Deze bedrijven beschouwen artificiële intelligentie als de
grootste economische kans sinds de opkomst van het internet.

Overheden zien intussen grote risico’s in de nieuwste generatie AI-systemen,
taalmodellen die met grote hoeveelheden data worden getraind. Deze systemen
worden onder meer gebruikt om nepnieuws en deepfake-porno te maken,
stemmen te klonen en cyberaanvallen uit te voeren. Ook dreigen miljoenen banen
verloren te gaan van mensen die nu werk verrichten dat straks een computer
kan doen.

Voor bedrijven die deze technologie ontwikkelen, zijn er nauwelijks regels.
Experts pleiten onder meer voor verplichte veiligheidstesten, onafhankelijk
toezicht en een verbod op stemklonen of deepfake-technologie. De
techbedrijven vrezen dat te strenge regulering leidt tot een rem op innovatie.

Plotseling andere positie

De onderhandelingen over de AI Act lopen al sinds april 2021, toen de Europese
Commissie een eerste voorstel presenteerde. De wet was bijna af, maar bij de
komst van ChatGPT groeide de wens ook deze modellen erin op te nemen.
Daarmee hoopte vooral het Europarlement op een bredere wet die ook nieuwe,
krachtige systemen als GPT van OpenAI kon reguleren.

Afgelopen mei stemde het Europees Parlement over zijn inzet voor de nieuwe
wet, waarbij onder meer verboden werden afgesproken op gezichtsherkenning en
criminaliteits- en fraudevoorspellingen met AI. Makers van foundational models
zouden aan strikte eisen moeten voldoen op het gebied van transparantie van
gebruikte data en veiligheidstesten van hun systemen.

Eind oktober leken de lidstaten, die samen met het Europarlement de definitieve
wet bepalen, de plannen nog te onderschrijven, maar in november veranderde
dat. De Europese nieuwssite Euractiv onthulde dat tijdens een vergadering begin
november Italië, Duitsland en Frankrijk tot frustratie van de andere landen
plotseling een andere positie innamen. De vergadering eindigde twee uur eerder
dan gepland.

Serieuze zorgen

Achter de schermen speelde met name het Franse AI-bedrijf Mistral hierbij een
belangrijke rol. De bemoeienis van dit bedrijf begon vlak voor de zomer, zegt
Bram Vranken van Corporate Europe Observatory, een ngo die lobby-activiteiten
in kaart brengt. Hij deed onderzoek naar de beïnvloeding van de AI Act door Big
Tech.

In juni uitten tientallen Europese topbestuurders van grote bedrijven, zoals
Siemens en Heineken, in een ingezonden brief aan Europese politici hun „serieuze
zorgen” over de AI Act. Zij vreesden „verlies aan concurrentiekracht en
technologische soevereiniteit”. De brief werd mede opgesteld door Cédric O,
mede-oprichter van Mistral en voormalig minister voor Digitale Economie onder de
Franse president Emmanuel Macron.

Een maand later opende Mistral een lobbykantoor in Brussel. En in oktober
ontmoetten Frankrijk, Italië en Duitsland elkaar voor een AI-top in Rome. De
Duitse minister van Economie Robert Habeck, die bekendstaat om zijn goede
contacten met start-ups, sprak zich na afloop van die top uit als een
voorstander van „innovatievriendelijke regulering” van AI.

Jonas Andrulis, topman van het Duitse AI-bedrijf Aleph Alpha, vindt bij de Duitse
minister regelmatig „een luisterend oor”, aldus lobbyspecialist Vranken. Toen
Aleph Alpha in november een nieuwe investeringsronde bekendmaakte, ter
grootte van 500 miljoen dollar, was Habeck daarbij een van de genodigden. Na
afloop noemde hij Aleph Alpha „een ongelofelijk succesverhaal”.

Eurocommissaris Thierry Breton (Interne Markt) zei dinsdag tijdens een overleg
met EU-ministers dat de AI Act is omgeven met „heel veel lobby”, aldus Breton.
„We zijn gewend aan Big Tech, maar we zien nu ook veel kleine bedrijven hard
lobbyen.” Daarbij doelde hij onder meer op Mistral en Aleph Alpha.

Of de techlobby erin is geslaagd de nieuwe EU-wetgeving af te zwakken, zal
waarschijnlijk de komende dagen blijken. „Deze week ligt er veel druk op het
bereiken van een akkoord op de belangrijkste punten”, zegt Europees
Parlementslid Van Sparrentak. „Met een beetje mazzel stemmen we in februari of
maart over de deal.”

[patrickve]

Oorspronkelijk geplaatst door Nr.10

Akkoord. Het gevaar van AI bevindt zich in de menselijke natuur om competitief te willen zijn.

In de natuur van het LEVEN. Het is onmogelijk dat te stoppen. Life finds a way.

[maddox]

En de EU heeft al problemen met een snel dalende algemene intelligentie/kennis.

Met een deftige AI kan dat misschien nog een generatie langer gecamoufleerd worden.

[patrickve]

Oorspronkelijk geplaatst door Nr.10

Voor de menselijke soort, om te willen overleven, zou je bijgevolg kunnen stellen dat we moeten overgaan tot een maatschappij waarin de vruchten van dergelijke competitie, de winsten laten we het zo formuleren, in de mate van het mogelijke afgeroomd worden.

Het doel van het leven is niet van de menselijke soort te laten overleven. Mocht dat zo zijn, dan zouden de oude soorten nog steeds bestaan. Het doel van het leven is nieuwe soorten die oude opruimen, zelfs eigen nakomelingen. Je kan zeggen dat machines onze nakomelingen zijn. Een soort "evolueert' (ttz, verandert in een andere) omdat de nakomelingen de oudere soort elimineert he. De paarden van nu hebben de prehistorische miniatuurpaardjes weggedaan he. Machines (AI) die onze opvolgers zijn, zullen ons ook opruimen. Ik zeg dat al verschillende jaren,maar ik dacht vroeger dat dat nog 100-200 jaar zou duren. Het gaat stukken sneller gaan.