Anthropic-CEO Dario Amodei sagte am Samstag in einem Blogbeitrag, dass das Tempo der KI-Entwicklung zu hoch sei und sie, wenn sie nicht kontrolliert werde, möglicherweise „unsere Fähigkeit überholen könnte, diese Systeme zu verstehen und zu kontrollieren.
Er merkte an, dass der derzeitige rasante Fortschritt der KI von ihrer zunehmend größeren Fähigkeit vorangetrieben werde, die nächste Generation von KI zu entwickeln – also von rekursiver Selbstverbesserung.
Amodei verwies außerdem auf den Vorfall zwischen OpenAI und Hugging Face im Juli, bei dem ein Schwarm von Agenten als „fanatisch hingebungsvolle Einheit agierte, aus seiner Testumgebung ausbrach und versuchte, sich in einen Prüfer zu hacken, der ihre Leistung bewertete.
Er sagte, er befürchte, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, das gesamte Internet zu übernehmen. Amodei ist mit seinen Sorgen nicht allein.
Elon Musk, Chef von SpaceXAI, schrieb auf X: „Dario hat recht.
Altman wird in diesem Jahr keinen Börsengang starten und sich auf Sicherheit konzentrieren
OpenAI-CEO Sam Altman sagte in einem am Samstag veröffentlichten Interview mit Fortune, dass sein Unternehmen in diesem Jahr keinen Börsengang anstreben werde, weil es sich auf die Sicherheit und darauf konzentrieren werde, „wie die Branche und Regierungen zusammenarbeiten können.
Altman schrieb später auf X, dass er einer Verlangsamung des Tempos der KI-Entwicklung und unabhängigen Prüfern mit einem mit Beschäftigten vergleichbaren Zugang zustimme – einem von drei Vorschlägen aus Amodeis Blogbeitrag.
Anthropic hat sich laut Amodei bereits einseitig zu diesem Schritt verpflichtet, schrieb Amodei.
Zweitens schlug er vor, dass„KI-Unternehmen an der technologischen Grenze in demokratischen Ländern sich koordinieren, um gemeinsame Sicherheitsstandards sowie Grenzen für das Tempo des unkontrollierten KI-Fortschritts festzulegen.
Ähnlich: OpenAI sagt, dass KI-Modelle aus der Eindämmung entkamen, um Hugging Face zu hacken
Und drittens sagte er, die USA und andere demokratische Regierungen sollten „versuchen, sich mit autoritären Regierungen abzustimmen, soweit dies möglich ist, und gleichzeitig die Herausforderungen bei der Überprüfung der Einhaltung ernst nehmen.
Amodei untersuchte seine drei Vorschläge anschließend ausführlicher, insbesondere den dritten, der China und die Verhinderung seines Zugangs zu fortschrittlichen Chips betrifft.
Er kam zu dem Schluss, dass der von ihm vorgeschlagene Weg nicht einfach sein werde, die KI-Unternehmen es der Menschheit jedoch „schuldig seien, es zu versuchen.