Anthropic erklärte, Accenture als ersten eingebetteten Evaluator ausgewählt zu haben, um dazu beizutragen, das Tempo der KI-Entwicklung zu verlangsamen, wie CEO Dario Amodei in der vergangenen Woche vorgeschlagen hatte.
Amodei veröffentlichte am 12. September einen dreistufigen Vorschlag, um die Entwicklung von KI zu verlangsamen und die Einführung von Schutzmaßnahmen zu ermöglichen – vor dem Hintergrund von Warnungen vor potenziell katastrophalen Schäden infolge der raschen, unkontrollierten Entwicklung.
OpenAI-CEO Sam Altman und SpaceX-CEO Elon Musk reagierten positiv auf Amodeis Vorschlag, Nvidia-CEO Jensen Huang hingegen nicht. Er argumentierte, eine solche Regulierung sei nicht notwendig.
Dennoch schrieb Amodei in seinem Vorschlag: „KI hat sich drastisch schneller weiterentwickelt, vorangetrieben vor allem durch die wachsende Fähigkeit von KI, die nächste Generation von KI zu entwickeln. Diese Dynamik wird rekursive Selbstverbesserung genannt“, und: „Wenn sie unkontrolliert bleibt, könnte sie unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren.”
Verwandt: Anthropic-Chef fordert Verlangsamung der KI-Entwicklung auf ein sichereres Tempo
Der erste Schritt in Amodeis Vorschlag besteht laut ihm darin, unabhängige Evaluatoren mit einem mit Mitarbeitenden vergleichbaren Zugang einzusetzen; dazu hatte sich Anthropic bereits einseitig verpflichtet.
Anthropic kündigte am Freitag einen Schritt zur Erfüllung dieser Verpflichtung an: Das Unternehmen arbeitet mit Accenture und dessen KI-Geschäft Faculty zusammen, um „Modelle zu evaluieren und Red-Teaming durchzuführen, Alignment-Bewertungen vorzunehmen und Schutzmaßnahmen der Modelle zu testen.
Wie dies geschehen soll, wird noch ausgearbeitet, da eingebettete Evaluierung ein neues Konzept ist, erklärte das Unternehmen.
Anthropic und Accenture erwarten der Mitteilung zufolge, in den kommenden fünf Jahren jeweils mindestens 1 Milliarde US-Dollar in das Projekt zu investieren.
Anthropic wird die Arbeit angesichts der Dringlichkeit direkt finanzieren
Anthropic wies darauf hin, dass es zudem kein bestehendes System zur Finanzierung unabhängiger Evaluierung gibt. Die langfristige Finanzierung sollte daher aus gebündelten oder staatlichen Quellen kommen; angesichts der Dringlichkeit der Arbeit wird Anthropic die Arbeit von Accenture jedoch direkt finanzieren.
Die Partnerschaft ist nicht exklusiv. Anthropic erwartet, in den kommenden Wochen weitere Evaluatoren anzukündigen, mit denen das Unternehmen ebenfalls zusammenarbeiten wird.
Faculty von Accenture ist auf das Testen und Evaluieren von Modellen für einige der weltweit führenden KI-Labore sowie auf den Aufbau komplexer KI-Systeme spezialisiert, die von Grund auf sicher und ethisch konzipiert sind, erklärte das Unternehmen am Freitag.
„Eingebettete Evaluierung ist ein aufstrebender Bereich. Wir freuen uns darauf, mit Anthropic zusammenzuarbeiten, um die Entwicklung eingebetteter Evaluatoren zu beschleunigen, die unserer Ansicht nach künftig ein wichtiger Bestandteil der Sicherheitslandschaft sein werden, sagte Julie Sweet, Chair und CEO von Accenture.