Send us a text

In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle.

Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind.

Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte.

Link zum Paper: https://arxiv.org/abs/2502.08640

Support the show

Send us a text

In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können.

Support the show

Send us a text

Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt.

Support the show