Send us a text

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für unsere Zukunft spielt.

Support the show

Send us a text

In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle.

Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind.

Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte.

Link zum Paper: https://arxiv.org/abs/2502.08640

Support the show

Send us a text

In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können.

Support the show

Send us a text

Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt.

Support the show

Send us a text

In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert.

Tina: Tiny Reasoning Models via LORA: https://arxiv.org/abs/2504.15777

Support the show

Send us a text

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern.

Sleep time Compute: https://arxiv.org/abs/2504.13171

Support the show

Send us a text

In dieser Folge von Knowledge Science enthüllen Sigurd Schacht und Carsten Lanquillon, wie synthetisches Document Feintuning die „Überzeugungen“ von KI-Modellen verändert. Vom Löschen schädlichen Wissens bis zur Manipulation von Fakten diskutieren sie Chancen, technische Fallstricke und die brisante Frage: Darf man KI umerziehen, und wenn ja, wer kontrolliert es? Ein Must-Listen für alle, die verstehen wollen, wie flexibel – und fragil – moderne KI wirklich ist.

Basis dieser Diskussion ist der spannende Blogbeitrag von: https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/

Bitte beachten Sie auch unseren KI generierten Podcast der Montag bis Freitag in 5 minuten neue KI Meldungen zusammenfasst:

Spotify: https://open.spotify.com/show/539yw3KWHsf5oke4a2PBOZ

Apple: https://podcasts.apple.com/de/podcast/knowledge-science-pulse/id1810890448

Support the show

Send us a text

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424

Support the show