Send us a text

Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überfordern, zerlegt ein Orchestrator-LLM Aufgaben intelligent in Häppchen. Die Ergebnisse sind verblüffend: Von 0% auf über 90% Genauigkeit bei 6 Millionen Token-Kontext:

Recursive Language Models: https://arxiv.org/abs/2512.24601

Support the show

Send us a text

KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftige Modelle?

Link zu unserem RedTeaming Game: https://sphinx.coairesearch.net

Support the show

Send us a text

Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur AGI sein könnten.

Support the show

Send us a text

Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten?

Support the show

Send us a text

In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs.

Support the show

Send us a text

In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten.

Support the show

Send us a text

Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet.

Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie!

Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936

Support the show

Send us a text

Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.

AI Transparency Days: www.edif.ai/events

Paper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938

Support the show