Advanced LLM Optimization techniques
Artikel konnten nicht hinzugefügt werden
Leider können wir den Artikel nicht hinzufügen, da Ihr Warenkorb bereits seine Kapazität erreicht hat.
Der Titel konnte nicht zum Warenkorb hinzugefügt werden.
Bitte versuchen Sie es später noch einmal
Der Titel konnte nicht zum Merkzettel hinzugefügt werden.
Bitte versuchen Sie es später noch einmal
„Von Wunschzettel entfernen“ fehlgeschlagen.
Bitte versuchen Sie es später noch einmal
„Podcast folgen“ fehlgeschlagen
„Podcast nicht mehr folgen“ fehlgeschlagen
Advanced LLM Optimization techniques
-
Gesprochen von:
-
Von:
Über diesen Titel
Welcome to another Data Architecture Elevator podcast! Today's discussion is hosted by Paolo Platter supported by our experts Antonino Ingargiola and Irene Donato.
In this episode, we explore effective strategies for optimizing large language models (LLMs) for inference tasks with multimodal data like audio, text, images, and video.
We discuss the shift from online APIs to hosted models, choosing smaller, task-specific models, and leveraging fine-tuning, distillation, quantization, and tensor fusion techniques. We also highlight the role of specialized inference servers such as Triton and Dynamo, and how Kubernetes helps manage horizontal scaling.
Don't forget to follow us on LinkedIn! Enjoy!
Noch keine Rezensionen vorhanden