שרון דהן מאימפאלה - Why your LLM costs so much?
Artikelen konden niet worden toegevoegd
Sorry, we kunnen dit artikel niet toevoegen omdat je winkelwagen vol is.
De titel kon niet aan je winkelwagen worden toegevoegd.
Probeer het later opnieuw
De titel kon niet aan je verlanglijst worden toegevoegd.
Probeer het later opnieuw
“Uit verlanglijst verwijderen” mislukt.
Probeer het later opnieuw
“Podcast volgen” mislukt
“Podcast niet meer volgen” mislukt
שרון דהן מאימפאלה - Why your LLM costs so much?
-
Verteld door:
-
Van:
הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו
לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetup
כולם רצים למודלים הגדולים והחזקים ביותר. אבל מה אם זו דווקא הדרך הכי יקרה — ולא בהכרח הכי טובה — לבנות מוצר AI?
בפרק הזה אנחנו מארחים את שרון דהן, Chief Architect ב getimpala.ai, ונכנסים למה שבאמת קורה מאחורי כל קריאת API ל-LLM: למה inference עולה כל כך הרבה, איך GPU ו-KV Cache משפיעים על החשבון, ולמה ניהול קונטקסט נכון יכול להיות חשוב יותר מגודל המודל.
דיברנו על איך לפרק משימות כדי לגרום למודלים קטנים לעבוד טוב יותר, איך שינוי בשאלה בלבד יכול לשפר משמעותית את התוצאות, למה מודלים סיניים משנים את כלכלת ה-AI — ומה קורה כש-Agents מתחילים לדבר אחד עם השני ומפסיקים את יום העבודה של בני האדם.
פרק על מודלים, כסף, Context Engineering והדרך לבנות AI שעובד גם בסקייל — בלי לשרוף את התקציב
adbl_web_anon_alc_button_suppression_t1
Nog geen reviews beschikbaar