מהנדסי AI, כדאי שתכירו: זיכרון, מהירות ועלות

בפרק החדש של הייטק וחרדים דיברנו עם צבי אמולסקי על הצד שפחות רואים מאחורי מודלי AI: ביצועים, עלויות, חומרה, והמקצועות החדשים שנולדים סביבם.

כמה נקודות מעניינות מהשיחה:
המגבלה הגדולה של מודלי AI כבר לא נמצאת רק בכוח החישוב — אלא גם בתקשורת בין מעבדים, בזיכרון ובניהול עומסים.
כל מוצר AI הוא פשרה בין ארבעה דברים: איכות התשובה, מהירות, עלות וקיבולת. אי אפשר למקסם את כולם בו־זמנית.
GPU שלא עובד הוא משאב יקר במיוחד — ולכן הדרך שבה מאמנים ומריצים מודלים הופכת להחלטה עסקית, לא רק טכנולוגית.
Quantization מאפשרת לצמצם מודלים עצומים, לוותר על חלק מהדיוק, ולהריץ יכולות AI מתקדמות על חומרה נגישה יותר.
העתיד לא בהכרח שייך רק למודלים קטנים וממוקדים: לפעמים עדיף לקחת מודל גדול וחכם, לכווץ אותו, ולקבל ממנו גמישות רחבה גם בסביבה מקומית.
ככל שיותר יכולות עוברות למכשירים עצמם — מחשבים, טלפונים, מצלמות ומערכות סגורות — מקבלים פחות עלויות ענן, פחות תלות ברשת ויותר פרטיות.
לצד AI Engineering ו-MLOps, מתחיל לבלוט תחום חדש: AI Performance Engineering — אנשים שמחליטים איך לאמן, לארח ולייעל מודלים כך שיעמדו ביעדים אמיתיים של מוצר ועסק.
השורה התחתונה: לא מספיק לדעת “להשתמש ב-AI”. ככל שהטכנולוגיה נכנסת עמוק יותר למוצרים, מי שיבין ביצועים, תשתיות והפשרות הנכונות — יהיה בעמדה משמעותית יותר.

האזנה נעימה