אימון מול הסקה
- אימון (Training): בניית מודל, תהליך שדורש כוח מחשוב עצום, אבל מתבצע פעם אחת או מדי פעם.
- הסקה (Inference): שימוש במודל כדי לענות לבקשות. זה קורה בכל פעם שמשתמש שואל שאלה, ולכן ככל שיש יותר משתמשים, ההסקה הופכת לחלק גדול יותר מהביקוש לשבבים.
גוגל: Ironwood
לפי הבלוג של גוגל, ב-9 באפריל 2025 חשפה החברה את Ironwood, דור ה-TPU (Tensor Processing Unit) השביעי שלה:
- ייעוד: ה-TPU הראשון של גוגל שתוכנן במיוחד להסקה.
- היקף: עד 9,216 שבבים בקירור נוזלי, עם 42.5 אקסה-פלופס של כוח חישוב.
- זיכרון: 192GB לשבב, פי 6 מהדור הקודם, ורוחב פס של 7.37TB לשנייה.
- יעילות אנרגטית: פי 2 מהדור הקודם (Trillium).
אפל: AI על המכשיר
לפי צוות למידת המכונה של אפל, ב-WWDC 2025 הציגה החברה דור חדש של מודלי Apple Intelligence:
- מודל על המכשיר: כ-3 מיליארד פרמטרים, שעבר אופטימיזציה לשבבי Apple Silicon.
- מודל שרת: רץ בתשתית Private Cloud Compute של אפל.
- מפתחים: גישה ישירה למודל דרך Foundation Models framework.
הרצה על המכשיר חוסכת קריאה לענן לחלק מהבקשות, ולכן מקטינה את הצורך בשבבים במרכזי נתונים עבור המשימות האלה.
מה זה אומר לאנבידיה
- תחרות מבית: גוגל מפתחת שבבים משלה, ולכן חלק מהביקוש שלה לא עובר לאנבידיה.
- שוק גדל: במקביל, ככל שיותר אנשים משתמשים ב-AI, השוק כולו גדל, וגם אנבידיה מוכרת שבבים להסקה.
- השאלה למשקיעים: לא "מי מנצח", אלא איזה חלק מהשוק הגדל יישאר אצל יצרנית ה-GPU, ואיזה חלק יעבור לשבבים ייעודיים.
המידע בכתבה מבוסס על הבלוג של גוגל ועל אתר המחקר של אפל ונועד ללמידה בלבד. הוא אינו ייעוץ השקעות.
