F5 ו- Nvidia מוסיפות כלים חדשים להאצת Inference של בינה מלאכותית
. F5 (FFIV) הודיעו על הרחבת היכולות במסגרת שיתוף הפעולה המתמשך שלהן עם Nvidia (NVDA), במטרה להאיץ ולשפר את תשתית ה-AI inference (חומרה ותוכנה המשמשות להרצת מודלי בינה מלאכותית בסביבת פרודקשן). האינטגרציה המורחבת משלבת את F5 BIG-IP Next for Kubernetes (תוכנה לניהול ושליטה על אפליקציות הרצות בקונטיינרים) עם Nvidia BlueField-3 DPU (יחידות עיבוד נתונים, שבבים ייעודיים המטפלים בתעבורת נתונים ובמשימות אבטחה). ביחד, הם יוצרים שכבת תשתית חכמה המשתמשת ב-telemetry (נתוני ביצועים ושימוש במערכת) על מנת:. – להגדיל את קצבי ה-token throughput (מספר יחידות הטקסט או הנתונים שמודלי ה-AI מייצרים ומעבדים בשנייה) באמצעות ניצול טוב יותר של ה-GPU,. – להפחית latency (השהיה עד לעיבוד הנתונים או חזרת התגובה),. – ולאפשר פלטפורמות AI מרובות-דיירים בטוחות ובהיקף גדול (המאפשרות ללקוחות רבים לחלוק בבטחה את אותה תשתית AI).