מנכ"ל מיקרוסופט מפרט על סיכוני ה-AI וקורא ל"בלם חירום"

מנכ"ל מיקרוסופט מפרט על סיכוני ה-AI וקורא ל"בלם חירום"

דה פליי (TheFly)11 באוקטובר 2026

ברשת החברתית X, מנכ"ל מיקרוסופט (מיקרוסופט) סאטיה נאדלה כתב: “כאשר מערכות תוכנה מסורתיות נפרסו לאורך הכלכלה בעשורים האחרונים, היו לנו הכלים והיכולת לעקוב אחר התנהגויות לנתיב קוד מסוים. אותו סוג של הבנה מכניסטית אינו נגיש לנו במערכות סופר-אינטליגנציה של היום, גם כאשר מודלי הקצה שמפעילים את המערכות האלה כבר מסוגלים יותר ממערכות תוכנה מסורתיות… לכן הגיע הזמן לעצור לרגע ולהעריך את ארכיטקטורת האמון לעידן החדש הזה… לכן עלינו לתכנן את המערכות האלה סביב עקרונות של נראות: גיוון מודלים: אף מודל אחד לא צריך להפוך לתלות היחידה לתוצאה חשובה או להיות אחראי לאמת את העבודה של עצמו. לתעד הכול: כל פעולה משמעותית של מודל חייבת להשאיר ראיות חסינות מפני שינוי וקריאות לבני אדם… יכולת אימות: אנחנו צריכים לבדוק באופן רציף את כל המערכת, כולל כשלים, מתקפות, מקרי קצה ושינויים במערכת… בקרות עצמאיות: ארגונים צריכים להיות מסוגלים לקבוע באופן עצמאי למה מודל יכול לגשת ואילו פעולות הוא יכול לבצע. יכולת ביקורת עצמאית: האימות חייב להיות בלתי תלוי באינטליגנציה שנבדקת… הכלה: עלינו להניח שמודל נפגע ולבודד אותו כבר מההתחלה. תחשבו על זה כמו על בלם חירום… גילוי תקריות: כאשר המערכות האלה נכשלות או נפגעות, אנחנו צריכים גילוי בזמן לאנשים שהושפעו ומנגנונים לשיתוף של מה השתבש, אילו בקרות כשלו, ואיך למנוע מזה לקרות שוב, ולחלוק את הלקחים עם כל התעשייה.”