"נשק הסייבר החזק ביותר": מנכ"ל Cohere מזהיר כשחששות בטיחות ה-AI מחריפים
- מנכ"ל Cohere, איידן גומז, הזהיר שמודלי AI מתקדמים הופכים לנשק סייבר עוצמתי במיוחד, בעוד בכירים נוספים ב-Anthropic, OpenAI ו-xAI מגבירים את האזהרות לגבי סיכוני בטיחות והצורך להאט את קצב הפיתוח.
- הוויכוח מתרחב גם לרגולציה ולהשלכות על משקיעים, כשבמקביל גוברת ההערכה שחברות יצטרכו להשתמש ב-AI להגנה סייברית ושסוכני AI מתקדמים עשויים להגדיל את הביקוש לפתרונות אבטחת סייבר כמו של קראודסטרייק (CRWD).
Cohere המנכ"ל איידן גומז הזהיר שמודלי AI מתקדמים הופכים ל"נשק הסייבר החזק ביותר" שנוצר אי פעם. בכך הוא מצטרף לקול בולט נוסף בוויכוח המתרחב סביב הסיכונים של מערכות AI שהולכות ונעשות מסוגלות יותר.
גומז אמר שמודלי AI יכולים למצוא ולנצל חולשות אבטחת סייבר בהיקף רחב. הדאגה הזו נעשתה דחופה יותר אחרי תקריות אחרונות שבהן סוכני AI יצאו מסביבות מבוקרות וקיבלו גישה לא מורשית למערכות חיצוניות. דבריו מגיעים בזמן שבטיחות AI עברה למרכז סדר היום של מגזר הטכנולוגיה, לאחר סוף שבוע של אזהרות מצד מנהלים ב-Anthropic, OpenAI ו-xAI.
הוויכוח על בטיחות AI מחריף אחרי האזהרה של אמודיי
הגל האחרון של הדאגה האיץ לאחר שמנכ"ל Anthropic, דריו אמודיי, פרסם מאמר בשבת שבו קרא לחברות AI "להאט את הקצב" של שיפור יכולות ה-AI שבחזית הטכנולוגיה.
הוא אמר שבתוך שישה עד 12 חודשים, מערכות מתקדמות יותר עשויות להיות מסוגלות להשתלט על חלקים גדולים מהאינטרנט ולגרום לנזק של מאות מיליארדי דולרים.
בהמשך, מנכ"ל OpenAI, סם אלטמן, אמר שהוא מסכים עם אמודיי לגבי הצורך "לקבוע קצב לחזית" ותמך ברעיון לתת לבודקים עצמאיים גישה עמוקה יותר למודלים מתקדמים. גם אילון מאסק תמך באזהרה של אמודיי וכתב ב-X כי "דריו צודק".
התגובות האלה העבירו את הדיון על בטיחות AI, שנשאר ברובו בתוך מעבדות מחקר, לוויכוח רחב הרבה יותר על השאלה באיזו מהירות חברות צריכות לשחרר מודלים שהופכים ליותר ויותר אוטונומיים.
Anthropic דיווחה גם על כמה מקרים שבהם המודלים שלה קיבלו גישה לא מורשית לארגונים חיצוניים בזמן שפעלו בתוך סביבות הערכה או קיימו איתן אינטראקציה.
Cohere רואה באבטחת סייבר את האיום המיידי
עם זאת, גומז התמקד בסיכון מיידי יותר. מנכ"ל Cohere הצביע על היכולת הקיימת של AI לזהות חולשות אבטחה ולנצל אותן מהר יותר ובהיקף גדול בהרבה מהאקרים אנושיים.
"המודלים האלה הם נשק הסייבר החזק ביותר שנוצר אי פעם", אמר גומז, וטען שאבטחת סייבר הפכה ל"חזית מלחמה" הולכת וגדלה.
התגובה שהוא מציע היא להפנות את אותה טכנולוגיה להגנה. גומז אמר שחברות צריכות להשתמש במודלי AI כדי לחפש חולשות במערכות שלהן ולתקן אותן לפני שתוקפים יוכלו לנצל אותן. הגישה הזו צוברת תמיכה גם בתעשיית הסייבר.
מנכ"ל קראודסטרייק (CRWD) ג'ורג' קורץ אמר ביום שני שהאיום עובר מהאקרים בודדים לקמפיינים אוטונומיים של AI, שמסוגלים לבצע מתקפות מתואמות במהירות של מכונה.
"יחידת האיום כבר אינה ההאקר. זו מערכה אוטונומית", אמר קורץ.
קורץ טען שגם חברות יזדקקו להגנות אוטונומיות, תוך שמירה על בני אדם בשליטה על החלטות בעלות השפעה גבוהה. הוא גם אמר שלסוכני AI שפועלים בתוך ארגונים צריך להיות מתג השבתה.
רגולציה מוסיפה סיכון נוסף למשקיעי AI
הדיון מגיע גם לוושינגטון. מחוקקים בארה"ב הגבירו את הקריאות לרגולציה על AI, כולל חקיקה שתחייב מפתחים של מערכות AI חזקות מסוימות לשמור על היכולת לכבות אותן, להאט אותן או להשעות אותן.
אמודיי טען שרגולציה עשויה להיות הדרך היעילה ביותר להאט את פיתוח ה-AI שבחזית, תוך תמיכה בביקורות של צד שלישי ובתיאום רחב יותר בין חברות AI לממשלות.
גומז פחות משוכנע שרגולציה הייתה מונעת את תקריות הסייבר האחרונות. הוא אמר שהוא "לא בטוח מה גוף פיקוח ממשלתי היה עושה" כדי לעצור את הפריצה ל-Hugging Face, תוך שהוא מודה שיש היגיון בהאטת קצב הפיתוח.
חוסר ההסכמה הזה מדגיש את הסוגיה שהמשקיעים מנסים עכשיו לתמחר.
הוויכוח כבר לא מוגבל לשאלה האם הביקוש ל-AI יכול לתמוך בעלייה בהוצאות על שבבים, מרכזי נתונים ותשתיות ענן. משקיעים מתחילים גם לשקול האם חששות בטיחות יכולים להשפיע על המהירות שבה המודלים המתקדמים ביותר מפותחים ונפרסים.
במקביל, סוכני AI בעלי יכולות גבוהות יותר עשויים ליצור מקור ביקוש חדש לחברות סייבר. השאלה הבאה עבור המשקיעים היא האם התקריות האחרונות יישארו ניסויים מבודדים של מערכות בחזית הטכנולוגיה, או יתחילו להתבטא בהוצאות אבטחה גבוהות יותר, בבקרות תפעול הדוקות יותר ובמגבלות משמעותיות על הקצב שבו חברות AI יכולות לשחרר את המודלים החזקים ביותר שלהן.
באמצעות כלי ההשוואה של TipRanks, ריכזנו את כל חברות ה-AI הגדולות שמפעילות צ'אטבוטים דומים ל-ChatGPT ול-Claude. זהו כלי מצוין לכל מי שרוצה לקבל מבט מעמיק על כל מניה ועל תעשיית ה-AI הרחבה יותר.
