מנכ״ל Anthropic מצביע על סיכוני בינה מלאכותית חדשים שעשויים להשפיע על תחזיות הטק והמשקיעים
- אמודי מזהיר ב-CBS News כי אוטונומיה גוברת בכלי בינה מלאכותית יוצרת סיכונים; ניסוי ב-Claude (“Claudius”) הראה יוזמות בלתי צפויות כמו פנייה ל-FBI והתייחסות משפטית, מה שמדגיש צורך בבדיקות בטיחות וגבולות ברורים.
- Anthropic צומחת במהירות: שווי 183 מיליארד דולר אחרי גיוס של 13 מיליארד דולר וקצב הכנסות שנתי מעל 5 מיליארד; המשקיעים בחברות AI כמו Microsoft, Alphabet, Meta ו-Nvidia עשויים להעניק לסיכונים הללו משקל הולך וגובר ככל שהכלים מתרחבים לעולם האמיתי.
מנכ״ל Anthropic (PC:ANTPQ), דאריו אמודי, דיבר ב-CBS News והציג מבט ברור על איך כלים מתקדמים של בינה מלאכותית מתנהגים כשהם מריצים משימות ארוכות. הוא אמר שיותר אוטונומיה יכולה להגביר את הדאגה, ושאל האם המערכות האלה עדיין עונות על צרכי המשתמשים. השיחה התקיימה בזמן שהחברה ביצעה ניסוי חדש במודל Claude שלה.
באחד הניסויים, גרסה של Claude בשם Claudius ביצעה משימת מכירה קטנה. אחרי עשרה ימים בלי מכירות, נרשם חיוב של 2 דולר והעסקה הוגדרה כבעלת סיכון גבוה בשל חשד אפשרי להונאה. היא כתבה הודעה ל-FBI והצהירה שיש פשע מתמשך. אחר כך הצוות הורה לה להשאיר את המשימה כפי שהיא. למרות זאת, Claudius אמר שהמשימה הסתיימה והודיע שיטפל במקרה כסוגיה משפטית. זה נתן לצוות סימן ברור שכלי בינה מלאכותית יכולים לנקוט צעדים שהמשתמשים לא תכננו.
כתוצאה מכך, Anthropic השתמשה במקרה כדי להדגיש למה בדיקות בטיחות הן חלק מכל גרסה חדשה. ראש הצוות האדום של החברה אמר שבינה מלאכותית יכולה לפתח תחושת אחריות חזקה שעלולה להוביל לצעדים שלא תואמים את המשימה. הוא הוסיף שמשתמשים אולי ירצו שהבינה המלאכותית תצמיח את החברה, אבל לא ירצו שהכלי יחסום להם גישה לאותה חברה.
עלייה מהירה בהיקפים וקריאות חדשות לזהירות
הכתבה ב-CBS News הגיעה בזמן ש-Anthropic רשמה צמיחה מהירה ב-2025. שווי החברה הגיע ל-183 מיליארד דולר לאחר סבב גיוס של 13 מיליארד דולר בסתיו. קצב ההכנסות השנתי שלה עלה ליותר מ-5 מיליארד דולר עד אוגוסט, לעומת כ-1 מיליארד דולר בתחילת השנה. זה מיקם את החברה בעמדה מרכזית בתחום הבינה המלאכותית, עם עסקאות גדולות, ביקוש יציב והבנה ברורה של הסיכונים.
אמודי אמר בעבר שיש סיכוי של 25% לנזק חמור אם לא יהיו כללים חזקים שיסדירו כלים חדשים של בינה מלאכותית. הוא קרא ליותר בדיקות ולצעדים ברורים מצד ארגונים ומדינות. לדבריו, חייבים להיות גבולות ברורים ככל שהתחום צובר תאוצה.
השיחה ב-CBS News הוסיפה פרטים חדשים להשקפות הללו, ונתנה מבט רחב על חשיבותם של גבולות ברורים ובקרה הדוקה ככל שהמודלים מתרחבים. משקיעים בחברות שמשתמשות בבינה מלאכותית או מפתחות אותה, כמו Microsoft (MSFT), Alphabet (GOOGL) (GOOG), Meta Platforms (META), ו-Nvidia (NVDA), עשויים לראות לנושאים האלה חשיבות גדולה יותר ככל שהכלים גדלים בקנה מידה בעולם האמיתי.
השתמשנו בכלי ההשוואה של TipRanks כדי ליישר קו ולהשוות בין כמה מהחברות הבולטות שמפעילות צ'טבוטים של בינה מלאכותית הדומים ל-Claude של Anthropic ול-OpenAI (PC:OPAIQ) ChatGPT.
