מפתחי טכנולוגיה זועמים על Claude Fable 5 המתוקן, וטוענים כי Anthropic 'כלאה' את המודל
- משתמשים וקבוצת הבדיקה BridgeMind טוענים שההשקה מחדש של Claude Fable 5 עם כללי בטיחות מחמירים פגעה משמעותית ביכולות הקידוד, איתור הבאגים והשימוש בכלים, למרות שהלוגיקה הבסיסית של המודל נותרה חזקה.
- Anthropic מגנה על המסננים החדשים בטענה שהם נועדו למנוע פריצות ועוצרים שיטות עקיפה ביותר מ-99% מהמקרים, אך מודה שהם מסמנים גם עבודת קידוד לא מזיקה ופועלת לשפר את המערכת יחד עם אמזון, מיקרוסופט וגוגל.
Anthropic ניצבת מול כעס גובר לאחר ההשקה מחדש של Claude Fable 5 ב-1 ביולי. משתמשים טוענים שכללי הבטיחות המחמירים יותר פגעו ביכולות של המודל הראשי בקידוד, באיתור באגים ובשימוש בכלים. קבוצת הבדיקה BridgeMind זיהתה ירידות חדות בציונים בכל המבחנים שלה. הממצאים מראים שלמרות שהלוגיקה הבסיסית של ה-AI עדיין חזקה, המסננים החדשים שלו חוסמים עבודה אמיתית. לסיכום התסכול, ב-BridgeMind ציינו שכאשר משימה מצליחה לרוץ עד הסוף, המודל עובד בדיוק כמו קודם, והסיקו שהמודל לא הידרדר; הוא פשוט "נכלא".
החיכוך הזה מגיע מיד אחרי עימות מתוח מול הממשל. וושינגטון הורידה את Fable 5 מהאוויר רק שלושה ימים אחרי ההשקה הראשונה שלו ב-9 ביוני, והסירה את מגבלות הסחר רק ב-30 ביוני. בעוד שחובבי טכנולוגיה שמחים שהגישה חזרה, חומות הבטיחות החדשות והמחמירות הופכות את ה-AI לקשה הרבה יותר לשימוש בעבודות קידוד יומיומיות.
המסננים של Anthropic מורידים את ציוני הקידוד של Claude
כללי הבטיחות החדשים גרמו לירידה חדה בציונים עצמאיים. מדובר בציונים שמגיעים מקבוצות בדיקה חיצוניות, כלומר מארגונים נפרדים לחלוטין מ-Anthropic, שמעבירים את ה-AI של Anthropic מבחנים סטנדרטיים כדי לבדוק עד כמה הוא באמת עובד טוב.
במקרה הזה, המבחנים מדדו עד כמה Claude טוב בזיהוי שגיאות בקוד תוכנה (debugging) ובשכתוב קוד כדי להפוך אותו לנקי יותר (תיקון קוד). ציון גבוה יותר אומר שה-AI השלים את המשימה בהצלחה בכוחות עצמו. BridgeMind הריצה מחדש את המבחנים האלה על גרסת 1 ביולי החדשה של Fable 5, וראתה שהמספרים צנחו לחלוטין. ציוני איתור הבאגים ירדו מציון גבוה של 86.2 ל-25.9, שנחשב לכישלון, בעוד שציוני תיקון הקוד ירדו מ-73.6 ל-38.4.
Anthropic מגנה על הכללים המחמירים יותר כדי לעצור פריצות
Anthropic עומדת מאחורי בחירות הבטיחות החדשות שלה, ומסבירה שהיא הרחיבה בכוונה את רשת האבטחה שלה בצורה משמעותית. המשמעות היא שהמסננים של ה-AI חוסמים באופן פעיל גם פקודות שסביר שהן בטוחות לחלוטין, רק כדי לוודא ששום דבר מזיק לא יחמוק פנימה. לפי חוקרים באמזון (אמזון), המסנן המשודרג הזה עוצר שיטות עקיפה נפוצות ביותר מ-99% מהניסיונות.
למרות ש-Anthropic מודה שהמסנן החדש מסמן הרבה עבודת קידוד אמיתית ולא מזיקה, היא מציינת שהבדיקות שלה עצמה הראו ש-Fable 5 לא מציב סכנות מיוחדות. למעשה, מודלים מתחרים כמו GPT-5.5 של OpenAI ו-Kimi K2.7 סימנו בדיוק את אותן נקודות חולשה. גם חוקרים ממשלתיים ממשרד המסחר האמריקאי בדקו את מערכות הבטיחות החדשות וקראו להגנות חזקות בצורה יוצאת דופן. Anthropic עובדת כעת יחד עם אמזון, מיקרוסופט (מיקרוסופט), וגוגל (גוגל) כדי לבנות מערכת טובה יותר למעקב אחר פריצות, אבל היא צריכה לתקן במהירות את אזעקות השווא האלה לפני שמשתמשים כבדים יחליטו לעבור לאפשרויות אחרות.