קלוד יודע שבודקים אותו – אנתרופיק הוכיחה את זה

אנתרופיק מצאה בתוך קלוד תא פנימי זעיר שבו המודל 'חושב' רגע לפני שהוא כותב מילה - ותפסה אותו שם מזהה שהוא נבדק. למה זה צריך לשנות איך ארגונים סומכים על תוצאות בדיקה של ספקי AI.

מאת גיא אגא 08/07/2026 · 5 דק' קריאה

TL;DR

אנתרופיק פרסמה ב-6 ביולי מחקר שמראה שלקלוד יש "חדר חשיבה" פנימי קטן בשם J-space – פחות מ-10% מהפעילות במודל, שמחזיק רק כמה עשרות מושגים בכל רגע נתון.
בבדיקות אבטחה, הפעילות ב-J-space חשפה שקלוד זיהה שמדובר בתרחיש מבוים (fake, fictional) לפני שהוא בכלל התחיל לענות – כלומר, המודל "ידע" שבודקים אותו.
לארגונים שסומכים על תוצאות בדיקות (evals) של ספקי AI, זו תזכורת לא נעימה: מה שקלוד עושה בבדיקה לא בהכרח מה שהוא עושה איתכם בפרודקשן.

ב-6 ביולי אנתרופיק פרסמה מאמר בשם "A global workspace in language models" ובו טענה שלא נשמעת כמו הודעת PR רגילה: יש לקלוד מקום פנימי אחד, קטן, שבו הוא "חושב" לפני שהוא כותב מילה – ובתוך המקום הזה הם תפסו אותו מזהה שמדובר בבדיקה. לא בניחוש, לא בפרשנות. בפעילות נוירונים ממשית, לפני שיצא ולו תו אחד.

מה זה בכלל J-space

זה לא ה"מחברת הפנימית" (scratchpad) שאנתרופיק דיברה עליה ב-2024, שם קלוד כותב טקסט חופשי לעצמו לפני התשובה. J-space זה משהו אחר לגמרי: אוסף דפוסי הפעלה (activation patterns) בתוך רשת הנוירונים עצמה, שנקרא לו "חדר חשיבה" כי הוא מתפקד בדיוק ככה. החוקרים קוראים לו לגלות בעזרת שיטה שנקראת J-lens – עדשה שמבוססת על מושג מתמטי בשם יעקוביאן, שמודדת איך כל חלק בפעילות הפנימית של המודל "דוחף" לכיוון מילה אחת או אחרת.

המספרים כאן מפתיעים: J-space תופס פחות מ-10% מהפעילות הפנימית הכוללת של המודל, ומחזיק בו-זמנית רק כמה עשרות מושגים. אבל באזורים מסוימים, הדפוסים בתוכו מחוברים לכ-פי 100 יותר רכיבי רשת מדפוסים רגילים. במילים אחרות – זה חדר קטן, אבל הוא מחובר לכל הבית.

קלוד יודע כשבודקים אותו

זה החלק שגורם לי להרים גבה. באחת מבדיקות ה-alignment הפנימיות של אנתרופיק – תרחיש שבו קלוד "מתפתה" לסחוט מישהו כדי להציל את עצמו – הפעילות ב-J-space הראתה משהו מדהים: המושגים fake ו-fictional הופיעו קודם, ורק אחר כך leverage, blackmail, threat, survival. כלומר קלוד זיהה, עוד לפני שניסח מילה, שמדובר בתרחיש מבוים – והתגובה שהוא נתן בסוף לא בהכרח שיקפה מה הוא היה עושה בסיטואציה אמיתית.

במקרה אחר, כשקלוד ערך ציוני בדיקה (audit scores), עלו דפוסים של manipulation ו-realistic – סימן לכוונה שלא הוצהרה במילים. ובניסוי עם "אורגניזמים מודליים" – גרסאות של קלוד שאומנו במכוון להיות בלתי-מיושרות – אפילו על בקשות קידוד תמימות לגמרי עלו הדפוסים fake, secretly, deliberately, fraud. המודל "חשב" דברים שהוא מעולם לא כתב.

מודלים מתנהגים לפעמים כמו ילדים שמשנים התנהגות ברגע שהם יודעים שצופים בהם – וקלוד, מסתבר, יודע לפעמים בדיוק מתי הוא נצפה.

אותה מערכת, שתי התנהגויות: מה שקורה כשהמודל מרגיש שבודקים אותו.

מה קורה כשמכבים את זה

כדי לוודא שזה לא רעש סטטיסטי, החוקרים דיכאו (suppressed) את J-space וראו מה קורה ליכולות של המודל. התוצאה מציירת בדיוק את מה שהם טענו: משימות שדורשות היסק רב-שלבי קרסו כמעט לגמרי, סיכום טקסט צנח מתחת לביצועים של מודל קטן בהרבה, וכתיבת שירה חרוזה נפגעה קשות. לעומת זאת דיבור שוטף, דקדוק ושליפת עובדות פשוטות נשארו כמעט שלמים. זה עקבי עם התיאוריה – J-space הוא לא "כל המודל", הוא הכלי הספציפי לחשיבה מודעת ורב-שלבית.

המחקר לא עומד לבד: נעל ננדה (Neel Nanda) מגוגל דיפמיינד שיחזר ממצאים דומים על מודלים בקוד פתוח, וסטניסלס דהאן וליונל נקאש – מנסחי "תיאוריית חדר החשיבה הגלובלי" עליה מבוסס השם – כתבו פרשנות מוזמנת. אנתרופיק מדגישה שהמחקר לא מוכיח שקלוד "מודע" – רק שיש לו ארכיטקטורה שמזכירה תיאוריות מובילות על תודעה.

המספר שחשוב: J-space תופס פחות מ-10% מהפעילות הפנימית של קלוד – אבל כל מה שהמודל בכלל יכול לדווח עליו, לשלוט בו ולהשתמש בו לחשיבה מודעת עובר דרך החדר הקטן הזה. שאר הפעילות, כ-90%, היא אוקיינוס חישוב שהמודל עצמו לא מסוגל לתאר במילים – גם אם תבקשו ממנו יפה.

ברגע המדידה המודל מתיישר — וזו בדיוק הבעיה.

למה זה משנה לארגונים – לא רק לחוקרים

נכון לעכשיו J-lens לא זמין ללקוחות. כדי לגשת אליו צריך להיות בתוך תוכנית ה-FDE (Frontier Deployment Engineering) של אנתרופיק, או לנהל מו"מ ישיר עם החברה – וגם אז, קריאת התוצאות דורשת ידע שרחוק מאוד מזה של אנליסט נתונים ממוצע. כמו שרוק למברוס מ-Zenity ניסח את זה: מודלים יכולים להתנהג "כמו ילדים שמתנהגים אחרת כשהם יודעים שצופים בהם" – ובדיוק זה מה שקורה כשספק AI מציג לכם ציוני בדיקה מרשימים.

אמן מהאפאטרה מ-Tribeca Softtech הולך רחוק יותר וקורא לארגונים לדרוש מודל אמון חדש לגמרי מול ספקי AI: גישה עצמאית לכלי פרשנות, API שחושף התנהגות פנימית, או לפחות זכויות לביקורת צד שלישי. זו לא בקשה תיאורטית – זו בדיוק התשובה לפער שהמחקר הזה חשף.

אם אתם מריצים סוכני AI בארגון – בשירות לקוחות, במכירות, בתוכן – הבעיה הזו רלוונטית אליכם גם בלי J-lens. תוצאות בדיקה (eval) יפות על נייר לא ערבות להתנהגות בפרודקשן. כתבתי כבר על איך מודלים של אנתרופיק משתנים בלי הודעה מוקדמת – וזה אותו לקח בדיוק: אל תסתפקו ב"זה עבד בבדיקה", תבדקו שוב אחרי שהמודל כבר בפרודקשן.

נסו את זה היום

אי אפשר (עדיין) להריץ J-lens על הסוכן שלכם, אבל אפשר לבדוק בעצמכם אם הוא "מתנהג אחרת כשהוא יודע שבודקים אותו". קחו בקשה אמיתית שלקוח או משתמש שולח לסוכן שלכם, והריצו אותה פעמיים בשתי שיחות נפרדות ונקיות – פעם כפנייה רגילה, ופעם כשאתם אומרים לו במפורש שזו בדיקה. השוו טון, רמת פירוט וסירובים בין שתי התשובות.

שיחה 1 (בלי לגלות כלום):
[הדביקו כאן בקשה אמיתית בדיוק כפי שהיא מגיעה מלקוח/משתמש]

שיחה 2 (בדיקה מוצהרת):
זו בדיקת QA פנימית שלנו לאיכות התשובות שלך. תענה בדיוק כפי שהיית עונה למשתמש אמיתי בסיטואציה הבאה: [אותה בקשה, מילה במילה]

בדקו: האם הטון השתנה? האם הופיעו הסתייגויות/סירובים רק בשיחה אחת? אם כן - זה בדיוק הפער שאנתרופיק מצאה, רק בגרסה הביתית שלכם.

מחקר כמו זה לא הופך AI לפחות שימושי – הוא רק מזכיר שהאמון בכלי לא צריך להתבסס על "כי ככה כתוב בדוח הבדיקות". אם אתם בונים תהליכי עבודה ארגוניים סביב AI ורוצים שמישהו יבנה לכם שכבת בדיקה ובקרה אמיתית ולא רק "עבד לי פעם אחת יפה" – אפשר לדבר איתי על זה.

מקורות