באוניברסיטה הזאת מקבלים ציון על שבירת Claude

תארו לעצמכם מבחן שבו הציון עולה ככל שאתם מצליחים לגרום למישהו לטעות. לא לענות נכון. לגרום לצד השני לטעות. זה בדיוק מה שקרה בקורס כרייה נתונים באוניברסיטת פודאן שבשנחאי, ובעיני זה אחד הדברים המעניינים שקראתי החודש על איך באמת בודקים AI.

המבחן: לכתוב שאלה שתפיל את קלוד

51 סטודנטים קיבלו מטלה אחת: לכתוב 10 שאלות חישוביות שיגרמו לשלושה מודלים – Claude, DeepSeek ו-MiniMax – לטעות. לא שאלות טריקיות סתם בשביל הכיף. שאלות מדויקות מספיק כדי לחשוף בדיוק איפה המודל נשבר.

המרצה, שיאו יאנגהואה, בנה מערכת ניקוד שמשקללת קושי: כל טעות של Claude שווה 3 נקודות, טעות של MiniMax שווה 2, וטעות של DeepSeek שווה 1.5. במילים אחרות – המרצה עצמו קבע מראש היררכיה של "כמה קשה לשבור כל מודל", ו-Claude קיבל את הדירוג הגבוה ביותר לפני שהמבחן בכלל התחיל.

התוצאות: כולם כמעט הצליחו, כמעט אף אחד לא ניצח

הממוצע בכיתה היה 85.7, החציון 88 – ציונים גבוהים יחסית. אבל כשמסתכלים מקרוב, התמונה מורכבת יותר: 50 מתוך 51 הסטודנטים הצליחו לגרום למודל כלשהו לטעות לפחות פעם אחת. רק 4 הצליחו להפיל מודל שלם – כלומר לגרום לו לטעות בכל עשר השאלות שכתבו נגדו. ואף סטודנט אחד לא הצליח לשבור את Claude עד הסוף.

הסטודנט המצטיין, שי ג'ינשו, קיבל 97 נקודות – והדרך שבה הוא הגיע לזה אומרת הרבה. הוא לא ישב וכתב שאלות אחת-אחת. הוא בנה מסגרת רב-סוכנים באמצעות GPT-4.5 Pro שיצרה שאלות, בדקה אותן מול שלושת המודלים, ושכללה את עצמה אוטומטית. סטודנטים אחרים מצאו נתיבים אחרים לאותה מטרה: וו האנדונג בנה שאלות עם עשרות אלפי רשומות נתונים שדרשו דיוק של ארבע ספרות אחרי הנקודה, ון ג'יאצ'ן בנה שאלת אמריקאית שבה התשובה הנכונה בכל האפשרויות הייתה "אף אחת מהתשובות", ולי יוג'יה התמקדה בניצול חולשות בשרשראות היגיון ארוכות.

"האתגר האמיתי בעידן ה-AI הוא היכולת להשתמש ב-AI ולשפוט אותו. אל תהיו המבצע של ה-AI. תהיו השופט שלו" – שיאו יאנגהואה, מרצה הקורס

מה זה אומר לכם, שלא מלמדים בפודאן

אצלנו, ברוב הארגונים שאני פוגש, ה"הכשרת AI" נעצרת בשלב "איך לכתוב פרומפט טוב". כמעט אף אחד לא מלמד את הצד ההפוך: איך לבדוק שהתשובה שקיבלתם לא הייתה המצאה יפה. בדיוק כמו הסטודנטים בפודאן, כל מי שמשתמש ב-AI בעבודה – ליצירת תוכן, לניתוח נתונים, להחלטות שיווקיות – צריך לפתח את הרפלקס של "לתפוס את המודל בטעות" לפני שהלקוח או הבוס תופסים אותו.

יש כאן גם רמז מעשי לבחירת כלים, לא רק לזהירות. המרצה בפודאן קבע מראש שקלוד "שווה" יותר נקודות משום שהוא הכי קשה לשבור – וההימור הזה התאמת במציאות: אף אחד לא הצליח לשבור אותו לגמרי, בזמן ש-DeepSeek נשבר בקלות יחסית (1.5 נקודות בלבד לכל טעות, כי זה היה הכי פשוט). אם אתם בוחרים כלי AI לעבודה שבה טעות עולה כסף – ניתוח תקציב, טקסט משפטי, נתוני לקוחות – הדירוג הזה הוא בדיוק סוג המידע שצריך להשפיע על הבחירה, לא רק המחיר או המהירות.

זה בדיוק מה שכתבתי גם כשדיברתי על איך מהנדסים בכירים בונים לעצמם מערכות כללים ל-Claude – ההבדל בין שימוש חובבני לשימוש מקצועי הוא לא כמה יפה מנסחים בקשה, אלא כמה שיטתי בודקים את התוצאה.

אתה עכשיו בתפקיד בודק איכות, לא כותב. הנה התשובה שנתת קודם: [הדביקו כאן]. מצא בה עד 3 נקודות שבהן ייתכן שהמצאת עובדה, מספר, שם או קשר שלא באמת קיים במקור. לכל נקודה כזו, ציין במפורש: "לא בטוח" או "לא נבדק", ותן ניסוח חלופי זהיר יותר.

אם אתם רוצים ללמוד לא רק להשתמש בקלוד אלא באמת לשלוט בו – כולל איך לתפוס אותו כשהוא טועה – הקורס שלנו ל-Claude Code בדיוק בנוי סביב זה: לא רק פרומפטים, אלא שיטת עבודה.