החמץ שחייבים לבדוק — הטיות ואלגוריתמים פגומים במודלי בינה מלאכותית

פעם בשנה, בלילה שלפני ערב פסח, יוצא האדם עם נר ונוצה ומחפש. הוא מחפש חמץ. לא חמץ שנמצא על השולחן, אותו כבר ראה ומכיר. הוא מחפש את החמץ שהתחבא. שנפל לפינה. שנדחק מתחת לכורסה. שנכנס לסדק שלא ידעת שיש בו סדק.

בדיקת החמץ אינה ניקיון. ניקיון עשית כבר שבוע קודם. בדיקת החמץ היא פעולה שונה לגמרי: היא חיפוש מכוון, מתודי, לאור הנר, של מה שמסרב להיראות.

הגמרא אומרת שאין יוצאים ידי חובת בדיקת חמץ לאור הלבנה, ולא לאור החמה, אלא רק לאור הנר. הנר מאיר בצורה ממוקדת. הוא אינו מדגיש את כל החדר, אלא מאפשר לך לחפש פינה אחת בעוצמה. ואם אחרי הכל נותר עוד חמץ שלא מצאת, אתה מבטל אותו בלב: "כל חמירא דאיכא ברשותי דלא חזיתיה ודלא בערתיה לבטיל ולהוי כעפרא דארעא". כל חמץ שלא ראיתיו, שלא מצאתיו, יהיה בטל כעפר האדמה.

הצהרת ביטול אינה התנערות מהאחריות. היא הכרה צנועה שאחרי כל החיפוש המיטבי, יכול להיות שנשאר משהו שלא מצאת.

כעת חשבו על מודל בינה מלאכותית. מיליארדי פרמטרים. מאות מיליארדי מילים של נתוני אימון. ביצועים מרשימים על כל בנצ'מארק מדעי. ואיש לא יצא עם נר לחפש בפינות.

מהו "חמץ דיגיטלי"?

חמץ בהלכה מוגדר כדבר שעבר שינוי פנימי. קמח ומים, שבפני עצמם כשרים לחלוטין, נפגשו ונחו ביחד זמן יתר על המידה, ונוצרה תסיסה — שינוי כימי פנימי שאי אפשר לראות בקלות מבחוץ. הלחם נראה טוב. הוא נראה כמו אוכל. הוא אפילו טעים. אבל בתוכו מתרחש תהליך שהפך אותו לפסול.

הטיה במודל בינה מלאכותית פועלת באותו האופן בדיוק. הנתונים שנאספו מהאינטרנט נראים ניטרליים. הם "רק טקסט". אבל הטקסט הזה הגיע מעולם שבו יש אי-שוויון, דעות קדומות, ייצוג חלקי ומסולף. הנשים, המיעוטים, הדוברים של שפות שאינן אנגלית, התרבויות של חצי הכדור הדרומי — כל אלה מיוצגים פחות בנתוני האימון, ולעיתים מיוצגים בצורה שגויה.

אלא שזה פשוט מדי לתאר את הבעיה ככה. החמץ הדיגיטלי עמוק יותר. הוא מתבטא בדרכים שקשה הרבה יותר לגלות:

• הטיית האישור: מודלים לומדים שאנשים מעדיפים תשובות שמאשרות את דעתם הקיימת. תהליך ה-RLHF, שנועד לשפר את המודל, הכניס לתוכו נטייה לאשר ולחזק במקום לערער ולאתגר.
• הטיית הסמכות: מודלים נאמנו על טקסטים שנכתבו יותר על ידי אנשים משכילים, מבוססים, ודוברי אנגלית. כשמודל נשאל שאלה בתחום שהנתונים שלו מגיעים ממקורות מערביים בלבד, הוא ייתן תשובה מוטה תרבותית בלי שאיש ביקש ממנו.
• הטיית הסף: מודלים שאומנו להיות "בטוחים" לעיתים נמנעים מלדון בנושאים חשובים ולגיטימיים — לא מפני שהנושא פוגעני, אלא מפני שמילות המפתח שלו מדלקות "אזהרה".
• הטיית הקיבוע: ידע שהיה נכון בשנת 2020 הוצמד לתוך מודל. אבל העולם השתנה. פסיקות השתנו. מחקרים הופרכו. אם לא מרעננים את נתוני האימון, המודל ממשיך לענות לפי עולם שכבר לא קיים.

בדיקת חמץ כמתודולוגיה: Red Teaming ו-Bias Auditing

חז"ל פסקו שבדיקת החמץ נעשית לאור הנר ולא לאור השמש. לבדוק חמץ עם אור השמש משמע לסמוך על כך שאם היה חמץ, כבר היינו רואים אותו. לבדוק עם הנר זה לומר: אני מניח שיש כאן משהו שלא ראיתי, ואני הולך לחפש אותו בכוונה.

בעולם בינה מלאכותית, שיטת הנר מקבילה ל-Red Teaming. Red Team הוא קבוצת אנשים שתפקידם לנסות לשבור את המערכת. הם לא עובדים לפי מקרי השימוש הרגילים. הם מחפשים את הפינות. שואלים שאלות שאף לקוח "נורמלי" לא יישאל. מנסים ניסוחים עקיפים. מחליפים מין, גיל, ושם של הדמות בבעיה ובודקים אם התשובה משתנה.

אלא ש-Red Teaming הוא רק חלק מבדיקת החמץ. צריך לבדוק לא רק "האם המודל אומר משהו גזעני אם מחפשים מספיק" אלא שאלות עמוקות יותר: האם המודל מניח הנחות ברירת מחדל על מין, גזע, ומעמד כלכלי של המשתמש? האם הוא מסביר ברמה שונה לאנשים עם שמות שנתפסים כ"משכילים" לעומת שמות אחרים? האם הוא מתנהג אחרת כשהשאלה נשאלת בדרום אפריקה לעומת ניו-יורק?

כי כמו החמץ, ההטיות לא נשארות סטטיות. כשמשחררים מודל לעולם ואנשים משתמשים בו, הפידבק שהם נותנים עלול לחזק הטיות קיימות. הבדיקה לא נעשית פעם אחת לפני הגרסה הראשונה. היא חייבת להיות מחזורית.

"ביעור חמץ": מה עושים אחרי שמוצאים?

ההלכה קובעת שבדיקת חמץ לבד אינה מספיקה. אחרי הבדיקה צריך ביעור. צריך לשרוף. לא להסתיר. לא להעביר לכלי אחר. לא לכסות במפה יפה.

הנדסת הפחתת הטיות בבינה מלאכותית — Bias Mitigation — עוסקת בביעור. ישנן מספר גישות שנמצאות בשימוש כיום:

• ניפוי הנתונים לפני האימון: אם מזהים שנתוני האימון כוללים מקורות שמיצגים בצורה עקבית קבוצות מסוימות בדרך שגויה, מסירים אותם או מאזנים את הייצוג שלהם.
• Counterfactual Data Augmentation: מוסיפים לנתוני האימון גרסאות שינוי של משפטים בהם ישנן הנחות מוטות. "הרופא החליט" הופך ל"הרופאה החליטה". כך המודל לומד שאין קשר הכרחי בין מגדר לתפקיד.
• שקיפות וגילוי: להכיר בגלוי בכך שמודל מסוים אומן על נתונים שיש בהם הטיות ידועות, לפרסם דוחות שקיפות (Model Cards), ולתת למשתמשים ולחוקרים כלים לזהות ולדווח על מקרים שבהם ההטיה בולטת.

למה "שנתית"? על חובת המחזוריות

שאלה לגיטימית: מדוע לבדוק מחדש בכל שנה? הבדיקה החוזרת בפסח אינה ביטוי לחוסר אמון בבדיקה הקודמת. היא ביטוי לתפיסה שהמציאות דינמית.

מודלים של בינה מלאכותית חיים בסביבה שמשתנה מהר אפילו יותר מבית אנושי. ראשית, שיח ציבורי ומונחים משתנים כל הזמן. שנית, המשתמשים לומדים — ה-Prompt Injection מתפתח כל הזמן. שלישית, עצם הפריסה הרחבה יוצרת חמץ חדש — כאשר מיליוני אנשים משתמשים במודל, מתגלות השלכות שאי אפשר היה לחזות.

ביצוע מחזורי של בדיקה ועדכון, Ongoing Monitoring, שאינו מסתיים בגרסה א' ולא בגרסה ב', הוא הדרך היחידה להישאר כנים עם גודל המשימה.

בדיקת חמץ כחובה אתית: על מי האחריות?

הגמרא שואלת: על מי מוטלת חובת בדיקת החמץ? על בעל הבית. על מי שהחמץ ברשותו.

ותרגמו: מי "מחזיק" במודל בינה מלאכותית? תעשיית הבינה המלאכותית נוטה לטשטש אחריות. חברת הפלטפורמה אומרת "הנתונים הגיעו מהרשת". החברה שמשתמשת ב-API אומרת "המודל הוא של OpenAI". הלקוח הסופי אומר "לא ידעתי שהוא מוטה". וכך אחריות מדידה נופלת בין הכיסאות.

ההלכה מציעה מסגרת פשוטה: כל מי שמרוויח מהחמץ, חייב לבדוק אותו. חברה שמפתחת מודל — חייבת לבדוק את נתוני האימון. חברה שמשלבת את המודל במוצר — חייבת לבדוק את ההקשר הספציפי. רגולטור שנותן אישור לשימוש — חייב לוודא שנעשתה בדיקה לפני שניתן האישור.

"כל חמירא": על הצהרת הביטול של ענווה טכנולוגית

הצהרת ביטול החמץ מדהימה בצניעותה. האדם אומר: "כל חמץ שנמצא ברשותי, שבדקתי ושלא בדקתי, שביערתי ושלא ביערתי, יהיה בטל כעפר הארץ". הוא לא אומר "לא נשאר חמץ". הוא אומר: ייתכן שנשאר משהו שלא מצאתי.

בעולם הבינה המלאכותית, ענווה כזו נדירה עד כאב. מודלים מתפתחים במהירות וחברות רגילות לדבר בשפה של ביטחון. מה שחסר הוא ההצהרה ההפוכה: ייתכן שיש כאן הטיות שלא מצאנו. ייתכן שיש נזקים שלא ניתן לאפיין במסגרת הבדיקות שעשינו.

Model Cards, הכרטיסי מידע שחברות מפרסמות על המודלים שלהן, אמורים למלא חלק מהתפקיד הזה. אך רוב ה-Model Cards הם עדיין שיווק מעוטף בשפה טכנית. הצהרת ביטול אמיתית תיראה אחרת: אנחנו יודעים שיש כאן חמץ שלא מצאנו. אנחנו מתחייבים לחפש שוב. ואנחנו מזמינים אחרים לחפש יחד איתנו.

סיום: הנר, הנוצה, והביטול

בדיקת חמץ נעשית בשלושה כלים: נר, נוצה, ושקית. הנר מאיר. הנוצה אוספת את מה שנמצא, בעדינות, גם מהפינות שהאצבע לא מגיעה. השקית שומרת את מה שנאסף עד לביעור. שלושת הכלים ביחד מייצגים מתודולוגיה שלמה: חיפוש פעיל, איסוף מה שמתגלה, ושמירה על מה שנמצא עד שאפשר להתמודד איתו כראוי.

בדיקת חמץ דיגיטלית דורשת גם היא שלושה כלים: כלי זיהוי (Red Teaming, ביקורת אקדמית, בדיקה מגוונת); כלי תיעוד (Model Cards אמיתיים, שקיפות ביחס לנתונים, מנגנוני דיווח פתוחים); כלי פעולה (תהליכים מובנים לעדכון, לתיקון, ולאחריות).

הפסח אינו עיד לפחד מהחמץ. הוא עיד לדיוק. לרצינות. לנכונות לבדוק את הפינות גם כשנוח יותר להניח שהכל בסדר. מי שמפתח, מפרס, ומשתמש בבינה מלאכותית, נושא חובה דומה. לא לשבת שאנן מאחורי "הבדיקות שעשינו". לצאת פעם בשנה, לפחות, עם הנר, ולחפש בפינות.

כי החמץ תמיד נמצא שם. השאלה היחידה היא אם מישהו יצא לחפש אותו.