חברת OpenAI חתמה על הסכמים לבדיקות חיצוניות של בטיחות בינה מלאכותית
ארבעה גופים יבדקו מודלים ומנגנוני הגנה עם גישה למערכות פנימיות, כך מסרה OpenAI. הצוותים המשתתפים מתארים ניסויים בהיקפים ולפרקי זמן שונים.
המספרים בסוגריים מקשרים למקורות שמופיעים בהמשך.

חברת OpenAI הודיעה ב־16 בנובמבר כי חתמה על הסכמים עם Apollo Research, METR, Transluce ו־Goodfire לבדיקת מודלי הבינה המלאכותית ומנגנוני ההגנה שלה באמצעות עבודה בתוך החברה[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]]. לדבריה, הבדיקות הראשונות יעסקו באימון ובשימוש פנימי[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]].
ב־OpenAI מתארים את הבדיקות מתוך החברה כבדיקות ממושכות, שבמסגרתן מומחים חיצוניים מקבלים גישה למערכות ולמודלים פנימיים[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]]. בהתאם לבדיקה, המשאבים הזמינים כוללים קוד, נתונים המשמשים לאימון ולהערכות, כלי ניטור ושיחות עם העובדים האחראים לעבודה[1OpenAIOur first phase of embedded assessmentsפתיחת המקורמקורות [1]].
לפי Apollo Research, שישה בודקים יקדישו ארבעה חודשים לבדיקת מודלים בשלבי האימון, ההערכה וההטמעה הפנימית, בכפוף לכללי גישה מוגדרים[2Apollo ResearchA Pilot Towards Embedded Evaluationsפתיחת המקורמקורות [2]]. הגוף מבקש לבדוק אם מודלים מנסים לערער את מנגנוני הבקרה החלים עליהם או על המודלים שיבואו אחריהם, ומתכנן לפרסם דוחות שיסבירו את מגבלות הבדיקה[2Apollo ResearchA Pilot Towards Embedded Evaluationsפתיחת המקורמקורות [2]].
לדברי Goodfire, חוקריה ישתמשו בפלטפורמה שלה כדי לעקוב אחר האימון ולחקור התנהגות לא רצויה[4GoodfireAnnouncing our collaboration with OpenAIפתיחת המקורמקורות [4]]. חוקרי OpenAI יהיו קהל היעד העיקרי לממצאים, אך Goodfire מתכננת גם לפרסם ממצאים עם התקדמות העבודה[4GoodfireAnnouncing our collaboration with OpenAIפתיחת המקורמקורות [4]].
ב־Transluce מסרו כי הניסוי, שיימשך שישה שבועות, יבחן אם ההערכות של OpenAI מזהות התנהגויות ובהן הטעיה ומניפולציה[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]]. לדברי הארגון, הגישה שיקבל תהיה רחבה מזו שניתנת בדרך כלל לבודקים חיצוניים, אך מצומצמת מזו שניתנת לעובדים[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]]. הארגונים מתכוונים לערוך בדיקה מקיפה יותר עם גישה רחבה יותר בתחילת 2027, אך הפרטים טרם נקבעו[3TransluceAnnouncing an Embedded Assessment Pilot with OpenAIפתיחת המקורמקורות [3]].
מקורות
- 1Our first phase of embedded assessments
ראשוניOpenAIנצפה
- 2A Pilot Towards Embedded Evaluations
עצמאיApollo Researchנצפה
- 3Announcing an Embedded Assessment Pilot with OpenAI
עצמאיTransluceנצפה
- 4Announcing our collaboration with OpenAI
עצמאיGoodfireנצפה
מערכת החדשות של ITANU הפיקה את הכתבה בעזרת בינה מלאכותית ובדקה אותה מול המקורות שמופיעים למעלה. איך אנחנו עובדים