חולשה ב-ChatGPT הפילה בפח את המפתחים של עליבאבא
צוות המחקר של Lasso Security חשף "חולשת הזיה" ב – ChatGPT שגורמת למפתחים להוריד תיקיות ריקות שעלולות להכיל קבצים זדוניים
עמי רוחקס דומבה
| 09/05/2024
בר לניאדו, חוקר בצוות המחקר של החברה | צילום: Lasso Security
צוות המחקר בסטארטאפ Lasso Security, המציע פתרונות בתחום אבטחת בינה מלאכותית גנרטיבית (Generative AI), חשף חולשה ב – ChatGPT ומנועי בינה מלאכותית אחרים שעלולים לסכן עשרות אלפי מפתחים המשתמשים בהם כדי לכתוב קוד.
ה"הזיות" של ChatGPT, Gemini ועוד (Hallucination – הצורך של מנועי הבינה מלאכותית לענות תשובה, גם אם אינה נכונה או מדויקת), גורמות לענקיות ה – AI להמליץ למפתחים להוריד ספריית קוד (package) ריקה, שאינה קיימת.
הסכנה היא שתוקפים יגלו את ספריות הקוד הריקות, יעלו אותם מחדש וישתלו בהן תוכנה זדונית.
כדי להוכיח את החולשה, חוקרי החברה העלו ספריית קוד ריקה ש – ChatGPT המליץ עליה לכתיבת קוד. את הספרייה הריקה שהחוקרים העלו, הורידו בתוך שלושה חודשים יותר מ – 30,000 משתמשים, כולל מפתחים בעליבאבא.
אלא שבניגוד להמלצה המקורית על הספרייה הריקה של ChatGPT, הספרייה של החוקרים הייתה עלולה להכיל תוכנה זדונית, ולחשוף עשרות אלפי מפתחים לפרצת אבטחה.
כדי להמנע מחולשת האבטחה של ספריות הקוד הריקות, ועד שענקיות ה – AI יטפלו בבעיה בעצמן, פיתחו ב – Lasso Security פיצ'ר שמתריע בפני המשתמשים על ספריות קוד "מומצאות", שאינן קיימות באמת.
לדברי בר לניאדו, חוקר בצוות המחקר של Lasso Security, שהוביל את המחקר, "החולשה שגילינו מראה שההזיות של ChatGPT ודומיו ממשיכות להוות סיכון אבטחתי חמור לארגונים ומשתמשים.
״הוכחנו שבתוך זמן קצר אלפי משתמשים הורידו תיקייה שהייתה יכולה להיות זדונית ולהחשף לפרצת אבטחה. יחד עם התקווה שכעת, שהמחקר קיבל משנה תוקף, ענקיות הבינה המלאכותית יטפלו בחולשה בהקדם האפשרי, אנו מציעים פתרון לארגונים ומפתחים שרוצים להמנע מלהוריד בטעות תוכנה זדונית שיתריע בפניהם על תיקיות שאינן קיימות".
מתודולוגיית המחקר: המחקר הנוכחי הוא למעשה מחקר המשך שביצע החוקר בר לניאדו, חוקר בצוות המחקר של Lasso Security, לפני כחצי שנה. במחקר הקודם התגלתה החולשה הבסיסית אך לא הוכחה יכולת תקיפה.
לניאדו פנה אז אל ענקיות ה - AI ויידע אותם בדבר החולשה, אך מסתבר שדבר לא נעשה, והמצב אפילו הורע. המחקר הנוכחי נעשה בקנה מידה רחב ומול מספר רב יותר של ענקיות AI, נמצא בו מספר עצום של ספריות קוד ריקות (לא פחות מ – 12,000!), והוכחו בו יכולות תקיפה.
צוות המחקר של Lasso Security חשף "חולשת הזיה" ב – ChatGPT שגורמת למפתחים להוריד תיקיות ריקות שעלולות להכיל קבצים זדוניים
בר לניאדו, חוקר בצוות המחקר של החברה | צילום: Lasso Security
צוות המחקר בסטארטאפ Lasso Security, המציע פתרונות בתחום אבטחת בינה מלאכותית גנרטיבית (Generative AI), חשף חולשה ב – ChatGPT ומנועי בינה מלאכותית אחרים שעלולים לסכן עשרות אלפי מפתחים המשתמשים בהם כדי לכתוב קוד.
ה"הזיות" של ChatGPT, Gemini ועוד (Hallucination – הצורך של מנועי הבינה מלאכותית לענות תשובה, גם אם אינה נכונה או מדויקת), גורמות לענקיות ה – AI להמליץ למפתחים להוריד ספריית קוד (package) ריקה, שאינה קיימת.
הסכנה היא שתוקפים יגלו את ספריות הקוד הריקות, יעלו אותם מחדש וישתלו בהן תוכנה זדונית.
כדי להוכיח את החולשה, חוקרי החברה העלו ספריית קוד ריקה ש – ChatGPT המליץ עליה לכתיבת קוד. את הספרייה הריקה שהחוקרים העלו, הורידו בתוך שלושה חודשים יותר מ – 30,000 משתמשים, כולל מפתחים בעליבאבא.
אלא שבניגוד להמלצה המקורית על הספרייה הריקה של ChatGPT, הספרייה של החוקרים הייתה עלולה להכיל תוכנה זדונית, ולחשוף עשרות אלפי מפתחים לפרצת אבטחה.
כדי להמנע מחולשת האבטחה של ספריות הקוד הריקות, ועד שענקיות ה – AI יטפלו בבעיה בעצמן, פיתחו ב – Lasso Security פיצ'ר שמתריע בפני המשתמשים על ספריות קוד "מומצאות", שאינן קיימות באמת.
לדברי בר לניאדו, חוקר בצוות המחקר של Lasso Security, שהוביל את המחקר, "החולשה שגילינו מראה שההזיות של ChatGPT ודומיו ממשיכות להוות סיכון אבטחתי חמור לארגונים ומשתמשים.
״הוכחנו שבתוך זמן קצר אלפי משתמשים הורידו תיקייה שהייתה יכולה להיות זדונית ולהחשף לפרצת אבטחה. יחד עם התקווה שכעת, שהמחקר קיבל משנה תוקף, ענקיות הבינה המלאכותית יטפלו בחולשה בהקדם האפשרי, אנו מציעים פתרון לארגונים ומפתחים שרוצים להמנע מלהוריד בטעות תוכנה זדונית שיתריע בפניהם על תיקיות שאינן קיימות".
מתודולוגיית המחקר: המחקר הנוכחי הוא למעשה מחקר המשך שביצע החוקר בר לניאדו, חוקר בצוות המחקר של Lasso Security, לפני כחצי שנה. במחקר הקודם התגלתה החולשה הבסיסית אך לא הוכחה יכולת תקיפה.
לניאדו פנה אז אל ענקיות ה - AI ויידע אותם בדבר החולשה, אך מסתבר שדבר לא נעשה, והמצב אפילו הורע. המחקר הנוכחי נעשה בקנה מידה רחב ומול מספר רב יותר של ענקיות AI, נמצא בו מספר עצום של ספריות קוד ריקות (לא פחות מ – 12,000!), והוכחו בו יכולות תקיפה.
