Nvidia מראה כיצד עשויות להיראות מערכות GPU מקושרות אופטי


דיברנו על פוטוניקת סיליקון כל כך הרבה זמן שאנחנו, כנראה כמו רבים מכם, מתוסכלים מכך שהיא כבר לא נמצאת בכל מקום. אבל החדשות הטובות הן שההתקדמות בתחום האיתות החשמלי, לאחר שפגעה בקיר לפני עשור כשהדיבורים על חיבורי סיליקון פוטוניים מעשיים התחילו באמת, המשיכה להתפתח ועדיין לא באמת נאלצנו לפנות לפוטוניקת סיליקון.

מכיוון שחיבורים חשמליים בין רכיבים הרבה פחות יקרים, זה היה ברכה לחלק מונה המחיר של משוואת המחיר/ביצועים, למרות שלפוטוניקת הסיליקון יש יתרון בחלק של ביצועי המכנה של המשוואה הזו. עם הזמן, האיתות החשמלי הולך ומתקצר ככל שרוחב הפס עולה, וגם הוא רועש יותר ויותר. בהכרח יבוא היום שבו נעבור מאלקטרונים לפוטונים כשיטת איתות אלקטרומגנטית ומנחושת לסיבים אופטיים כאמצעי איתות.

העקומה הזו, ממצגת שהמדען הראשי של Nvidia ביל דאלי נתן בכנס תקשורת סיבים אופטיים כבר במרץ, הופכת את המקרה לטוב למדי:

אין ויכוח עם העקומות האלה, אם כי אתה יכול לכופף אותם קצת עם קוסמות מדעי החומרים.

Nvidia חתמה על שותפות מחקר ופיתוח עם Ayar Labs לפני מספר שבועות, וישבנו ושוחחנו עם צ’רלי Wuischpard, מנכ”ל בסטארט-אפ סיליקון פוטוניקה, כדי לדבר על מה השניים יעבדו. Nvidia השתתפה בגיוס הכספים מסדרה C ש-Ayar Labs עשתה מוקדם יותר השנה, כאשר היא גרפה 130 מיליון דולר כדי לפתח את הלייזרים שלה מתוך פס וחיבורי סיליקון פוטוניים. Hewlett Packard Enterprise, שגם חתמה בפברואר השנה עסקה עם Ayar Labs כדי להבין כיצד להביא פוטוני סיליקון לחיבור Slingshot, הייתה גם משקיעה בסבב הגיוס הזה מאפריל השנה. ל-Ayar Labs היה גיבוי מוקדם גם מאינטל, למרות שאינטל רוצה להטמיע לייזרים בתוך שבבים במקום לשאוב אותות לייזר מחוץ לשבבים כפי שעושה אייר לאבס. (אם יש משהו שנכון כרגע, זה שאינטל לא יכולה להרשות לעצמה לעשות שום דבר לא בסדר כרגע. אז טוב שאינטל מגדירה את ההימורים שלה עם פוטוניקת סיליקון).

באותו זמן של המימון באפריל, דיברנו עם Wuischpard ארוכות על היכן פוטוניקת סיליקון משתלבת במערכות מודרניות – ואיפה היא עדיין לא מתאימה, ולאחרונה, קיבלנו כמה רמזים לגבי מה שעשוי להתפתח במיוחד ב-Nvidia.

לאחר מכן התוודענו למצגת שהוזכרה לעיל שדאלי נתנה ב-OFC 2022, שמתארת ​​באופן ספציפי מאוד את המטרות של אופטיקה ארוזה משותפת באמצעות ריבוי חלוקת גלים צפופה, או DWDM, וכיצד ניתן להשתמש בפוטוניקת סיליקון כתחבורה לחיבור בין מתלים. ומתלים של מנועי מחשוב GPU.

מצגת זו מציגה מכונת קונספט ללא שם, כמו מערכת הקונספט Exascale של “Echelon” שהצוות של דאלי פיתח עוד ב-2010 ושתפסנו רוח ב-2012. למכונה הזו היו מנועים מתמטיים מיוחדים – לא GPUs – עם מיתוג חשמלי ברדיוס גבוה ביניהם. ו-Cray “טלה” חיבורים אופטיים בין מתלים של מכונות. ומכונת ה-Echelon הזו, כמובן, מעולם לא הייתה ממוסחרת, ו-Nvidia במקום זאת לקחה את חיבור הזיכרון של NVSwitch שדאלי עבד עליו ב-Nvidia Research ומשכה אותו לייצור מוקדם כדי להפוך את מה שהם בעצם מתחמי מעבדי NUMA GPU מברזל גדולים המקושרים ביניהם באמצעות InfiniBand מרובת יציאות. צינורות במקום.

עם מערכות ה-DGX הראשוניות המבוססות על ה-NVSwitch, Nvidia יכלה לשנות את קנה המידה לשישה עשר גרפי גרפי בתמונה אחת עם מאיצי ה-Volta V100 GPU, ועם מאיצי ה-A100 GPU “Ampere”, שהיו להם הרבה יותר תנופה, Nvidia הייתה צריכה להכפיל את רוחב הפס לכל GPU ולכן נאלץ לחתוך את הרדיוס של NVSwitch בפקטור של שניים, ולכן יכול היה לחבר רק שמונה GPUs לתמונה אחת. עם רשת העלים/עמוד השדרה של NVSwitches שהוכרזה מוקדם יותר השנה עם מאיצי ה-“Hopper” H100 GPU, שיישלחו בהמשך השנה, Nvidia יכולה לחבר 256 GPUs למארג זיכרון אחד, וזה גורם עצום לשיפור.

אבל בסופו של דבר, בד ה-NVSwitch שבלב ה-DGX H100 SuperPOD הוא עדיין בעצם דרך ליצור מכונת NUMA מוגדלת, והיא מוגבלת לחלוטין על ידי כבלים חשמליים. והקנה מידה של NVSwitch, אפילו עם דור הופר, אפילו לא מתקרב לעשרות אלפי מעבדי ה-GPU שה-Hyperscalers חיברו יחד כדי להפעיל את עומסי העבודה הגדולים ביותר של AI.

“אני לא יכול להיכנס להרבה פרטים”, אומר ווספרד הפלטפורמה הבאה בצחוק. [Like, no kidding, man.] “אתה יודע, אנחנו פתרון שכבה פיזית, ויש כל כך הרבה מעבר לזה מבחינת התוכנה והתזמור בין ה-GPUs, הזיכרון שלהם וה-CPUs. אנחנו לא מעורבים באף אחד מהדברים האלה. אז אני מניח שאתה יכול לחשוב עלינו כעל אפשרות פיזית לעתיד. וזו גישה רב-שלבית שהולכת לאנשהו. זה לא רק תרגיל בעיטת צמיגים. אבל אנחנו צריכים להוכיח את עצמנו, בתוך חלק מהפרמטרים ואנחנו צריכים להגיע לכמה אבני דרך”.

אנו מקווים זֶה מנקה זֶה לְמַעלָה. . . . [Our turn to laugh.]

בכל מקרה, הבה נפנה כעת למצגת שדאלי נתנה ב-OFC 2022, שקופצת קדימה לאיך עשויה להיראות מערכת מואצת GPU עתידית עם חיבורי סיליקון פוטוניים.

לפני שניכנס לזה, הבה נסתכל רק על המגבלות על רוחב הפס וההספק בין ה-GPUs או המתגים, המעגלים המודפסים שהם מתחברים אליהם, והארונות שהם עשויים להיות מאוחדים בהם, מה שיוצר את השלב לחיבורי סיליקון פוטוניים:

הכלל פשוט. ככל שהקישורים קצרים יותר, כך רוחב הפס גבוה יותר והאנרגיה הנצרכת נמוכה יותר כדי להזיז מעט. וטבלה זו להלן מפרטת את ההספק היחסי, העלות, הצפיפות וכל אחד מהאינטרפוזיציונים, המעגלים המודפסים, אופטיקה ארוזה יחד, כבלים חשמליים וכבלים אופטיים פעילים, כולם חוטים המרכיבים רמות שונות של מערכת מודרנית. תעיין בזה:

המטרה של אופטיקה ארוזה משותפת המשתמשת ב-DWDM היא צריכת חשמל נמוכה יותר מאשר כבל חשמלי אך בעלות דומה, בעלת טווח השווה לכבל חשמלי פעיל, ולהציע צפיפות אות המשווה ללוח מעגלים מודפסים.

הנה הסקיצה של דאלי כיצד אותות DWDM עשוי להיראות:

והנה תרשים הבלוק של האופן שבו ל-GPU ול-NVSwitch יהיו מנועים אופטיים להמיר איתות חשמלי לאיתות אופטי כדי ליצור רשת NVSwitch של ה-GPUs:

יש 24 סיבים שיוצאים מכל מנוע אופטי, והם יפעלו בתחילה בקצבי איתות של 200 Gb/sek, עבור רוחב פס משולב של 4.8 Tb/sec. לכל GPU יש זוג כאלה כדי לתת לו רוחב פס דו-כיווני לתוך ומחוץ למארג NVSwitch. לפיכך, NVSwitch עם שישה מנועים אופטיים יהיה מדורג ב-28.8 Tb/sec גולמי ו-25.6 Tb/sec לאחר הסרת תקורה של קידוד.

הנה איך צריכת האנרגיה מסתדרת על פני המחסומים השונים בין רכיבי המכשיר במכונת הקונספט של Nvidia סיליקון פוטוניק:

ה-3.5 פיקו-ג’ול לסיביות להעברת נתונים פנימה והחוצה בין ה-GPU והמתג עומדים בדיוק בקנה אחד עם היעדים שדאלי קבע בטבלה למעלה. אנו חושדים שהעלויות עדיין צריכות לרדת כדי להפוך אופטיקה ארוזה משותפת למקובלת עבור מנועי מחשוב, אבל הרבה עבודה נעשית כאן וכולם בעלי מוטיבציה גבוהה

האיתות החשמלי המשמש במארג ה-NVSwitch המוטבע במערכות ה-DGX-A100 הנוכחיות הוא בעל טווח של כ-300 סנטימטרים ומעביר נתונים ב-8 פיקוג’אול לביט. המטרה היא פוטוניקת סיליקון לעשות זאת בחצי מהאנרגיה ולהגביר את הטווח עד ל-100 מטר בין מכשירים.

כשזה קורה, אתה יכול לחלק גרפי GPU ומתגים בארכיטקטורה – ולמרות שמכונת הקונספט של Nvidia לא מראה זאת, למעבדים יכולים להיות גם מנועים אופטיים, וגם אותם ניתן לחלק.

כך עשויים להיראות ה-GPU והמתגים עם אופטיקה ארוזה משותפת:

והנה כיצד ניתן לצבור GPUs ו-NVSwitches עם קישורי CPO:

מקורות הלייזר החיצוניים תופסים הרבה מקום, אבל זה גם אומר שמתלים יכולים להיות הרבה פחות צפופים מכיוון שהחיבורים בין מכשירים יכולים להיות ארוכים יותר. זה יקל על הקירור, וגם הלייזרים יהיו ניתנים להחלפה. אם כל החומר הזה יעבוד קריר יותר, הלייזרים יעבדו טוב יותר גם כן. הצפיפות מוערכת יתר על המידה, ובמקרים רבים, כמו למשל במערכות ה-DGX, המכונות בסופו של דבר כל כך חמות שממילא אפשר לאכלס רק חצי את המתלים מכיוון שצפיפות ההספק וצרכי ​​הקירור גבוהים ממה שרוב מרכזי הנתונים יכולים להתמודד.

שימו לב ששורות ה-GPU והמתגים למעלה מכוונות אנכית, מה שמסייע בקירור. וגם הם אינם מורכבים על לוחות מעגלים מודפסים ענקיים עם שקעים, מה שיסייע בהורדת עלויות המערכת הכוללות כדי לסייע בתשלום עבור השימוש בחיבורים אופטיים.

Leave a Comment