המעבר למחשוב עתיר בינה מלאכותית מאיץ את השימוש בקירור נוזלי ישיר לשבב (Direct-to-Chip), אך מציב אתגר הנדסי שלא תמיד זוכה לתשומת הלב הנדרשת: איכות נוזל הקירור. קורוזיה, חלקיקים מיקרוסקופיים, פירוק תוספים וזיהום ביולוגי עלולים לפגוע בזרימה, להפחית את יעילות פינוי החום ואף לגרום להשבתת שרתים יקרים. כיצד ניתן לזהות את הסיכונים לפני שהם הופכים לתקלות?
מהפכת ה-AI משנה את כללי המשחק במערכות הקירור
הגידול המהיר בדרישות המחשוב של מערכות בינה מלאכותית משנה באופן יסודי את תכנון תשתיות הקירור במרכזי נתונים. מעבדים גרפיים עתירי ביצועים, אשכולות מחשוב צפופים ומערכות המיועדות לאימון ולהרצת מודלים גדולים מייצרים עומסי חום משמעותיים בשטח מצומצם.
בעוד שבעבר ארונות שרתים רבים פעלו בצפיפויות הספק של קילוואטים בודדים, מערכות מחשוב מתקדמות מגיעות כיום לעשרות קילוואטים לארון, ובתצורות AI ייעודיות אף למאות קילוואטים.
פרסום
בתנאים אלה, קירור אוויר מסורתי מתקשה לספק לבדו את יכולת פינוי החום הנדרשת, במיוחד כאשר צפיפות המעבדים עולה והמרחקים בין רכיבי המחשוב מצטמצמים.
הפתרון שמתרחב בתעשייה הוא קירור נוזלי, ובפרט טכנולוגיית Direct-to-Chip, שבה נוזל קירור מוזרם דרך לוחות קירור ייעודיים (Cold Plates) הצמודים למעבדים ולרכיבים המייצרים חום רב.
אלא שהמעבר לקירור נוזלי יוצר תלות חדשה: אמינות המחשוב אינה נקבעת רק לפי ביצועי הצ'ילרים, המשאבות ומחליפי החום, אלא גם לפי האיכות הכימית והפיזיקלית של הנוזל הזורם במערכת.
גליקול במרכז הנתונים: פתרון יעיל עם מגבלות הנדסיות
במערכות קירור נוזלי מסוימות נעשה שימוש בתערובות מים ופרופילן-גליקול, בעיקר לצורך הגנה מפני קפיאה, התאמת תכונות הנוזל לתנאי העבודה ושמירה על רכיבי המערכת.
עם זאת, חשוב להבחין בין מעגל הקירור של המתקן לבין המעגל המשרת את ציוד המחשוב. לא כל מערכת Direct-to-Chip משתמשת בגליקול בצד השרתים. בחלק מהמערכות נעשה שימוש במים מטופלים עם תוספים מתאימים, והבחירה נקבעת בהתאם לדרישות יצרני הציוד, לתנאי ההפעלה ולתאימות החומרים.
לגליקול יתרונות תפעוליים, אך ריכוזו משפיע גם על צמיגות הנוזל, על יכולת העברת החום ועל צריכת האנרגיה הדרושה להזרמתו.
בנוסף, תערובות גליקול כוללות לעיתים חומרים מעכבי קורוזיה ותוספים כימיים שנועדו לשמור על יציבותן. לאורך זמן, חשיפה לטמפרטורות משתנות, חדירת חמצן, זיהומים או ערבוב בלתי מבוקר של נוזלים עלולות לשנות את הרכב התמיסה ולפגוע בתפקודה.
דייוויד מק'קון, מנהל תיקי לקוחות תאגידיים בחברת Ecolab באירופה, הצביע במאמר מקצועי שפורסם בענף הקירור על הסיכון שבהזנחת איכות נוזלי הקירור במרכזי נתונים עתירי AI.
לדבריו, ככל שמערכות הקירור פועלות בתנאים תובעניים יותר, בעיות שבעבר נחשבו למטרד תחזוקתי עשויות להפוך לסיכון תפעולי משמעותי.
מדוע מערכות Direct-to-Chip רגישות במיוחד לזיהומים?
במערכות Direct-to-Chip, לוחות הקירור כוללים לעיתים תעלות זעירות, שחלקן ברוחב תת-מילימטרי, שנועדו לשפר את מעבר החום מהמעבד אל הנוזל.
תכנון זה משפר את היעילות התרמית, אך מגדיל את הרגישות לחלקיקים, למשקעים ולתוצרי קורוזיה.
גם כמות קטנה של מזהמים עלולה להצטבר במעברים הצרים, להגדיל את ההתנגדות ההידראולית ולהפחית את ספיקת הנוזל באזור מסוים.
התוצאה עשויה להיות עלייה בטמפרטורת הרכיב, ירידה בביצועי המחשוב עקב הגבלה תרמית (Thermal Throttling), ובמקרים חמורים יותר הפעלת מנגנוני הגנה או השבתת ציוד.
ארבעה מנגנוני כשל מרכזיים
1. קורוזיה במעגל הקירור
שילוב לא מתאים של מתכות, שינוי ברמת החומציות, דלדול מעכבי קורוזיה או חדירת מזהמים עלולים לעודד תהליכי קורוזיה. תוצרי הקורוזיה עשויים להשתחרר אל הנוזל וליצור חלקיקים החוסמים מעברים צרים.
2. משקעים וחלקיקים מוצקים
שאריות ייצור והתקנה, חלקיקי מתכת, חומרי איטום ומשקעים כימיים עלולים להישאר בצנרת כאשר תהליך השטיפה והניקוי לפני ההפעלה אינו מבוצע כנדרש. חלקיקים אלה עלולים להצטבר במסננים, בסעפות ובלוחות הקירור.
3. שינוי בהרכב הכימי של הנוזל
שינוי בריכוז הגליקול או התוספים הכימיים, כתוצאה מדילול, ערבוב לא מתאים או הזדקנות הנוזל, עלול לפגוע בהגנה מפני קורוזיה ולשנות את תכונות הזרימה והעברת החום.
4. זיהום מיקרוביאלי והיווצרות ביופילם
באזורים שבהם קיימת זרימה נמוכה, ובתנאים כימיים המאפשרים זאת, עלולים להתפתח מיקרואורגניזמים. שכבות ביופילם עלולות לפגוע במעבר החום ולתרום לסתימות ולתהליכי קורוזיה מקומיים. הסיכון תלוי בין היתר בריכוז הגליקול ובהרכב התמיסה.
יחידת ה-CDU: ההפרדה בין קירור המתקן לקירור השרתים
אחד הרכיבים המרכזיים בארכיטקטורת הקירור הנוזלי הוא יחידת חלוקת נוזל הקירור, CDU – Coolant Distribution Unit.
במערכות רבות היחידה משמשת כממשק בין שני מעגלים נפרדים:
-
Facility Water System – FWS: מערכת המים של המתקן, המחוברת לתשתיות פינוי החום המרכזיות.
-
Technology Cooling System – TCS: מעגל הקירור המשרת את ציוד המחשוב, לרבות לוחות הקירור ורכיבי השרתים.
ההפרדה מאפשרת בקרה מדויקת יותר על טמפרטורה, לחץ, ספיקה ואיכות הנוזל המגיע לציוד המחשוב.
לפי ההנחיות המקצועיות של ASHRAE, הדרישות לאיכות הנוזל בצד ציוד המחשוב עשויות להיות מחמירות משמעותית מאלה הנדרשות במעגל המים של המתקן.
המשמעות התכנונית ברורה: אין להניח שמים המתאימים לצ'ילר או למחליף חום מרכזי מתאימים בהכרח גם למעגלי הקירור של שרתי AI.
חמש פעולות חיוניות לפני הפעלת מערכת הקירור
השלב שבו מתקינים, שוטפים וממלאים את המערכת הוא אחד השלבים הקריטיים להבטחת אמינותה לאורך זמן.
1. ניקוי ושטיפה מבוקרת של הצנרת
לפני מילוי המערכת בנוזל הקירור הסופי יש לבצע תהליך ניקוי ושטיפה המותאם לתכנון ההידראולי ולדרישות היצרן.
התהליך נועד להסיר שאריות התקנה, לכלוך, שבבי מתכת וחומרים זרים. בדיקות לחץ ושטיפות צריכות להתבצע בהתאם לפרוטוקול מאושר, תוך הגנה על רכיבים רגישים.
2. סינון הדרגתי של הנוזל
במקום להסתמך על מסנן יחיד, ניתן לשלב כמה שלבי סינון: החל בהסרת חלקיקים גדולים ועד לסינון עדין המגן על המעברים הצרים.
רמת הסינון הנדרשת אינה אחידה בכל המערכות, ויש לקבוע אותה בהתאם למפרט של יצרני יחידות ה-CDU, לוחות הקירור ושאר רכיבי המעגל.
3. בקרה על ספיקת השטיפה
שטיפה בספיקה נמוכה מדי עלולה שלא לסלק משקעים וחלקיקים שנצמדו לדפנות הצנרת.
מנגד, ספיקת שטיפה גבוהה מדי עלולה ליצור עומסים לא רצויים.
לכן יש להגדיר מראש מהירויות שטיפה, הפרשי לחץ ותנאי קבלה התואמים את מגבלות המערכת.
4. בדיקת תאימות חומרים
יש לוודא התאמה בין נוזל הקירור, סוגי המתכות במערכת, אטמים, צינורות גמישים, מחברים ותוספים כימיים.
שימוש בחומר ניקוי שאינו מתאים לאחד מרכיבי המערכת עלול ליצור נזק שלא יתגלה מיד בהפעלה הראשונית.
5. תיעוד מדדי איכות לפני מסירת המערכת
בדיקות הקבלה צריכות לכלול את הפרמטרים הנדרשים במפרט, כגון pH, מוליכות חשמלית, עכירות, ריכוז גליקול, רמות חלקיקים ומדדים כימיים נוספים.
התיעוד משמש נקודת ייחוס לבדיקות עתידיות ומאפשר לזהות שינויים בהרכב הנוזל לאורך חיי המערכת.
מתחזוקה תקופתית לניטור רציף בזמן אמת
אחד השינויים החשובים בתחום הוא המעבר מבדיקות מעבדה תקופתיות בלבד למערכות ניטור רציף.
בדיקה הנערכת אחת למספר שבועות או חודשים מספקת תמונת מצב נקודתית, אך אינה בהכרח מזהה אירועים קצרים או שינויים מהירים.
מערכות ניטור מתקדמות מאפשרות לעקוב אחר מדדים הנדסיים ולהעבירם למערכות בקרת המבנה והתפעול.
| פרמטר לניטור | משמעות תפעולית |
|---|---|
| pH | זיהוי שינויים בחומציות העלולים להשפיע על יציבות הנוזל ועל קורוזיה |
| מוליכות חשמלית | אינדיקציה לשינויים בהרכב היוני ולחדירת מזהמים |
| עכירות וחלקיקים | זיהוי משקעים, לכלוך ותוצרי קורוזיה |
| ריכוז גליקול | מעקב אחר דילול ושמירה על הרכב התמיסה |
| טמפרטורת אספקה וחזרה | בקרה על ביצועי פינוי החום |
| ספיקה והפרשי לחץ | זיהוי חסימות, תקלות במשאבות ושינויים בהתנגדות המערכת |
| ריכוז מעכבי קורוזיה | בדיקה ייעודית של יעילות ההגנה הכימית |
לא כל המדדים ניתנים למדידה ישירה באמצעות חיישן רציף. במקרים מסוימים יש לשלב בדיקות מעבדה או דגימות תקופתיות לצד הטלמטריה.
הערך המרכזי טמון בשילוב המידע: לדוגמה, עלייה הדרגתית בהפרש הלחצים על פני מסנן, יחד עם עלייה בעכירות, עשויה להצביע על התפתחות בעיית זיהום עוד לפני שנפגעת יכולת הקירור.
מערכת בקרה המתוכננת כראוי יכולה לתרגם נתונים אלה להתראות, למגמות תחזוקה ולפעולות מניעה מתוכננות.
ההיבט הכלכלי: תקלה קטנה בנוזל, נזק גדול בתשתיות המחשוב
הסיכון הכלכלי במערכות Direct-to-Chip אינו מסתכם בעלות החלפת נוזל הקירור.
תקלה במעגל הקירור עשויה לחייב עצירת שרתים, פירוק רכיבים, ניקוי לוחות קירור, החלפת מסננים ולעיתים החלפת מכלולים.
במערכות מחשוב עתירות GPU, המשמעות עלולה להיות פגיעה בזמינות תשתיות יקרות, ירידה בניצולת משאבי המחשוב והפרעה לעומסי עבודה קריטיים.
בנוסף, זיהום נרחב של מעגל קירור עלול לחייב פעולות ניקוי במספר ארונות שרתים, במיוחד כאשר הם מחוברים למערכת חלוקה משותפת.
פרסום
לכן, יש להתייחס לאיכות נוזל הקירור כחלק ממערך ניהול הסיכונים של מרכז הנתונים, ולא כמשימה מצומצמת של תחזוקה מכנית.
המשמעות לחוות השרתים בישראל
תנאי האקלים בישראל, העלייה בצפיפות ההספק והצורך לשפר את היעילות האנרגטית מחייבים בחינה מדוקדקת של תשתיות הקירור בפרויקטים חדשים.
באקלים חם, האפשרויות לשימוש בקירור חופשי תלויות בטמפרטורות הסביבה, בתכנון המערכת ובטמפרטורות המים שהציוד מסוגל לקבל.
השימוש בקירור נוזלי עשוי לאפשר פינוי חום בטמפרטורות גבוהות יותר מאשר במערכות קירור מסורתיות, ובכך ליצור הזדמנויות להתייעלות אנרגטית. אולם מימוש היתרונות תלוי בתכנון נכון של מכלול תשתיות הקירור.
בישראל יש להביא בחשבון גם את ניהול צריכת המים, את איכות מי המילוי, את דרישות הטיפול בשפכים ואת האפשרות לשילוב מערכות קירור שאינן דורשות צריכת מים מתמשכת במעגל פינוי החום.
היבט חשוב נוסף הוא חלוקת האחריות בין קבלן המערכות המכניות, ספק יחידות ה-CDU, ספקי השרתים וצוות התפעול.
כאשר כל גורם אחראי על חלק אחר במערכת, יש צורך בהגדרה מפורשת של מפרטי איכות הנוזל, נהלי הבדיקות, תחומי האחריות ותנאי האחריות לציוד.
איכות נוזל הקירור צריכה להפוך לחלק ממדדי האמינות של מרכז הנתונים
המעבר לקירור נוזלי משנה את תפיסת תחזוקת המתקן.
בעבר התמקדו מערכות הניטור בעיקר בטמפרטורות, בלחצים, בצריכת חשמל ובפעולת ציוד הקירור המרכזי. כעת נדרשת תשומת לב גם להרכב הכימי של הנוזל, לרמות זיהום, לתהליכי קורוזיה ולשינויים הידראוליים זעירים.
המשמעות היא מעבר מתחזוקה תגובתית, המתבצעת לאחר הופעת תקלה, לניהול מצב המערכת המבוסס על נתונים רציפים, מגמות והתראות מוקדמות.
השורה התחתונה: ככל שמרכזי הנתונים הופכים צפופים ועתירי הספק, כך עולה חשיבותם של הפרטים הקטנים במערכת הקירור. נוזל הקירור, שאינו תמיד נמצא במרכז תשומת הלב בתכנון, עשוי להיות אחד הגורמים המשמעותיים ביותר בשמירה על אמינות השרתים, רציפות הפעילות ועלויות התפעול לאורך שנים.
שאלות ותשובות מקצועיות
מדוע איכות נוזל הקירור חשובה במיוחד בשרתי AI?
שרתי AI מתקדמים מייצרים עומסי חום גבוהים, ומערכות הקירור הישיר לשבב כוללות מעברי זרימה צרים. משקעים או שינויים בהרכב הנוזל עלולים להפחית את הספיקה ואת יעילות פינוי החום.
האם כל מערכות הקירור הנוזלי משתמשות בגליקול?
לא. קיימות מערכות המשתמשות במים מטופלים, בתערובות מים וגליקול ובנוזלי קירור ייעודיים אחרים. הבחירה תלויה בארכיטקטורת המערכת ובדרישות היצרן.
מה תפקידה של יחידת CDU בחוות שרתים?
יחידת CDU אחראית לחלוקה ולבקרה של נוזל הקירור, ובתצורות רבות גם להפרדה תרמית והידראולית בין מעגל המים של המתקן לבין מעגל הקירור של ציוד המחשוב.
האם ניטור רציף מחליף בדיקות מעבדה?
לא בהכרח. ניטור רציף מאפשר לזהות במהירות שינויים במדדים מסוימים, אך בדיקות מעבדה נדרשות עדיין להערכת פרמטרים כימיים וביולוגיים שאינם מנוטרים באופן ישיר.
כיצד ניתן לצמצם את הסיכון לסתימות בלוחות הקירור?
באמצעות ניקוי ושטיפה מבוקרים לפני ההפעלה, סינון מתאים, שימוש בנוזל העומד בדרישות היצרן, בקרה על תאימות חומרים ומעקב אחר רמות חלקיקים והפרשי לחצים.
