Диспетчерське керування найбільшим у світі дата-центром з рідинним охолодженням ДЦ «Глдані», Грузія

Інтегратор: ООО GeniSYS

Замовник: компанія BitFury Group, Тбілісі, Грузія

Час реалізації: 2016 рік

Українсько-грузинська інжинірингова компанія GeniSYS, що спеціалізується у сфері електроенергетики та промислової автоматизації, реалізувала проект диспетчерського управління для найбільшого у світі дата-центру з рідинним охолодженням ДЦ «Глдані», розташованого на північній околиці столиці Грузії, Тбілісі.

Замовником проекту виступила компанія BitFury Group — один із найбільших гравців на ринку майнінгу Біткоіна, лідер з виробництва обчислювального обладнання для майнінгу, входить до п'ятірки найбільших пулів з обчислювальної потужності.

Унікальність проекту полягає у використанні технології Immersion Cooling для охолодження всього парку серверів — обладнання для майнінгу знаходиться всередині так званих дата-танків і занурене в рідину, без використання проміжних теплообмінників, вентиляторів, механічних частин, що рухаються, або кабелів. Загальна електрична споживана потужність дата-центру складає 40 МВА.

Опис проекту

Після проведення структурного аналізу, було прийнято рішення розглядати даний дата-центр як сукупність двох підкомплексів. Обладнання, призначене для трансформації, передачі та розподілу електричної енергії, належить до енергетичного підкомплексу. А допоміжне обладнання, призначене для забезпечення заданих параметрів функціонування ІТ обладнання, утворює технологічний підкомплекс.

Відповідно до завдання, система диспетчеризації повинна включати в себе комплекс апаратних та програмних засобів, призначених для:

• збору параметрів стану та роботи інженерного обладнання;
• їх нормалізації та перетворення;
• передачі уніфікованими каналами зв'язку;
• відображення у доступному розумінню людини вигляді комп'ютерних мнемосхем.

Як ПЗ для диспетчеризації ДЦ була обрана SCADA zenon Supervisor v7.5, COPA-DATA , Австрія, офіційним дистриб'ютором якої є компанія СВ АЛЬТЕРА.

Серед особливостей даної SCADA слід відзначити модульність, а також підтримку спеціалізованих протоколів, які застосовуються в енергетиці (у нашому випадку – IEC61850).

Диспетчеризація енергетичного комплексу

До складу енергетичного комплексу ДЦ входить таке обладнання:

• силовий трансформатор Stromberg 110/10 кВ, 50 МВА;
• силові кабельні лінії 10 кВ;
• розподільне обладнання первинного розподілу (комірки);
• розподільне обладнання вторинного розподілу (комірки);
• розподільні трансформатори напруги 10/0,4 кВ, 2500 кВА.

Основними джерелами передачі даних параметрів стану обладнання для первинного та вторинного розподілу електричної енергії є вбудовані цифрові реле захисту ABB сімейства Relion (RTU), REF (RET) 615 з інтерфейсом передачі даних стандарту IEC 61850 та REF 610 з інтерфейсом RS 485, Modbus RTU.

Для отримання інформації про стан обладнання розподільних пристроїв вторинного розподілу використовуються інтелектуальні модулі віддаленого збору інформації MOXA ioLogik. Дані інтелектуальні модулі дозволяють організувати додаткові канали збору інформації про стан обладнання, а також перетворити низькорівневий інтерфейс RS485 Modbus RTU на високорівневий Modbus TCP.

На дисплейних мнемосхемах оператора відображення потенціалів мережі та її стану від джерел напруги, споживачів, функціональних елементів, таких як автоматичні вимикачі, заземлювачі, роз'єднувачі, лінії зв'язку здійснюється шляхом використання в SCADA спеціалізованого модуля топології — zenon ALC.

Одним із найважливіших аспектів автоматизації підстанції є організація топологічних блокувань. Пропонованою системою передбачається вирішення цього завдання на двох рівнях – рівні мережі збору інформації MOXA ioLogik та на рівні програмного забезпечення SCADA zenon.

Зв'язок між пристроями розподіленого збору інформації, цифровими реле та сервером диспетчеризації здійснюється через волоконно-оптичну мережу підприємства.

Диспетчеризація технологічного комплексу

До технологічного комплексу ДЦ входить:

• основне технологічне обладнання систем охолодження дата-танків;
• обладнання розподілення електроенергії РУ 0,4 кВ;
• система водопостачання: накопичувальний резервуар, ресивери, насосна станція;
• системи вентиляції;
• система датчиків контролю температури та вологості;
• обладнання чилерів;
• обладнання резервного та гарантованого електропостачання;
• система моніторингу витоків;
• система охоронної та пожежної сигналізації.

Для збору даних з перерахованих вище систем передбачається як використання наявних каналів зв'язку, так і обладнання додаткових на базі ПЛК і модулів віддаленого збору інформації. Основними джерелами даних є ПЛК ABB AC500, кожен з яких за заданим алгоритмом керує одним із двадцяти технологічних кластерів..

Основним протоколом обміну даними між вузлами збору інформації (ПЛК, модулями I/O, частотними перетворювачами) та SCADA є Modbus TCP – простий у налаштуванні та роботі, протокол забезпечує високу швидкість обміну даних.

Опис візуалізації SCADA zenon

Головна мнемосхема технологічного комплексу виконана за стандартом ISA 101 High Performance HMI. Доступ до керування окремим технологічним обладнанням здійснюється через контекстні меню. Крім того, у системі реалізовано ієрархічну структуру прав доступу. Так, активація контекстного меню налаштування параметрів частотного перетворювача можлива лише за певних прав доступу. Якщо користувач таких прав не має – йому будуть доступні параметри у режимі перегляду чи обмеженої функціональності, наприклад, зміна частоти у певних межах.

Для відображення графіків (трендів) зміни технологічних параметрів застосовується спеціалізований модуль zenon Extended Trend.

Головна мнемосхема ДЦ розташована на трьох моніторах, на четвертий монітор виводиться інтерфейс аварій (Alarms) та подій (Events) системи.

Основні функції системи:

• відображення параметрів процесів технологічного та енергетичного комплексів у реальному масштабі часу;
• відображення графіків технологічних та енергетичних параметрів (реального часу та архівні);
• відображення подій та аварій у системі, а також online довідка по тій чи іншій аварії;
• деталізоване відображення подій та аварій з миттєвими показниками по IEC61850;
• зберігання інформації в архівах;
• зміна налаштувань регуляторів системи;
• дистанційне керування обладнанням, увімкнення/вимкнення комутаційних пристроїв;
• облік споживаної електроенергії, мотогодин напрацювання обладнання;
• звіти різної глибини та складності.

Загальна кількість зовнішніх змінних SCADA системи – 2780 TAGs, включаючи внутрішні – 3871 TAGs.