Найбільший обчислювальний центр Великобританії в Еплтонській Лабораторії Разерфорду (RAL) підтримує найбільш розвинену ділянку досліджень ІТ сервісів включаючи високопродуктивні обчислення та віртуалізацію, збереження та управління даними, і GRID сервіси. Ключовою компонентою цього центру є Petabyte Storage Group, яка забезпечує зберігання даних і засоби архівації в дуже великих обсягах і з великою пропускною здатністю доступу до них шлобальної фізичної спільноти, академічного товариства ВБ і т. д.

Один з трьох основних груп сревісів - це управління ієрархічними системами збереження (HSM), яке використовується з того часу, як в грудні 2005 року почало використовуватись SGI® InfiniteStorage Data Migration Facility (DMF) для управління ієрархічними дисковими та стрічковими системами збереження, яка основана на алгоритмах розподілу ресурсів, які визначаються користувачем. DMF обрано для комбінування місткості, вартості, продуктивності, надійності і легкості інтеграції в існуючу інфраструктуру RAL, DMF використовується для проектів різноманітними клієнтами RAL, включаючи ISIS (лідируючі в світі нейтронні і мюонні джерела), Британським Атмосферним центром обробки даних (для збереження даних про погоду), SOLAR-B (новий японський проект по вивченню сонця) та Британський Центр обробки даних сонячної системи – для кожного з яких вона спрощує та прискорює доступ до даних, адміністрування і керування.

Один з трьох основних груп сревісів - це управління ієрархічними системами збереження (HSM), яке використовується з того часу, як в грудні 2005 року почало використовуватись SGI® InfiniteStorage Data Migration Facility (DMF) для управління ієрархічними дисковими та стрічковими системами збереження, яка основана на алгоритмах розподілу ресурсів, які визначаються користувачем. DMF обрано для комбінування місткості, вартості, продуктивності, надійності і легкості інтеграції в існуючу інфраструктуру RAL, DMF використовується для проектів різноманітними клієнтами RAL, включаючи ISIS (лідируючі в світі нейтронні і мюонні джерела), Британським Атмосферним центром обробки даних (для збереження даних про погоду), SOLAR-B (новий японський проект по вивченню сонця) та Британський Центр обробки даних сонячної системи – для кожного з яких вона спрощує та прискорює доступ до даних, адміністрування і керування.

"Кажучи універсальними термінами, ми шукали рішення HSM, котре могло б підняти нас до рівня 0.5 Petabyte, якого DMF легко досягає." - Доктор Давид Корні, голова центру Petabyte Storage Group e-Science, лабораторії Резерфорда Еплтона

"Більшість наших служб направлено на дослідження для частини фізичного співтовариства, для яких ми є центром номер один в Великобританії", пояснює доктор Девід Корні, голова Petabyte Storage Group. "Типовий приклад - Large Hadron Collider в CERN, який повинен увійти в он-лайн в 2007 році. Коли він стане доступним, ми почнемо отримувати з нього дані, безпечно зберігати їх, і накопичувати в локальні центри другого рівня, а тоді, в кінці ланцюга, до них будуть мати доступ дослідники, університети і т. д. Ми очікуємо близько 4-5 Петабайт даних на протязі 2-3 років і встановлюємо мережеве з’єднання зі швидкістю передачі даних 10Gbit/секунду, яка буде з’єднувати нас безпосередньо з CERN, для більш зручного оперування даними.
Всі наші головні сервіси суттєво залежать від безпечного та надійного збереження даних, та використання різних засобів основаних на технології Grid, для отримання та відправлення даних «з» та «в» наші системи. Першим з них є Система збереження «Atlas» (ADS). Це наш внутрішній архів даних, який працює вже близько 20 років, не масштабується і обробляє близько Петабайта даних і приблизно 500,000 файлів. Ми в процесі заміни ADS з CASTOR2 на CERN-івську передову систему збереження. Ми співпрацюємо з CERN, розробляючи спеціальний інтерфейс, який надасть нам можливість масштабуватись до мільйонів файлів та десятків Петабайт даних.

Швидший, простіший доступ до архівованих файлів

"Третій із основних сервісів, які ми пропонуємо, здійснюється за допомогою SGI DMF системою управління ієрархічної системою збереження. Всі три наші сервіси звертаються до StorageTek SL8500 – машину з 10,000 слотами, яка працює з 20 стрічковими пристроями: десять 9940B та десять T10000 – які є найостаннішими і найшвидшими із доступних. Коли ми моніторили наших користувачів в 2005, було зрозуміло, що багато з них хочуть доступу до масивів даних, що накопичені. І деякі наші користувачі мають зростаючу необхідність в швидкому доступі до файлів і доступаються через файлову систему, замість того, щоб доступатись через систему віртуальних стрічок, яку ми використовували в той час. Це було те, що схилило нас придбати DMF."

Одним з прикладів використання DMF є SOLAR-B – японський проект, який включає в себе використання нового супутника, який було успішно запущено в вересні 2006 року, для забезпечення вивчення Сонця. Дані з супутника завантажуються Інститутом Космічних та Астрономічних наук Японії, зберігаються і пересилаються в локальний стрічковий кеш на RAL. Проект залучає використання інструментів Grid для спрощення передачі даних між Японією та Великобританією; Grid FTP і сертифікати, що гарантують безпеку даних; та використання серверу Grid FTP для управління передачею даних. Засоби AstroGrid (інтерфейс Grid, який використовується астрономами) використовуються також для забезпечення доступності даних з SOLAR-B та їх аналізу. Проект запускається UK Лабораторією космічних наук Мюлларда, яка використовує систему DMF в RAL, для збереження всіх отриманих даних.

"Деякі наші користувачі мають зростаючу потребу в швидкому доступі до даних і доступу через файлову систему, замість того щоб доступатись через систему віртуальних стрічок, яку ми використовували на той час. Це було те, що наштовхувало нас на придбання DMF." - доктор Девід Корни, голова Petabyte Storage Group e-Science Center, Резерфорд Еплтон.

Другий приклад був взятий з Великобританського Інформаційного Центру Сонячних Систем (UKSSDC), який об’єднує Всесвітній центр даних Сонячної Фізики (WDC). WDC працює майже 50 років, і UKSSDC – головний архів для різноманітних даних, які пов’язані з вивченням сонячного середовища.
Воно включає в себе:

• Тисяча років спостережень за плямами на Сонці Китаю та Кореї.
• Записи про плями на Сонці датовані близько 1600 роками.
• Геомагнітні заміри змін магнітного поля Землі почались в 1800-х.
• Наземні радарні спостереження верхніх шарів атмосфери, і, що важливіше – іоносфери, почались з 1930-х років.
• Супутникові дані початку 1960-х років включають заміри міжпланетного магнітного поля, сонячного вітру, інформацію з міжпланетних експедицій та ін.

"Якщо більшість даних WDC є значеннями замірів, що було здобуто різними інструментами за ці роки, то наші «Сонячні» дані перш за все основані на зображеннях, яких ми маємо дуже багато на стрічках, і які потім зберігаються в сховищі даних «Atlas» RAL-а", пояснює Метью Вайлд, відповідальний за проект великобританського Центру даних Сонячних систем. "В минулому, щоб дозволити доступ людям до цих даних ми би були повинні створювати дуже великі каталоги файлів, які зберігаються в ADS, а потім назад переміщати файли, які людина шукала, - процес який би міг зайняти декілька хвилин, особливо якщо б їм потрібно було звертатись до відносно великого складеного файлу, в межах якого вони, можливо, були б зацікавлені тільки в декількох окремих зображеннях.

"ADS хороший в тому розумінні, що забезпечує нас захистом: ми знаємо, що як тільки файли опинились там – вони захищені, і, якщо нам коли-небудь буде потрібен якийсь оригінальний файл з НАСА чи будь що, то ми точно знаємо де він знаходиться. Встановлення DMF значить, що замість необхідності звертатись до пам'яті картриджа, якщо хтось захоче отримати якийсь файл, він має можливість швидкого огляду через каталог робочих копій і просто обирати зображення, які йому потрібні. Старі файли, що рідко «викликаються» користувачами зберігаються на стрічці, і якщо вони комусь знадобляться, вони завжди доступні.; а для більш «популярних» зображень DMF забезпечує більш швидкий та дружній шлях доступу користувачів до нього.

"Система працює, як відкритий для доступу архів. Зараз ми маємо близько 4000 постійних користувачів від академіків до школярів. Завдаки веб доступу до наших зображень ми очікуємо, що ця цифра значно зросте. Бо, коли ми, наприклад, запускали сайт, який був присвячений повному сонячному затемненню над Великобританією 1999-го, то мали близько 12 мільйонів кліків на один день, тому ми знаємо яку цікавість такі фотографії можуть викликати!

"В цілому ми оперували 10TB даних, але дивлячись в майбутнє ми мали проект STEREO, який згенерує близько 30TB даних за наступні декілька років – і буде керуватись за допомогою DMF." - Метью Вайлд, відповідальний за проект, Британський Центр Даних Сонячних систем .

Чому SGI?

"Коли ми підійшли в притул до конкурентноздатної пропозиції для проекту HSM, ми хотіли отримати комбінацію потужності, ціни, продуктивності, надійності (для інтеграції з нашою існуючою інфраструктурою), і сумісності з Storage Resource Broker, який ми використовуємо для управління даними" , сказав Тім Фолкес, менеджер Сховища даних." SARA в Амстердамі (яка виконує схожі завдання, схожого масштабу до наших) виконує багато роботи на ньому і також на Grid FTP, тому ми іздили до них з візитом, щоб поговорити про досвід використання ними DMF. Наші обговорення були дуже продуктивними, і також висвічували низький рівень підтримки, який потребує система, - вона в основному сама слідкує за собою і легка в адмініструванні."

HSM рішення Petabyte Storage Group базуються на SGI® InfiniteStorage NAS 2000 Gateway з DMF, та двох-частинні сервери SGI® Altix® 350 середнього рівня з чотирма процесорами та 12GB пам'яті. Спочатку система була оснащена SGI® InfiniteStorage 9300 з загальною місткістю SATA дисків 28TB, до якої додатково було додано 16.8TB в грудні 2005 року. RAL також має ліцензію, яка допускає його розширення до 500TB, як і вимагалось.

"В термінах масштабованості – ми шукали HSM рішення, яке могло б підняти нас на рівень 0.5 Petabyte, а DMF такого рівня досягає легко", підбиває підсумки Девід Корні. "Та для наших користувачів, коли інші системи потребують спеціалізованих навичок для того, щоб звертатись до них, DMF використовує NFS в якості файлової системи, і ви отримуєте більш просте рішення!"