Записки сисадмина

Или помойное ведро идей

Обзор хардварного ATAoE Target - SR1521

Недавно купил ATAoE таргеты SR-1521 у непосредственных производителей. Хотел бы поделиться впечатлениями.

ATAoE (ATA over Ethernet) - низкоуровневый протокол простого и быстрого доступа к SATA-дискам по сетям Ethernet. Он базируется непосредственно на уровне Ethernet и никаким образом не действует на уровнях TCP/IP, UDP. Таким образом, он не тратит ни процессорное время ни память на обработку пакетов и это делает его достаточно быстрым и простым (8 страниц спецификации ATAoE против 227 страниц спецификации iSCSI).

Существует обратная сторона медали - ATAoE таргеты и инициатор должны быть расположены внутри одной Ethernet сети. Иначе попросту вообще никак.

Из функций безопасности, ATAoE предполагает только фильтрацию по MAC адресам. В принципе, что-либо другое придумать сложно.

Читать далее…

Теги: ,,,,,

01.08.2008 Автор admin | Кластерные системы | 7 comments

Организация бюджетной SAN с помощью ATAoE

Передо мной недавно встал ребром вопрос организации Storage Area Network (SAN), с которым в дальнейшем будет работать кластер.

Насколько я понимаю, Storage Area Network - Это совокупность дисков (или дисковых массивов), которые посредством некой технологии подключены одновременно к нескольким нодам кластера, которые, в свою очередь посредством некой технологии одновременно с этими дисками работают. И все эти диски на каждой ноде видны как локальные диски. Ну что то вроде этого:

Storage Area Network

Наиболее популярная технология организации SAN - Fibre Channel. Присмотревшись поближе к этой штуковине и ее реализациям, а особенно к ценам, мне захотелось посмотреть на что нибудь еще :)

Тут я вспомнил, что при компиляции ядра Linux часто натыкался на опцию “ATA Over Ethenet Support“. Порывшись детальнее, обнаружил сайт разработчиков ATAoE - Coraid Co.

В отличии популярной технологии iSCSI и GEOM GATE (FreeBSD), ATAoE работает на уровне Ethernet (тогда как iSCSI & GEOM GATE работает на TCP/IP уровне). Это есть преимущество и недостаток ATAoE - ATAoE будет работать только в зоне локальной сети, но зато не будет сжирать процессорное время на обработку TCP/IP протокола.

Поскольку разворачивать SAN в глобальных масштабах мне не нужно, я остановился на ATAoE.

Читать далее…

Теги: ,,,,

15.07.2008 Автор admin | Кластерные системы, Очумелые ручки | 9 comments

Кластерные файловые системы

Преамбула

Нарисовалась у меня намедни проблема. У меня стоял баллансировочный nginx, а за ним 4 сервера на отдаче с зеркальными SAS-ми. Контента 80 гиг & counting… Контент мелкий и противный, отзеркалирован по каждому серверу на отдаче. Я наивно полагал что сию систему можно масштабировать по горизонтали.

Потом столкнулся с реальной Ж. При добавлении еще одного SAS-зеркала, отдача этого всего “кластера” увеличивается всего лишь на 80 мбит/с. SAS просто захлебывался в random seek’ах. Про то что это жутко тормозило все дело я молчу.

Возможно тормозила файловая система UFS2. При чем вполне возможно. И скорей всего так и было. Но переформатировать контентные серваки и поставить на них какой нить Линукс с ReiserFS и позже натолкнуться на те же грабли мне не улыбалось.

По сему я ринулся в поиски и запостил вот такую вот проблему в ru_highload

Решение было только одно: рассредоточить всю эту туеву хучу файлов по множеству винтов. Но кто и как этот хаос будет рассредотачивать? И что этими всеми винтами будет управлять?

Так я познакомился с кластерными файловыми системами :)

Читать далее…

Теги: ,

04.07.2008 Автор admin | Кластерные системы | 10 comments