ZFS 기반의 NAS/SAN 스토리지 만들기

스토리지 시스템 준비하기

하드웨어 준비하기
1. 4G FC HBA(옵션. NFS,cifs,iscsi 만 사용한다면 없어도 된다.)
스토리지서버와 클라이언트에 모두 장착하여 point to point 방식으로 연결하여
4G 대역폭의 SAN형태의 DAS시스템으로 활용.
추후 FC switch를 추가한다면 다수의 SAN client들을 지원할 수 있을 것이다.
Qlogic HBA의 target mode를 활용 할 것이며 레퍼런스가 가장 많은 Qlogic 의 제품을 추천한다.
필자의 경우 스토리지 서버에는 Qlogic 4port HBA(qle 2464)를 클라이언트들에는 single 또는 dual port 4G HBA(qle 2462)를 장착하여 스토리지를 구성하였다.
Fiber channel을 활용하는 이유는 가격이 많이 낮아진 중고 FC HBA를 활용하여 4Gbps 대역폭의 스토리지 네트워크를 구성하고자 함이다. 물론 여유가 있다면 8G HBA를 권장한다.
4G FC를 이용할 경우 대략 360MB/s 로 데이터 전송이 가능해 진다.(최대 425MB/s)
2. Quad port이상의 기가비트 랜 카드
많은수의 NFS,CIFS client를 위해 대역폭 확장을 위해 넉넉한 포트의 네트워크 컨트롤러를 준비하는 것이 좋다.
3.많은 디스크를 장착할 수 있는 케이스
필자의 경우 IDC에서 운영할 예정이라서 기본적으로 랙타입의 서버를 구매하였다.
중고 서버를 구해하고자 한다면 우리나라에서는 가장 저렴한 서버들이 나오는 2cpu를 추천한다. :-)
본인 역시 이곳에서 아주 저렴한 가격으로 HP DL180 G6 모델을 구매 하였다.
구매한 모델은 12bay 모델로 디스크를 12개~14개까지 장착이 가능한 모델이다.
4. SAS/SATA 컨트롤러
ZFS 와 어울리는 컨트롤러로 LSI제품군을 추천하며 필자의 경우 IBM M1115컨트롤러를
LSI 9211-8i IT mode flash로 개조하여 사용 중 이다.
추천 컨트롤러는 LSI 9211-4i(8i),IBM M1015,M1115,Dell H310,H200 등이며
cache 메모리 없는 저렴한 컨트롤러등도 사용이 가능하다.
위에서 언급된 컨트롤러들은 필요에 따라 LSI IT mode firmware로 cross flash를 해야 될 경우가 있다.
구글에서 lsi it mode firmware 등으로 검색해보면 꽤 많은 사이트들이 발견될 것이니 참고해서 작업을 하도록 한다.
참고 할 만한 사이트를 하나 남겨 본다. IT Firmware

5. RAM
zfs 공식문서에 따르면 최대한 많은 메모리를 장착하기를 권장하고 있으며 대략 1TB 당 1G의 메모리를 권장하는 편이다.
6. CPU
파일 서버의 경우 실제로 CPU를 많이 사용하지는 않으므로 남는 CPU가 있다면 재활용하도록 하자.
다만 zfs기능중의 하나인 중복 제거나 압축 기능을 사용하고자 한다면 보통의 파일 서버보다는
조금 더 파워풀한 CPU를 사용하도록 하자.
7. SSD
선택 사항이나 ZFS의 성능 향상을 위해서 가급적으로 장착하여 cache,log device로 활용하도록 하자.

참고) 필자의 스토리지 시스템 구축 비용이다.

항목 비용 비고
DL180G6 30만원 2cpu 장터
4G FC HBA qle2464 1EA, qle2462 2EA $100 ebay에서 저렴하게 나온다.배송료 포함
HGST 4T HDD 5EA 97만원 온라인 쇼핑몰
OS용 디스크 0원 기존에 사용하던 디스크 재활용
SAS/SATA HBA IBM M1115 5만원 2cpu장터,LSI IT firmware
NIC 3만원 2cpu 장터

추가 구매 예정: 60~120G SSD 2~3EA

대략 200만원 정도 투자하면 대략 16TB의 4G SAN/1G~4G NAS 통합 스토리지 시스템을 구성 할 수 있게 된다.

1.1.2 Software 준비하기

ZFS 지원하는 OS는 여러가지가 있다(Linux,FreeBSD,NexentaStor,Openindiana,OmniOS등등).
각자의 취향에 맞는 OS를 선택하도록 하자.
필자의 경우 FC Target을 사용하고 18T 이상의 스토리지를 구성 할 예정 이라서 [http]illumos 기반의 [http]OmniOS를 사용하기로 결정하였다. [http]NexentaStor의 경우 18TB이하 까지만 무료로 사용이 가능하다.
리눅스 베이스 시스템도 ZFS를 지원하고 FC target mode를 지원하지만 약간은 복잡한 과정을 거쳐야 하므로 일단은 opensolaris 기반의 OmniOS를 사용하기로 하였다.
유닉스 계열의 시스템에 익숙하지 않고 18TB이하로 구성하고자 한다면 NexentaStor를 추천한다. GUI Mode가 제법 잘 갖춰져 있다.
추가적으로 콘솔환경에서 스토리지를 구성하고 GUI환경을 사용하고자 한다면 [http]napp-it를 추천한다. OmniOS+nap-it또는 Openindiana+nepp-it 조합도 나름 추천하는 편이다.
필자처럼 콘솔 매니아라면 그냥 CLI모드에서 열심히… :-)

Pages:

stone has written 25 articles

Leave a Reply