전체 글 39

IBM Ceph storage Appliance (Ready Node)

IBM 에서 Ceph Storage 을 이용한 Appliance 장비가 출시되었습니다. 두가지 종류의 Node 타입을 제공되고 있으며 사용 용도에 따라 선택적으로 사용 가능합니다. 하드웨어 장비 스펙 및 이미지를 선택하시는데 참고하시기 바랍니다.  Specifications Storage Ceph NodeStorage Ceph NVMe Flash NodeProcessorIntel Xeon Silver 4313Intel Xeon Gold 6438N# of Processors22RAM256GB512GBOS Disks2 x 240GB Raid 1 SSD2 x 480GB Raid 1 SSDData Acceleration Disks2 X 3.84TB SSDN/ARack Height2U2UWidth482 mm (1..

Ceph OSD 드라이브 교체

Ceph 은 구조적으로 Disk 결함이 발생하여도 데이터를 유실되지 않고 성능 저하 상태에서 동작할 수 있습니다. 장애가 발생한 드라이브의 데이터를 자동으로 다은 OSD에 저장된 데이터의 추가 사본을 클러스터의 다른 OSD로 자동으로 백필(backfill) 됩니다. 이러할 경우, 결함 OSD 드라이브를 교체하고 OSD를 수동으로 교체합니다.  1. Ceph 클러스터에서 OSD 제거1.1. cephadm shell 로그인 [root@host01 ~]# cephadm shell 1.2 장애 OSD 확인[ceph: root@host01 /]# ceph osd tree | grep -i downID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF..

Ceph Storage 하드웨어 최소 사양

Ceph을 소규모 클러스터 및 개발 클러스터로 사용하기위한 최소 사양에 대하여 알아보도록 하겠습니다. 다음은 하드웨어 최소 사양이므로 성능에 대해 고려하지 않았습니다. 각각의 용도에 따라 하드웨어 요구사항이 나뉘게 되며 다음을 참고하기 최소로 구성할 때 참고하시기 바랍니다. IBM Ceph Storage 5, 6, 7 / Community 16.2.x, 17.2.x, 18.2.x 모두 동일한 최소 사양을 가이드하고 있습니다. MON (ceph-mon-container) processor : 1 x AMD64 or Intel 64 CPU CORE per mon-container RAM : 3 GB per mon-container Disk space : 10 GB per mon-container, 50 GB..

Ceph Storage Block Device 성능 테스트 방법 (RBD Benchmark)

Ceph Storage의 Block Device (RBD) 에 대한 성능 테스트 방법입니다.  1. pool 생성rbd을 지원하는 pool 생성 또는 기존 pool에 rbd 타입을 추가한다.  2. pool 에 image 생성 3. image 쓰기 성능 테스트 [ceph: root@cnode1 /]# rbd bench --io-type write image01 --pool=testbenchbench type write io_size 4096 io_threads 16 bytes 1073741824 pattern sequential SEC OPS OPS/SEC BYTES/SEC 1 6256 4850.97 19 MiB/s 2 6448 3178.13..

Ceph Storage 기본 성능 테스트 방법 (Benchmark)

Ceph storage에 대한 기본적인 성능 테스트에 대해서 확인해 보도록 합니다. Ceph storage는 rados becnh 라는  벤치마크 툴을 기본적으로 제공하고 있습니다. 읽기와 쓰기에 대한 성능 테스트 방법에 대하여 소개하도록 하겠습니다.  모든 파일 시스템 cache 삭제[ceph: root@cnode1 /]# echo 3 | sudo tee /proc/sys/vm/drop_caches && sudo sync3 테스트 pool 생성 (testbench)[ceph: root@cnode1 /]# ceph osd pool create testbench 100 100pool 'testbench' created dashboard 에서 testbench pool 생성 확인이 가능하다.  1. pool..

IBM Storage Ceph S3-Select 벤치마크 (Trino을 사용한 TPC-DS)

다음은 IBM Storage Ceph Object S3-Select 기능을 활성화 하여 Trino 에서 수행한 벤치마트 테스트 결과에 대한 내용입니다. 1TB 와 3TB 기준TPC-DS 벤치 마크 쿼리를 사용하여 진행되었으며 평균 2.5배 성능이 향상되었으며 S3-Select 기능을 비활성화 하였을 때 보다 네트워크 데이터 처리량이 144TB 감소하여 최대 9배 이상 향상된 것을 볼 수 있었습니다. Trino 란? 사용자가 단일 SQL 문을 사용하여 여러 소스의 데이터를 쿼리할 수 있는 분산 SQL 쿼리 엔진입니다. 테스트 방법 다양한 테스트를 위하여 1TB, 2TB, 3TB 세 가지 스케일 팩터에서 72개의 TPC-DS쿼리 를 실행하여 테스트를 진행하였습니다. 데이터는 압축되지 않은 CSV 형식으로 진..

Linux chrony client 설정

Rocky Linux 8.x / CentOS 8.x 부터 NTP (rdate, ntpq)을 지원하지 않습니다. 서버와의 시간 동기화를 위하여 chronyd 서비스 사용을 권장하고 있습니다. chronyd 서비스는 낮은 CPU 점유율과 작은 메모리 사용량을 장점으로 가지고 있으며 Autokey 프로토콜로 패킷 인증을 진행하는 시스템의 경우, chronyd 서비스는 지원하지 않으므로 참고하기 바랍니다. (Autokey 프로토콜은 보안 문제로 사용하지 않는다.) chronyd 서비스는 NTP와 달리 기본 설정에서 접근을 설정하지 않으면 UDP 123 포트를 리슨(Listen)하지 않습니다. 본 내용은 클라이언트 설정에 대하여 가이드를 제공한다. 설정에 있어 "pool"과 "server" 중, "pool"은 N..

Linux & Development 2024.04.18

git pull error 해결 방법

git 사용 중, git pull 을 하였을 때 error 가 발생할 때가 있습니다. 그 중, "error: Your local changes to the following files would be overwritten by merge:" 메세지에 대한 간단한 해결 방법에 대해 이야기 하고자 합니다. 1. git pull (error message) [stephen@fedora web]$ git pull stephen@10.0.2.2's password: Updating 77abdb9..844456f error: Your local changes to the following files would be overwritten by merge: web/package-lock.json web/package...

Linux & Development 2024.04.15

IBM Ceph Storage 7.0 - NVMe over TCP Gateway (Tech Preview)

IBM Storage Ceph 7.0 에서 개선 사항 중, 하나인 NVMe over TCP Storage Gateway에 대한 추가 및 설정 방법에 대하여 알아보도록 하겠습니다. 다음 내용은 Tech Preview Code 로 참고만 하시는게 좋을 것 같습니다. NVMe over TCP 는 데이터 센터에서 사용되는 고대역폭, 저지연 광 네트워크를 활용하여 NVMe 드라이브의 성능 및 집약도, 병렬성을 확보하도록하는 네트워크 전송 기반 스토리지 프로토콜 입니다. 이러한 방식을 이용하여 증가하고 있는 대규모의 데이터 센터, 컨테이터 및 가상 머신에 대하여 효율적인 고성능 솔루션을 제공할 수 있습니다. NVMe Gateway 서비스와 리스너를 구성하여 NVMe namespace를 Ceph RBD 이미지와 연결..

OpenSSL을 이용한 SSL 인증서 발급 방법

웹서버에 보안을 위하여 SSL 인증서를 발급받아 설치할 수 있습니다. SSL 인증서의 경우, 공인된 업체를 통하여 일정 금액을 지불하면 발급 받을 수 있습니다. 하지만 개인적으로 사용하거나 개발용으로 사용할 때, Self Signed Certificate 을 생성하여 Self Signed SSL 인증서를 생성할 수 있습니다. 다음은 Self Signed SSL 인증서를 생성하는 방법입니다. 1. Root CA 인증서 생성 1.1 RSA 키 생성 [stephen@fedora temp]$ openssl genrsa -aes256 -out daehancni-rootca.key 2048 Enter PEM pass phrase: Verifying - Enter PEM pass phrase: AES-256 암호화 ..

Linux & Development 2024.04.09