대한씨앤아이 5

Ceph Storage 하드웨어 최소 사양

Ceph을 소규모 클러스터 및 개발 클러스터로 사용하기위한 최소 사양에 대하여 알아보도록 하겠습니다. 다음은 하드웨어 최소 사양이므로 성능에 대해 고려하지 않았습니다. 각각의 용도에 따라 하드웨어 요구사항이 나뉘게 되며 다음을 참고하기 최소로 구성할 때 참고하시기 바랍니다. IBM Ceph Storage 5, 6, 7 / Community 16.2.x, 17.2.x, 18.2.x 모두 동일한 최소 사양을 가이드하고 있습니다. MON (ceph-mon-container) processor : 1 x AMD64 or Intel 64 CPU CORE per mon-container RAM : 3 GB per mon-container Disk space : 10 GB per mon-container, 50 GB..

IBM Storage Ceph S3-Select 벤치마크 (Trino을 사용한 TPC-DS)

다음은 IBM Storage Ceph Object S3-Select 기능을 활성화 하여 Trino 에서 수행한 벤치마트 테스트 결과에 대한 내용입니다. 1TB 와 3TB 기준TPC-DS 벤치 마크 쿼리를 사용하여 진행되었으며 평균 2.5배 성능이 향상되었으며 S3-Select 기능을 비활성화 하였을 때 보다 네트워크 데이터 처리량이 144TB 감소하여 최대 9배 이상 향상된 것을 볼 수 있었습니다. Trino 란? 사용자가 단일 SQL 문을 사용하여 여러 소스의 데이터를 쿼리할 수 있는 분산 SQL 쿼리 엔진입니다. 테스트 방법 다양한 테스트를 위하여 1TB, 2TB, 3TB 세 가지 스케일 팩터에서 72개의 TPC-DS쿼리 를 실행하여 테스트를 진행하였습니다. 데이터는 압축되지 않은 CSV 형식으로 진..

Linux chrony client 설정

Rocky Linux 8.x / CentOS 8.x 부터 NTP (rdate, ntpq)을 지원하지 않습니다. 서버와의 시간 동기화를 위하여 chronyd 서비스 사용을 권장하고 있습니다. chronyd 서비스는 낮은 CPU 점유율과 작은 메모리 사용량을 장점으로 가지고 있으며 Autokey 프로토콜로 패킷 인증을 진행하는 시스템의 경우, chronyd 서비스는 지원하지 않으므로 참고하기 바랍니다. (Autokey 프로토콜은 보안 문제로 사용하지 않는다.) chronyd 서비스는 NTP와 달리 기본 설정에서 접근을 설정하지 않으면 UDP 123 포트를 리슨(Listen)하지 않습니다. 본 내용은 클라이언트 설정에 대하여 가이드를 제공한다. 설정에 있어 "pool"과 "server" 중, "pool"은 N..

Linux & Development 2024.04.18

IBM Ceph Storage 7.0 - NVMe over TCP Gateway (Tech Preview)

IBM Storage Ceph 7.0 에서 개선 사항 중, 하나인 NVMe over TCP Storage Gateway에 대한 추가 및 설정 방법에 대하여 알아보도록 하겠습니다. 다음 내용은 Tech Preview Code 로 참고만 하시는게 좋을 것 같습니다. NVMe over TCP 는 데이터 센터에서 사용되는 고대역폭, 저지연 광 네트워크를 활용하여 NVMe 드라이브의 성능 및 집약도, 병렬성을 확보하도록하는 네트워크 전송 기반 스토리지 프로토콜 입니다. 이러한 방식을 이용하여 증가하고 있는 대규모의 데이터 센터, 컨테이터 및 가상 머신에 대하여 효율적인 고성능 솔루션을 제공할 수 있습니다. NVMe Gateway 서비스와 리스너를 구성하여 NVMe namespace를 Ceph RBD 이미지와 연결..

Linux TuneD 이용한 성능 최적화

시스템 성능을 위해서 여러가지 방법을 사용하여 튜닝을 진행할 수 있습니다. 이번에는 TuneD 을 이용하여 다양한 환경에 대한 최적화 방법에 대해 알아보겠습니다. 본 시스템은 Rocky Linux 8.8 기반으로 작성되었습니다. TuneD는 다양한 종류의 profile을 제공하고 있습니다. 설치되어 있는 서비스 마다 지원하는 profile 목록이 다르니 command을 통하여 지원 목록을 확인할 수 있으며, 새롭게 커스터마이징 하여 생성 및 적용이 가능합니다. 1. Profile 종류 Type Description accelerator-performance Throughput-performance 프로필과 동일한 튜닝으로 대기 시간 100us 미만이 되도록 CPU가 낮은 C Status로 머무르게 한다...

Linux & Development 2024.04.04