Bagaimana kinerja penataan lapisan cache Ceph? | Solusi penyimpanan Ceph mikroserver ARM | Ambedded
Pengantar: Dalam posting ini, kami membagikan uji coba benchmark untuk menunjukkan bagaimana penataan lapisan cache Ceph dapat meningkatkan kinerja dari kolam HDD dengan menyiapkan lapisan cache yang didukung oleh kolam NVMe.'Ambedded' adalah solusi penyimpanan pusat data Taiwan yang efisien menggunakan mikroserver ARM Ceph: teknologi penyimpanan Ceph, integrasi server ARM, penyimpanan terdefinisi perangkat lunak, optimisasi penyimpanan perusahaan, penghematan biaya perangkat Ceph, perangkat lunak manajemen penyimpanan, dan penyedia komputasi penyimpanan klaster sejak tahun 2013. Seri Mars 400 dari Ambedded mengubah efisiensi penyimpanan Ceph dengan teknologi mikroserver ARM, memberikan solusi yang kompak dan hemat energi tanpa mengorbankan performa. Ideal untuk bisnis yang bertujuan untuk penyimpanan dengan kepadatan tinggi dengan kebutuhan ruang dan energi minimal.
Bagaimana kinerja penataan lapisan cache Ceph?
Pengantar:
Dalam posting ini, kami membagikan uji coba benchmark untuk menunjukkan bagaimana penataan lapisan cache Ceph dapat meningkatkan kinerja dari kolam HDD dengan menyiapkan lapisan cache yang didukung oleh kolam NVMe.
Apa itu Ceph Cache Tier dan Bagaimana Cara Kerjanya
Tier cache Ceph memungkinkan penggunaan perangkat penyimpanan yang lebih cepat sebagai cache untuk yang lebih lambat. Ini melibatkan pembuatan kumpulan perangkat penyimpanan cepat/mahal (seperti NVMe SSD) yang dikonfigurasi untuk berfungsi sebagai tingkat cache, dan kumpulan perangkat penyimpanan yang lebih lambat/lebih murah (seperti HDD) yang dikonfigurasi untuk berfungsi sebagai tingkat penyimpanan ekonomis. Tier cache menyimpan data yang sering diakses dari tier pendukung dan melayani permintaan baca dan tulis dari klien. Agen penataan cache secara berkala mengosongkan atau mengeluarkan objek dari lapisan cache berdasarkan kebijakan tertentu.
Demo Tingkat Cache Ceph
Di masa lalu, ketika menggunakan SATA SSD sebagai perangkat penyimpanan lapisan cache, peningkatan kinerja yang dihasilkan dari penggunaan lapisan cache tersebut tidak signifikan. Saat ini, biaya NVMe SSD telah turun banyak dibandingkan beberapa tahun yang lalu, dan kinerja NVMe SSD jauh lebih cepat dibandingkan HDD. Kami ingin mengetahui apakah penggunaan NVMe SSD sebagai lapisan cache dapat sangat membantu dalam sebuah pool HDD.
Untuk menguji efektivitas lapisan cache NVMe, kami menyiapkan uji coba untuk melihat apakah lapisan cache meningkatkan kinerja dari kolam penyimpanan berbasis HDD.
Pengaturan Kluster
| Host NVME | 3 x Ambedded Mars500 Ceph Appliances |
| Spesifikasi dari setiap perangkat Mars 500 | |
| CPU | 1x Ampere Altra Arm 64-Core 3.0 Ghz |
| Memori | 96 GiB DDR4 |
| Jaringan | 2 port 25Gbps Mellanox ConnectX-6 |
| Drive OSD | 8 x Micron 7400 960GB |
| Host HDD | 3 x Ambedded Mars400 Ceph Appliances |
| Spesifikasi dari setiap alat Mars 400 | |
| CPU | 8 node Quad-Cores Arm64 1.2 GHz |
| Memori | 4GiB per node. 32 GiB per alat |
| Jaringan | 2 x 2.5Gbps per node. 2x 10 Gb uplink melalui switch di dalam chassis. |
| Drive OSD | 8 x 6 TB Seagate Exos HDD |
Informasi Klaster Ceph
- 24 x OSD pada NVMe SSD (3x perangkat Ambedded Mars500)
- 24x OSD pada HDD (3x perangkat Ambedded Mars400)
- Server HDD dan NVMe terletak di root CRUSH yang terpisah.
Klien Uji
- 2 x server fisik. 2x kartu jaringan 25Gb
- Setiap server menjalankan 7x VM.
- Setiap VM memiliki 4x inti dan 8 GB memori
Menyiapkan Cache Tier oleh manajer Ambedded UVS
1. Buat pool dasar dengan menggunakan osd HDD.
2. Buatlah sebuah pool NVMe menggunakan NVMe SSD osd.
3. Tambahkan pool NVMe sebagai tingkat cache dari pool HDD.
konfigurasi tingkat cache default:
- Mode cache: writeback
- hit_set_count = 12
- hit_set_period = 14400 detik (4 jam)
- target_max_byte = 2 TiB
- target_max_objects = 1 juta
- min_read_recency_for_promote & min_write_recency_for_promote = 2
- cache_target_dirty_ratio = 0.4
- cache_target_dirty_high_ratio = 0.6
- cache_target_full_ratio = 0.8
- cache_min_flush_age = 600 detik.
- cache_min_evict_age = 1800 detik.
Kami menguji kolam HDD sebelum dan setelah menambahkan tingkat cache, menggunakan hingga 14 klien untuk menghasilkan beban uji. Setiap klien memasang RBD untuk uji coba fio. Pemuatan uji dimulai dengan satu klien dan meningkatkan jumlah klien setelah setiap pekerjaan uji selesai. Setiap siklus pengujian berlangsung selama lima menit dan dikendalikan secara otomatis oleh Jenkins. Kinerja pekerjaan uji adalah jumlah dari semua hasil klien. Sebelum menguji tiering cache, kami menulis data ke RBD hingga kolam tier cache terisi melebihi rasio penuh target cache ceph (0.8).
Diagram menunjukkan bahwa kinerja dari pool HDD murni secara signifikan ditingkatkan setelah menambahkan pool cache NVMe.
Selama tes tingkat cache, kami mengamati statistik pool menggunakan perintah ceph osd pool stats. Pool cache dan pool dasar memiliki aktivitas flushing, evicting, dan promoting. Kami mencatat statistik pool pada berbagai waktu selama tes tingkat cache.
Data telah ditulis ke cache
id cache pool 84
io klien 21 MiB/s wr, 0 op/s rd, 5.49k op/s wr
id mars400_rbd pool 86
tidak ada yang sedang terjadi
Cache sedang melakukan promosi dan pengusiran
ID cache kolam 84
IO klien 42 MiB/s wr, 0 op/s rd, 10.79k op/s wr
IO tingkat cache 179 MiB/s evict, 17 op/s promote
ID kolam mars400_rbd 86
IO klien 0 B/s rd, 1.4 MiB/s wr, 18 op/s rd, 358 op/s wr
Cache sedang dibilas
pool cache id 84
client io 3.2 GiB/s rd, 830 op/s rd, 0 op/s wr
cache tier io 238 MiB/s bilas, 14 op/s promosi, 1 PGs dibilas
pool mars400_rbd id 86
client io 126 MiB/s rd, 232 MiB/s wr, 44 op/s rd, 57 op/s wr
PG sedang mengeluarkan
memori cache id 84
io klien 2.6 GiB/s rd, 0 B/s wr, 663 op/s rd, 0 op/s wr
io tier cache 340 MiB/s flush, 2.7 MiB/s mengeluarkan, 21 op/s mempromosikan, 1 PGs mengeluarkan (penuh)
pool mars400_rbd id 86
io klien 768 MiB/s rd, 344 MiB/s wr, 212 op/s rd, 86 op/s wr
Mengosongkan PG dan IO klien langsung ke pool dasar.(klien sedang menulis data)
ID cache kolam 84
IO klien 0 B/dt wr, 0 op/dt rd, 1 op/dt wr
IO tingkat cache 515 MiB/dt flush, 7.7 MiB/dt evict, 1 PGs flushin
ID kolam mars400_rbd 86
IO klien 613 MiB/dt wr, 0 op/dt rd, 153 op/dt wr
Setelah melakukan tes secara terus menerus, kami memberikan waktu istirahat pada kluster selama beberapa jam dan melakukan ulang tes penulisan acak 4 kB. Kami mendapatkan performa yang jauh lebih baik. Hal ini karena ruang cache telah dibebaskan untuk penulisan baru.
Dari tes ini, kami yakin bahwa penggunaan pool NVMe sebagai tingkat cache dari pool HDD dapat memberikan peningkatan performa yang signifikan.
Perlu diingat bahwa performa dari tingkat cache tidak dapat dijamin. Performa tersebut bergantung pada kondisi cache hit pada saat itu, dan performa yang sama tidak dapat dicapai dengan melakukan tes berulang dengan konfigurasi dan beban kerja yang sama.
Jika aplikasi Anda membutuhkan performa yang konsisten, gunakanlah pool SSD NMMe yang murni.
- Produk Terkait
Perangkat Penyimpanan Ceph Flash NVME Mars500 Semua
Mars 500
Perangkat Mars 500 Ceph dirancang untuk memenuhi kebutuhan penyimpanan data cloud-native berkinerja tinggi. Perangkat ini memanfaatkan teknologi flash...
rincian
Aplikasi penyimpanan Ceph Mars 400PRO
Mars 400PRO
Mars 400 Ceph Appliance dirancang untuk memenuhi kebutuhan penyimpanan data cloud-native dengan kapasitas tinggi. Ini menggunakan HDD untuk mendapatkan...
rincian
Produk Populer
Unduh Bagaimana kinerja penataan lapisan cache Ceph? | Manajer UVS - Mempermudah Pemasangan Ceph | Ambedded
Berlokasi di Taiwan sejak tahun 2013, Ambedded Technology Co., LTD. telah menjadi penyedia solusi penyimpanan blok dan objek. Manajemen penyimpanan data utama mereka meliputi teknologi penyimpanan Ceph, integrasi server ARM, penyimpanan terdefinisi perangkat lunak, optimasi penyimpanan perusahaan, penghematan biaya perangkat Ceph, perangkat lunak manajemen penyimpanan, dan solusi penyimpanan blok dan objek. Mereka menyediakan dukungan Ceph profesional, sistem penyimpanan yang dapat diskalakan dengan efisiensi penyimpanan tinggi di pusat data.
Ambedded menawarkan solusi penyimpanan Ceph terkini pada mikroserver ARM, disesuaikan untuk pembeli B2B yang ingin mengoptimalkan sistem penyimpanan perusahaan mereka. Solusi lengkap kami untuk perangkat Ceph mengurangi total biaya kepemilikan (TCO) dan menyederhanakan manajemen penyimpanan, mendukung penyimpanan blok, sistem file, dan objek dalam platform yang terpadu. Dengan komitmen terhadap inovasi dan dukungan pelanggan, Ambedded adalah mitra terpercaya Anda untuk solusi SUSE Enterprise Storage Appliance yang skalabel dan efisien. Nikmati integrasi yang mulus dan dukungan profesional untuk memanfaatkan potensi penuh teknologi Ceph dalam bisnis Anda.
Ambedded telah menyediakan sistem penyimpanan yang dapat diskalakan dan manajemen penyimpanan Ceph yang hemat biaya kepada pelanggan sejak tahun 2013, dan dengan teknologi canggih dan pengalaman selama 20 tahun, Ambedded memastikan bahwa setiap kebutuhan pelanggan terpenuhi.