Ceph是一個高度可擴展的分布式存儲系統，提供了對象、塊和文件系統存儲服務。Cephadm是Ceph官方推薦的部署和管理工具，它簡化了Ceph集群的安裝與運維。本文將詳細介紹如何通過cephadm工具搭建Ceph集群，并配置Ceph文件系統（CephFS）進行掛載，為信息處理和存儲提供支持服務。

一、環境準備與前提條件

在開始部署前，請確保滿足以下條件：

1. 操作系統：建議使用CentOS 8/RHEL 8、Ubuntu 20.04 LTS或更高版本。所有節點系統時間需同步。
2. 節點規劃：至少需要3個節點（物理機或虛擬機），分別承擔監視器（Mon）、管理器（Mgr）和存儲（OSD）角色。生產環境建議更多節點以實現高可用。
3. 網絡配置：所有節點需在同一網絡，并配置主機名解析（如/etc/hosts或DNS）。建議規劃公共網絡（前端客戶端訪問）和集群網絡（后端數據同步）以提升性能。
4. 權限：在所有節點上使用具有root權限或sudo權限的用戶進行操作。
5. 存儲設備：為OSD節點準備未使用的磁盤或分區（如/dev/sdb、/dev/sdc）。

二、安裝Cephadm工具

在計劃作為初始管理節點的服務器上安裝cephadm。

1. 下載cephadm腳本：
`bash
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
`

2. 安裝cephadm包（以RHEL/CentOS為例）：
`bash
./cephadm add-repo --release octopus # Octopus為Ceph版本，可按需替換
./cephadm install
`
或直接使用腳本安裝Ceph集群組件：
`bash
./cephadm install ceph-common cephadm
`

三、引導初始Ceph集群

在管理節點上，使用cephadm引導一個新集群。假設管理節點主機名為node1，IP為192.168.1.10。

cephadm bootstrap --mon-ip 192.168.1.10

此命令將：

• 在當前節點（node1）上部署Ceph監視器和管理器。
• 生成SSH密鑰對，用于管理其他節點。
• 輸出訪問Ceph集群的默認憑據（如admin用戶密鑰）。

完成后，可通過ceph status驗證集群狀態。

四、添加集群節點

將其他節點添加到集群中，使其承擔OSD等角色。

1. 將SSH公鑰復制到所有節點：引導過程生成的密鑰位于/etc/ceph/ceph.pub，需將其添加到每個節點的~/.ssh/authorized_keys中。
2. 添加主機：在管理節點執行：
`bash
ceph orch host add node2
ceph orch host add node3
`
可指定IP地址：ceph orch host add node2 192.168.1.11。

1. 查看主機列表：ceph orch host ls。

五、添加存儲設備（OSD）

OSD是實際存儲數據的守護進程。將磁盤添加到集群作為OSD。

1. 列出可用設備：
`bash
ceph orch device ls
`

1. 創建OSD：

• 自動添加所有可用設備：ceph orch apply osd --all-available-devices

- 或指定特定設備（如node2上的/dev/sdb）：
`bash
ceph orch daemon add osd node2:/dev/sdb
`

1. 驗證OSD：ceph osd tree 或 ceph osd status。

六、部署Ceph文件系統（CephFS）

CephFS是一個符合POSIX標準的分布式文件系統，需部署MDS（元數據服務器）守護進程。

1. 部署MDS服務：
`bash
ceph orch apply mds myfs --placement="node1,node2" # 在node1和node2上部署MDS
`

2. 創建CephFS：
`bash
ceph fs volume create myfs # 自動創建所需存儲池
`

3. 驗證CephFS：
`bash
ceph fs ls
ceph mds stat
`

七、掛載CephFS到客戶端

在需要訪問CephFS的客戶端節點上執行掛載。

1. 安裝Ceph客戶端軟件包：
`bash
# RHEL/CentOS

yum install ceph-common
# Ubuntu

apt install ceph-common
`

2. 獲取管理員密鑰：從管理節點的/etc/ceph/ceph.client.admin.keyring復制密鑰環到客戶端的/etc/ceph/目錄。
3. 創建掛載點并掛載：
`bash
mkdir /mnt/mycephfs
mount -t ceph node1:6789,node2:6789,node3:6789:/ /mnt/mycephfs -o name=admin
`
或使用內核驅動掛載（推薦）：
`bash
mount -t ceph 192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs -o name=admin
`

4. 驗證掛載：df -hT /mnt/mycephfs 或寫入測試文件。
5. 配置自動掛載：在/etc/fstab中添加：
`

192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs ceph name=admin,_netdev 0 0
`

八、管理與監控

• 集群健康狀態：定期使用ceph status或ceph health detail檢查。
• Web Dashboard：Cephadm默認啟用儀表板，可通過ceph mgr services查看URL，使用引導輸出的憑據登錄。
• 擴展集群：添加新節點或OSD時，重復第四、五步即可。
• 注意事項：確保防火墻開放所需端口（如6789用于Mon，6800-7300用于OSD，3300用于MDS）。

九、

通過cephadm工具，我們可以高效地部署和管理Ceph分布式存儲集群。CephFS提供了一個可擴展的共享文件系統，適用于云環境、大數據分析及備份存儲等場景，為信息處理與存儲支持服務提供了堅實保障。后續可根據業務需求調整存儲池策略、設置配額或集成OpenStack/Kubernetes等平臺。