Review HPE ProLiant DL380a Gen12: Máy chủ 4U làm mát bằng không khí dành cho AI đa GPU mật độ cao

HPE ProLiant Compute DL380a Gen12 hướng đến các nhóm AI doanh nghiệp phổ thông muốn có mật độ xử lý cao mà không cần thay đổi cấu hình giá đỡ. Khung máy 4U làm mát bằng không khí này dễ dàng lắp đặt, hỗ trợ tối đa tám GPU kép và cung cấp PCIe Gen5 xuyên suốt. Nó có thể được cấu hình với hai CPU Intel Xeon 6, mỗi CPU có tối đa 144 lõi, 4TB DDR5 trên 32 DIMM và mười sáu khay NVMe E3.S cho thông lượng và dung lượng cao. Mục tiêu rất đơn giản: đạt được khả năng suy luận cấp độ sản xuất và tinh chỉnh tập trung ở quy mô lớn mà không cần sử dụng hệ thống làm mát bằng chất lỏng.

Đối với bộ tăng tốc, HPE xác nhận một loạt các sản phẩm bao gồm NVIDIA H200 NVL, H100 NVL, L40S, L20, L4 và RTX PRO 6000 Blackwell Server Edition, với các tùy chọn nguồn điện hỗ trợ các thành phần tiêu thụ điện năng cao hơn. Trong bài đánh giá này, chúng tôi tập trung vào RTX PRO 6000 Server, một sản phẩm lý tưởng cho AI doanh nghiệp. Mỗi card có 96GB ECC GDDR7, PCIe Gen5 x16, lõi Tensor hỗ trợ FP4 và công suất 600W, hoạt động tốt trong các rack làm mát bằng không khí. Hệ thống của chúng tôi được trang bị bốn card, đây là điểm khởi đầu hợp lý cho suy luận thông lượng cao và tinh chỉnh mục tiêu, với khả năng mở rộng trong tương lai.

HPE hoàn thiện nền tảng với các thành phần vận hành quan trọng. iLO 7 xử lý thiết lập ngoài băng tần, trạng thái hoạt động và điều khiển nguồn, được hỗ trợ bởi Silicon Root of Trust—một vùng bảo mật cho tính toàn vẹn của phần mềm—hỗ trợ RSA 4096-bit và mô-đun iLO DC-MHS có thể tháo rời giúp tăng cường xác minh chuỗi cung ứng. Máy chủ này cũng tích hợp với khung AI đám mây riêng của HPE để quản trị đa nhóm và triển khai lặp lại ở quy mô toàn hệ thống.

Thông số kỹ thuật của HPE ProLiant Compute DL380a Gen12

Thiết kế và Xây dựng HPE ProLiant DL380a Gen12

ProLiant Compute DL380a Gen12 là máy chủ rack 4U, hai socket thuộc dòng máy chủ hpe được thiết kế cho các triển khai hiệu năng cao và có khả năng mở rộng. Với kích thước 6,88 x 17,63 x 31,60 inch, nó kết hợp sức mạnh tính toán CPU và GPU mạnh mẽ với hệ thống làm mát bằng không khí hiệu quả để hoạt động đáng tin cậy ngay cả khi tải nặng.

Với trọng lượng từ 82,7 lbs đến 137,8 lbs, tùy thuộc vào cấu hình, khung máy hỗ trợ các linh kiện dung lượng cao, nguồn điện dự phòng và dễ dàng tiếp cận từ phía trước để bảo trì. Thiết kế của nó nhấn mạnh hiệu năng, khả năng mở rộng và quản lý nhiệt mạnh mẽ, khiến nó phù hợp với môi trường doanh nghiệp và trung tâm dữ liệu.
Về phần lưu trữ, HPE ProLiant DL380a Gen12 cung cấp cấu hình 4 và 8 khay ổ cứng ở định dạng SFF hoặc EDSFF. Máy chúng tôi dùng để đánh giá được cấu hình sẵn với bộ khung trước HPE DL380a Gen12 NS204i-u, hỗ trợ hai thiết bị khởi động NVMe M.2 có thể tháo lắp nóng. Khung máy cũng bao gồm tám khay 2,5 inch, được trang bị hai ổ SSD U.3 mang thương hiệu HPE với dung lượng 15,36 TB. HPE cung cấp nhiều tùy chọn khay ổ cứng phía trước, cho phép khả năng mở rộng linh hoạt đáp ứng các nhu cầu triển khai đa dạng.

Thiết bị có thể được vận chuyển bằng hai tay cầm ở mỗi bên, có nghĩa là cần ít nhất hai người để lắp đặt và gắn vào giá đỡ một cách an toàn. Nó sử dụng bộ ray 2U với các thanh ray có thể thu gọn, cho phép lắp đặt dễ dàng và bảo trì ngay trong giá đỡ mà không cần phải tháo toàn bộ giá đỡ.
Ở phía sau của HPE ProLiant DL380a Gen12, bạn sẽ thấy một bố cục được sắp xếp hợp lý, tập trung vào luồng khí, khả năng mở rộng và khả năng bảo trì. Hệ thống hỗ trợ tối đa tám bộ nguồn MCRPS (1-8) với vách ngăn thông gió tích hợp, duy trì khả năng làm mát tối ưu khi hoạt động. Khả năng mở rộng rất rộng rãi, với nhiều khe cắm PCIe Gen5 x16 (khe cắm 1-6) có thể chứa cả bộ mở rộng mặc định và tùy chọn, cũng như các khe cắm OCP A và B cho cấu hình bộ điều hợp mạng linh hoạt.

Khả năng kết nối bao gồm một cổng mạng iLO chuyên dụng, một số cổng USB 3.2 Gen 1 và một cổng VGA để quản lý cục bộ. Cần lưu ý rằng Khe cắm 1 chỉ khả dụng khi cáp kết nối trực tiếp HPE DL380a Gen12 4EDSFF dành cho NVD (P74716-B21) được cài đặt và không thể sử dụng với ổ đĩa SFF NVMe, trong khi Khe cắm 4 không được hỗ trợ trong các cấu hình với 4 hoặc 8 GPU DW.

Hệ thống HPE ProLiant DL380a Gen12 được cấp nguồn thông qua các bộ nguồn mô-đun M-CRPS Titanium Hot Plug, với các tùy chọn được hỗ trợ bao gồm các mẫu 1500W (P67244-B21), 2400W (P67252-B21) và 3200W (P67248-B21). Hệ thống hỗ trợ tối đa tám bộ nguồn, cho phép dự phòng N+1 để đảm bảo hoạt động liên tục ngay cả khi một mô-đun nguồn bị lỗi. Tùy thuộc vào cấu hình GPU, yêu cầu và phân bổ nguồn điện có thể khác nhau. Máy thử nghiệm của chúng tôi được trang bị năm bộ nguồn M-CRPS 2400W, cung cấp đủ công suất để hỗ trợ bốn GPU 600W TDP của hệ thống đồng thời duy trì khả năng dự phòng đáng tin cậy.
Nhìn từ trên xuống bên trong HPE ProLiant DL380a Gen12, rõ ràng HPE đã thiết kế khung máy này với chiến lược tản nhiệt ưu tiên GPU, đặt các GPU ở phía trước hệ thống để nhận luồng không khí trực tiếp, không bị cản trở. Hệ thống làm mát có bốn cụm quạt có thể tháo lắp nóng, mỗi cụm được cấu tạo bởi một quạt kép 92x56mm và hai quạt đơn 40x28mm. Các quạt nhỏ hơn tập trung luồng không khí vào CPU và các mô-đun bộ nhớ, đảm bảo quản lý nhiệt hiệu quả cho các thành phần phía dưới. Ngược lại, các quạt kép lớn hơn được thiết kế đặc biệt để tạo ra luồng không khí lưu lượng cao trực tiếp qua mảng GPU. Thiết kế cân bằng này đảm bảo làm mát tối ưu cho cả các thành phần tính toán và tăng tốc, ngay cả khi hoạt động với tải trọng cao liên tục.

Khi kiểm tra cấu hình GPU, thiết bị của chúng tôi đã được đi dây sẵn cho bốn GPU PCIe 5.0, mỗi GPU được lắp đặt gọn gàng bên trong khung GPU phía trước. Hệ thống được cấu hình với GPU NVIDIA RTX PRO 6000 (Phiên bản máy chủ Blackwell, 96GB), một phần trong dòng sản phẩm chuyên nghiệp mới của NVIDIA được tối ưu hóa cho các tác vụ AI, dựng hình và tính toán. Tùy thuộc vào cấu hình, DL380a Gen12 có thể hỗ trợ 4 hoặc 8 GPU kép hoặc tối đa 16 bộ tăng tốc đơn, mang lại sự linh hoạt cho nhiều triển khai doanh nghiệp và AI.

Các GPU được hỗ trợ cho nền tảng này bao gồm:

• Card đồ họa NVIDIA RTX PRO 6000 Server Edition (96GB)
• NVIDIA H200 NVL (141GB)
• NVIDIA H100 NVL (94GB)
• NVIDIA L40S (48GB)
• NVIDIA L20 (48GB)
• NVIDIA L4 (24GB)

Thiết kế GPU linh hoạt này, kết hợp với các làn PCIe Gen5 băng thông cao, đảm bảo DL380a Gen12 sẵn sàng cho cả các tác vụ suy luận mật độ cao và môi trường huấn luyện AI quy mô lớn. Quan sát kỹ hơn bên trong thùng máy, với tấm tản nhiệt được lắp đặt, chúng ta có thể thấy cách tiếp cận kỹ thuật chu đáo của HPE đối với việc quản lý luồng không khí. Tấm tản nhiệt có thiết kế vách ngăn được đúc chính xác, giúp dẫn luồng không khí hiệu quả qua CPU, các mô-đun bộ nhớ và VRM, đảm bảo làm mát đồng đều cho toàn bộ hệ thống.

Xét về hệ thống tản nhiệt CPU, HPE đã thiết kế DL380a Gen12 với mục tiêu cân bằng nhiệt. Mỗi bộ xử lý Xeon 6 được trang bị một bộ tản nhiệt cao, mật độ cao, được thiết kế để xử lý lượng nhiệt tỏa ra từ chính CPU và lượng nhiệt bổ sung do các GPU đặt ở phía trước thùng máy tạo ra. Thiết kế này đảm bảo hiệu suất làm mát ổn định ngay cả khi hoạt động với tải trọng hỗn hợp nặng, nơi luồng khí thải từ GPU có thể làm tăng nhiệt độ môi trường xung quanh khu vực CPU. Khi sử dụng các GPU công suất cao, sự kết hợp giữa các bộ tản nhiệt cao hơn và thiết kế luồng khí từ trước ra sau của HPE cung cấp diện tích bề mặt và hiệu quả làm mát cần thiết để quản lý tải nhiệt bổ sung một cách hiệu quả.

Tổng quan về ILO 7

Như đã đề cập, hệ thống bao gồm một cổng iLO chuyên dụng cung cấp khả năng quản lý ngoài băng tần để kiểm soát và giám sát máy chủ hoàn chỉnh. Thiết bị này đi kèm với giao diện HPE iLO 7 mới, cung cấp cho quản trị viên quyền truy cập vào giao diện được làm mới và chức năng nâng cao, tích hợp với HPE Compute Ops Management để cấu hình, giám sát và quản lý vòng đời được đơn giản hóa. Dưới đây là màn hình đăng nhập HPE iLO 7 mới từ hệ thống mẫu của chúng tôi.

Bắt đầu với bảng điều khiển, chúng ta có thể thấy rằng HPE iLO 7 cung cấp một giao diện hiện đại, ngay lập tức làm nổi bật trạng thái hệ thống và các chỉ số sức khỏe quan trọng. Bảng chính cung cấp tổng quan về trạng thái nguồn, sức khỏe và trạng thái kết nối của máy chủ với HPE Compute Ops Management. Ở bên phải, thông tin hệ thống chung như địa chỉ IP của iLO, tên máy chủ và loại giấy phép được hiển thị để tham khảo nhanh.

Bảng điều khiển tổng hợp các chỉ số thiết yếu—như khả năng dự phòng quạt, tình trạng nguồn điện và nhiệt độ—vào một bố cục rõ ràng, được mã hóa màu sắc, giúp dễ dàng đánh giá tình trạng máy chủ chỉ trong nháy mắt. Truy cập phương tiện ảo và bảng điều khiển từ xa cũng có thể được truy cập trực tiếp từ trang chính, giúp đơn giản hóa các tác vụ quản lý từ xa thông thường mà không cần điều hướng thêm.

Trong tab Firmware, HPE iLO 7 cung cấp một cái nhìn rõ ràng và có tổ chức về tất cả các thành phần và các tác vụ quản lý cập nhật. Giao diện liệt kê kho firmware, hàng đợi cài đặt đang hoạt động và kết quả xác minh theo bố cục dạng thẻ, dễ dàng điều hướng. Quản trị viên có thể nhanh chóng bắt đầu cập nhật, tải các gói lên kho lưu trữ iLO hoặc tạo bộ cài đặt để triển khai hàng loạt.

Việc xác minh phần mềm và quản lý kho lưu trữ được tích hợp trực tiếp vào giao diện này, cho phép người dùng xác nhận tính toàn vẹn và duy trì tính nhất quán phiên bản giữa các thành phần. Menu Hành động nhanh ở bên phải giúp đơn giản hóa các tác vụ thiết yếu, chẳng hạn như cập nhật phần mềm hoặc tải lên các tệp mới. Thẻ Cài đặt phần mềm cung cấp quyền kiểm soát các chính sách hạ cấp và việc chấp nhận các gói của bên thứ ba.

Trong phần Host, HPE iLO 7 cung cấp quyền truy cập nhanh vào các chức năng quản lý máy chủ quan trọng, bao gồm điều khiển nguồn, phương tiện ảo, tình trạng phần cứng và hiệu suất hệ thống. Quản trị viên có thể xem trạng thái dự phòng phần cứng theo thời gian thực, truy cập nhật ký quản lý tích hợp hoặc khởi chạy bảng điều khiển từ xa trực tiếp từ giao diện này. Bố cục cũng bao gồm các thao tác nhanh như tắt máy an toàn, khởi động lại nguồn và các chức năng đặt lại, cho phép điều khiển từ xa hoàn toàn hệ thống mà không cần truy cập vật lý.

Bảng điều khiển bên phải hiển thị các cài đặt máy chủ, bao gồm trạng thái TPM, cấu hình chính sách nền tảng và thông tin mô-đun phần cứng. Nhìn chung, phần này làm nổi bật vai trò của iLO 7 như một trung tâm điều khiển tập trung, cho phép các quản trị viên quản lý nguồn điện một cách an toàn, giám sát các sự kiện và duy trì giám sát hoạt động trong một giao diện duy nhất.
Từ mục Máy chủ > Phần cứng, chúng ta có thể thấy các GPU được cài đặt trong hệ thống. Như đã lưu ý, thiết bị được trang bị bốn GPU NVIDIA RTX PRO 6000 Blackwell, mỗi GPU đều được báo cáo là đã bật và hoạt động bình thường. iLO 7 cung cấp thông tin phần cứng chi tiết, bao gồm số hiệu model, số hiệu linh kiện và số sê-ri, cho phép quản trị viên kiểm tra tình trạng của các thành phần một cách nhanh chóng.

Trong tab Bảo mật, HPE iLO 7 hợp nhất tất cả các điều khiển chính liên quan đến bảo vệ hệ thống và quản lý truy cập. Bảng tổng quan cung cấp cái nhìn tổng quan về trạng thái bảo mật tổng thể, làm nổi bật các mức độ rủi ro, khóa cấu hình và trạng thái chứng chỉ. Từ đây, quản trị viên có thể quản lý cài đặt mã hóa, phương thức xác thực và chứng chỉ TLS, cũng như cấu hình xóa an toàn và quản lý khóa từ xa.

Giao diện hiển thị rõ ràng các khu vực cần chú ý, chẳng hạn như chứng chỉ tự ký hoặc quản lý khóa chưa được cấu hình, đồng thời vẫn xác nhận hoạt động an toàn khi cần thiết. Nhật ký bảo mật, chính sách quản lý người dùng và kiểm soát truy cập đều dễ dàng truy cập, cung cấp cho quản trị viên cái nhìn toàn diện về tình trạng bảo mật của hệ thống trực tiếp từ môi trường iLO.

Trong tab Ứng dụng HPE, iLO 7 cung cấp quyền truy cập vào các công cụ tích hợp giúp tăng cường triển khai máy chủ và quản lý vòng đời. Từ giao diện này, quản trị viên có thể khởi chạy Intelligent Provisioning, một tiện ích tích hợp được thiết kế để đơn giản hóa việc cài đặt hệ điều hành, cập nhật firmware và cấu hình hệ thống mà không cần phương tiện bên ngoài.

Tab Cài đặt iLO tập hợp tất cả các tùy chọn cấu hình và quản trị để quản lý giao diện iLO. Từ đây, quản trị viên có thể kiểm soát quyền truy cập của người dùng, cấu hình cổng mạng, phương thức xác thực và hành vi ghi nhật ký. Menu này cũng bao gồm các tùy chọn để khắc phục sự cố, thực thi chính sách, quản lý giấy phép và đồng bộ hóa thời gian.

Các thao tác nhanh, chẳng hạn như sao lưu hoặc khôi phục cấu hình iLO và thực hiện thiết lập lại, đều có sẵn ở bên phải, giúp đơn giản hóa các tác vụ bảo trì. Bố cục này phản ánh giao diện hiện đại, dựa trên thẻ của iLO 7, cung cấp một cách thức quản lý bảo mật, kết nối và các thông số hoạt động một cách gọn gàng và có tổ chức từ một vị trí tập trung duy nhất.

Kiểm thử hiệu năng

Để đánh giá khả năng thực tế của DL380a Gen12, chúng tôi đã tiến hành một bộ kiểm tra hiệu năng toàn diện bao gồm cả suy luận AI và các tác vụ tính toán thông thường. Các bài kiểm tra này bao gồm các bài kiểm tra hiệu năng phục vụ trực tuyến vLLM cho các mô hình ngôn ngữ lớn (LLM) và các bài kiểm tra hiệu năng của Phoronix Test Suite để đo lường thông lượng CPU, băng thông bộ nhớ, hiệu quả phục vụ web và hiệu năng mã hóa.

Cấu hình hệ thống

• CPU: 2 x CPU Intel Xeon 6527P
• Bộ nhớ: 16 x HPE 64GB 2Rx4 PC5-3400B-R Smart Kit
• GPU: 4 x NVIDIA RTX PRO 6000 (96GB)
• Dung lượng lưu trữ:  2 x 15,63TB PM1733a U.3

vLLM Online Serving – LLM Inference Performance

vLLM là công cụ suy luận và phục vụ thông lượng cao phổ biến nhất cho LLM. Công cụ đánh giá hiệu năng phục vụ trực tuyến vLLM đo lường khả năng phục vụ thực tế của công cụ suy luận này dưới các yêu cầu đồng thời. Nó mô phỏng khối lượng công việc sản xuất bằng cách gửi yêu cầu đến máy chủ vLLM đang chạy với các tham số có thể cấu hình, bao gồm tốc độ yêu cầu, độ dài đầu vào/đầu ra và số lượng máy khách đồng thời. Công cụ này đo lường các chỉ số chính, bao gồm thông lượng (tok/s), thời gian đến token đầu tiên và thời gian cho mỗi token đầu ra, giúp người dùng hiểu được hiệu suất của vLLM trong các điều kiện tải khác nhau.

Chúng tôi đã kiểm tra hiệu năng suy luận trên ba mô hình tiêu biểu với các quy mô và phương pháp lượng tử hóa khác nhau, đánh giá khả năng xử lý khối lượng công việc suy luận thực tế của bốn GPU NVIDIA RTX PRO 6000 trên HPE ProLiant DL380a Gen12.

Hiệu suất mô hình dày đặc

Các mô hình dày đặc đại diện cho kiến ​​trúc LLM thông thường, trong đó tất cả các tham số và kích hoạt đều được sử dụng trong quá trình suy luận. Chúng tôi đã đánh giá hai cấu hình mô hình dày đặc: Llama-2-70b-chat-hf và Llama-3.2-90B-Vision-Instruct.

Llama-2-70B-Chat Performance

Ở chế độ đồng thời một người dùng (BS=1) với TP=4, mô hình đạt được 32,89 tok/s mỗi người dùng với TPOT là 30,18 ms. Ở BS=8, hiệu suất đạt 15,68 tok/s mỗi người dùng với tổng thông lượng 433,62 tok/s và TPOT là 35,98 ms. Khi mở rộng lên BS=32, tổng thông lượng đạt 741,62 tok/s trong khi vẫn duy trì 8,00 tok/s mỗi người dùng với TPOT là 43,44 ms.

Llama-3.2-90B-Vision-Instruct Performance

Ở BS=1 với TP=4, mô hình cung cấp 20,59 tok/s mỗi người dùng với TPOT là 38,27 ms. Ở BS=16, hiệu suất giảm xuống còn 7,20 tok/s mỗi người dùng với tổng thông lượng 806,14 tok/s và TPOT là 54,98 ms. Tổng thông lượng tối đa đạt được là 1372,21 tok/s ở BS=128, cung cấp 2,59 tok/s mỗi người dùng với TPOT là 122,75 ms.

Hiệu suất kiểu dữ liệu vi mô

Microscaling đại diện cho một phương pháp lượng tử hóa tiên tiến, áp dụng các hệ số tỷ lệ chi tiết cho các khối trọng số nhỏ thay vì lượng tử hóa đồng nhất trên các nhóm tham số lớn. Định dạng NVFP4 của NVIDIA triển khai kỹ thuật này thông qua biểu diễn dấu phẩy động theo khối, trong đó mỗi khối vi mô gồm 8-32 giá trị chia sẻ một số mũ chung làm hệ số tỷ lệ. Phương pháp chi tiết này bảo toàn độ chính xác số học trong khi đạt được biểu diễn 4 bit, duy trì dải động quan trọng đối với kiến ​​trúc transformer. Định dạng này tích hợp với kiến ​​trúc Tensor Core của NVIDIA trên RTX PRO 6000, cho phép tính toán hỗn hợp độ chính xác hiệu quả với khả năng giải nén tức thời trong các phép toán ma trận.

Hiệu năng GPT-OSS-120B

Chúng tôi đã đánh giá mô hình GPT-OSS-120B của OpenAI sử dụng lượng tử hóa NVFP4. Ở chế độ đồng thời một người dùng với TP=2, mô hình đạt được 176,09 tok/s mỗi người dùng với độ trễ TPOT là 5,46 ms, độ trễ thấp nhất trong bộ thử nghiệm của chúng tôi. Ở BS=4 với TP=4, hiệu suất đạt 105,79 tok/s mỗi người dùng đồng thời cung cấp tổng thông lượng 1155,94 tok/s với độ trễ TPOT là 7,79 ms. Ở BS=32 với TP=4, thông lượng tăng lên 47,54 tok/s mỗi người dùng và tổng cộng 3956,44 tok/s với độ trễ TPOT là 13,86 ms. Tổng thông lượng tối đa 4015,77 tok/s đạt được ở BS=64, cung cấp 25,38 tok/s mỗi người dùng với độ trễ TPOT là 14,78 ms.

Điểm chuẩn Phoronix

Phoronix Test Suite là một nền tảng đo hiệu năng tự động mã nguồn mở, hỗ trợ hơn 450 cấu hình kiểm thử và hơn 100 bộ kiểm thử thông qua OpenBenchmarking.org. Nó xử lý mọi thứ từ cài đặt các thư viện phụ thuộc đến chạy thử nghiệm và thu thập kết quả, lý tưởng cho việc so sánh hiệu năng, xác thực phần cứng và tích hợp liên tục. Chúng ta sẽ tập trung vào các bài kiểm thử sau: Stream, 7-Zip, biên dịch nhân Linux, Apache và OpenSSL.

Băng thông bộ nhớ luồng

Trong bài kiểm tra Stream, đo lường thông lượng bộ nhớ thô, HPE DL380a Gen12 đạt được con số ấn tượng 542 GB/s, chứng minh khả năng duy trì tốc độ truyền dữ liệu cao của nền tảng dưới tải liên tục. Mức băng thông này làm cho hệ thống đặc biệt hiệu quả đối với các khối lượng công việc như mô hình hóa dữ liệu, mô phỏng và suy luận AI, nơi các tập dữ liệu lớn phải di chuyển nhanh chóng giữa bộ nhớ và tài nguyên tính toán.

Nén 7-Zip:
Bài kiểm tra nén 7-Zip đo được 305 k MIPs, làm nổi bật hiệu quả đa luồng mạnh mẽ của hệ thống đối với các tác vụ nén và giải nén đòi hỏi nhiều tài nguyên tính toán. Kết quả này cho thấy DL380a Gen12 rất phù hợp với môi trường liên quan đến việc đóng gói dữ liệu thường xuyên, các tác vụ lưu trữ hoặc quy trình sao lưu dựa trên hiệu suất CPU ổn định và có thể lặp lại.
Biên dịch Kernel

Khi biên dịch toàn bộ nhân Linux (allmodconfig), DL380a Gen12 hoàn thành tác vụ trong 316 giây. Kết quả này phản ánh khả năng xử lý song song các tác vụ nặng về mã nguồn một cách dễ dàng của hệ thống. Hiệu suất biên dịch nhanh hơn đồng nghĩa với thời gian xây dựng ngắn hơn và tốc độ lặp lại được cải thiện cho các nhà phát triển làm việc trong môi trường phần mềm quy mô lớn hoặc CI/CD.

Máy chủ web Apache

Về hiệu năng phục vụ web, DL380a Gen12 duy trì được 94.348 yêu cầu mỗi giây trong bài kiểm tra Apache. Kết quả này chứng tỏ khả năng xử lý I/O cân bằng và hiệu quả bộ nhớ đệm mạnh mẽ, cung cấp thông lượng và khả năng phản hồi cần thiết cho các ứng dụng web doanh nghiệp, giao diện ảo hóa hoặc dịch vụ lưu trữ nội bộ.

Xác minh OpenSSL

Hiệu năng mã hóa cũng mạnh mẽ không kém, với DL380a Gen12 xác thực được 803 tỷ phép toán mỗi giây trong OpenSSL. Điều này cho thấy khả năng của hệ thống trong việc quản lý khối lượng công việc mã hóa, xác thực và truyền thông an toàn ở quy mô lớn.

Phần kết luận

HPE ProLiant DL380a Gen12 nổi bật là một trong những máy chủ AI thực dụng và cân bằng nhất được thiết kế cho thị trường AI doanh nghiệp phổ thông. Thiết kế làm mát bằng không khí 4U của nó mang lại mật độ tính toán mạnh mẽ với CPU Xeon 6 kép, hỗ trợ tối đa 8 GPU kép hoặc 16 GPU đơn, và 16 khe cắm NVMe E3.S, đồng thời duy trì độ tin cậy và khả năng bảo trì đơn giản. Cách tiếp cận kỹ thuật của HPE đối với luồng không khí và cân bằng nhiệt đảm bảo hiệu suất ổn định dưới tải trọng nặng, chứng minh rằng khả năng tăng tốc AI tiên tiến vẫn có thể phát triển mạnh trong môi trường làm mát bằng không khí truyền thống.

Việc tích hợp iLO 7 mang lại sự cải thiện đáng kể về khả năng quản lý, một lợi thế lớn cho các nhà cung cấp máy chủ hàng đầu như HPE. Giao diện hiện đại hóa, khả năng tích hợp với HPE Compute Ops Management và dữ liệu đo từ xa phần cứng chi tiết giúp việc quản trị từ xa trở nên trực quan và hiệu quả. Mỗi phần, Bảng điều khiển, Phần mềm cơ sở, Máy chủ, Bảo mật, Ứng dụng và Cài đặt, đều phản ánh sự chuyển dịch của HPE hướng tới trải nghiệm tích hợp đám mây tốt hơn, gọn gàng hơn mà không làm mất đi khả năng kiểm soát tại chỗ mà các nhóm doanh nghiệp cần đến.

Trong các bài kiểm tra hiệu năng, máy chủ đã cho kết quả xuất sắc. Bốn GPU RTX PRO 6000 đạt được thông lượng ấn tượng trên cả mô hình LLM mật độ cao và vi mô, với vLLM cung cấp hiệu năng sánh ngang với các hệ thống làm mát bằng chất lỏng. Các bài kiểm tra hiệu năng CPU từ Phoronix càng làm nổi bật sự cân bằng của nó, với băng thông bộ nhớ hơn 540 GB/giây, 94k RPS trong Apache và hơn 800 tỷ lượt xác thực OpenSSL mỗi giây, cho thấy sức mạnh trên cả tính toán trí tuệ nhân tạo và tính toán đa năng.

Mục tiêu thiết kế của HPE rất rõ ràng: cung cấp hiệu năng AI mật độ cao, sẵn sàng cho sản xuất bằng cách sử dụng hệ thống làm mát bằng không khí phù hợp với cơ sở hạ tầng điện và giá đỡ hiện có. Đối với các nhóm trung tâm dữ liệu đang tìm kiếm khả năng tính toán đáng tin cậy, an toàn và dễ quản lý trong một thiết kế làm mát bằng không khí, DL380a Gen12 là một giải pháp mạnh mẽ, hướng tới tương lai cho thị trường AI phổ thông đang phát triển.

👉 Bạn có thể tham khảo thêm các dòng máy chủ phù hợp từng nhu cầu triển khai tại website chính để lựa chọn cấu hình tối ưu cho doanh nghiệp.