在同一个服务器上测试 CPU / GPU 性能差异

设备信息

GPU 设备信息

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03             Driver Version: 535.129.03   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA A800-SXM4-80GB          Off | 00000000:3D:00.0 Off |                    0 |
| N/A   35C    P0              63W / 400W |  47848MiB / 81920MiB |      0%      Default |
|                                         |                      |             Disabled |
+-----------------------------------------+----------------------+----------------------+

CPU 信息

内存信息

测试方案-代码直接调用

测试代码

import time

import sentence_transformers
import torch

if __name__ == "__main__":
    device = "cuda" if torch.cuda.is_available() else "cpu"
    embedding = sentence_transformers.SentenceTransformer(
        model_name_or_path="/Volumes/SD/huggingface-models/bge-m3",
        cache_folder="/Volumes/SD/huggingface-models",
        device=device
    )
    total = 10000
    batch_size = 100
    start_time = time.time()
    sentences = ["I am AnCopilot, nice to meet you!"]
    for i in range(total // batch_size):
        embedding.encode(sentences * batch_size, normalize_embeddings=True)
        print(f"{i + 1} / {total // batch_size}")
    end_time = time.time()
    total_time = end_time - start_time
    average_time = total_time / total
    throughput = total / total_time
    print(f"Device {device}")
    print(f"Total {total} sentences")
    print(f"Batch size: {batch_size}")
    print(f"Total time: {total_time:.4f} seconds")
    print(f"Average time per iteration: {average_time:.4f} seconds")
    print(f"Throughput: {throughput:.2f} iterations per second")

以下是基准测试结果的对比表格：

测试方案-FastAPI封装

测试代码

# 数据中写入 100 个文本
echo '{"inputs":["I am AnCopilot, nice to meet you!","I am AnCopilot, nice to meet you!",...],"model":"bge-m3"}' > data.json
# 发送 100 次（总计发送 10000 条），10 并发
ab -n 100 -c 10 -p data.json -T application/json http://10.1.251.228:58123/v1/embeddings/bulk

以下是基准测试结果的对比表格：

总结

根据基准测试结果，可以得出以下分析和总结：

1. 设备性能：

   • CUDA（GPU）设备的表现明显优于CPU设备。无论是100还是200的批量大小，CUDA设备的总时间和每次迭代的时间均显著低于CPU设备，CPU的总时间大约是CUDA的5到6倍。

2. 批量大小的影响：

   • 增加批量大小对CUDA设备有利：在CUDA上，从100的批量大小提升到200，虽然总时间略有减少（从13.6438秒降至12.1587秒），每次迭代的时间也减少了（从0.0014秒降至0.0012秒），同时吞吐量提升了（从732.93迭代/秒增至822.46迭代/秒）。
   • 在CPU设备上，增加批量大小同样有利：在CPU上，从批量大小100提高到200，虽然总时间也有所减少（从77.3202秒降至72.6335秒），每次迭代的时间也有小幅下降（从0.0077秒下降至0.0073秒），吞吐量由129.33迭代/秒提升至137.68迭代/秒。

3. FastAPI封装：

   • 封装后性能下降 50%