选用GPU服务器的基本原则，AI服务器租赁。

对比分析各种AI服务器类型，我们可以简单对比一下不同架构的服务器。

先看一下不同类型AI服务器的对比，为CPU、GPU、FPGA、TPU、ASIC，从横轴上看，性能越向右(Performance)越好。

纵向Programmability/Flexibility是指服务器的可编程能力和灵活性，ASIC的性能最好，因为它是固化于芯片上的算法，算法相对固定，因此其性能最好，但其编程能力和灵活性相对较差。CPU具有最好的灵活性和编程能力，但是性能最差。

总之，GPU比CPU灵活得多，但是性能要好得多。向下依次是FPGA、TPU和ASIC。

选择ASIC时要考虑功耗、成本、性能、实时性等各个方面的因素，特别是一些有特殊用途的处理器，如果算法已经固化并比较简单，就考虑ASIC，因为ASIC性能好，功耗低。在培训或一般情况下，GPU就是更好的选择。

为GPU服务器选择基本原则。

选择一个GPU服务器的基本原理之前，我们首先介绍一下通用的GPU和GPU服务器。

通用GPU，按总线接口类型可分为NV-Link接口、传统总线接口和传统PCI-e总线。

GPU的NVIDIAV100是NVIDIAV100,NVIDIAV100采用SXM2接口，在DGX-2上与SXM3进行接口。

采用NV-Link总线标准的GPU服务器可分为两种，一种是由NVIDIA设计的DGX超级计算机，另一种是由NVIDIA公司设计的NV-Link。DGX超级计算机不仅提供硬件，而且还提供相关软件和服务。

GPU的传统总线接口，目前主流的产品有这几款，如采用PCI-e接口的V100、P40(P开头提到的PASCAL体系结构)和P4，以及最新的图灵架构T4等等。T4和T4中较薄和仅占一个槽的位置，通常在Inference中使用，现在也有成熟的推理和识别模型。

常规PCI-e总线的GPU服务器也分为两种，一种是OEM服务器，如曙光、浪潮、华为等其它国际品牌；另一种是非OEM服务器，还有许多种。vx咨询swarm2021。

除分类外，选择服务器时还应考虑性能指标，如精度、显存类型、显存容量、功耗等，另外还有一些服务器需要特殊的服务器，如水冷却、降噪、温度、移动等。

在选择一个GPU服务器时，首先要考虑业务需求，选择合适的GPU。此外，HPC高性能计算还需要按精度进行选择，例如某些高性能计算需要双精度计算，而当使用P40、P4不适合时，则只能采用V100、P100；同时对显存容量也会有要求，例如石油或石化勘探类的计算应用对显存要求较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

在人工智能领域，GPU服务器的应用也很多。

GPU的虚拟化是教学场景中的一个重要组成部分。取决于教室数量，一名教师可能需要把30或60个虚拟GPU虚拟成GPU，所以Training对GPU要求更高，并且通常用V100来训练GPU。在模型训练完成后，需要进行推理，所以一般采用P4或T4，少数情况则采用V100。

选择了GPU模式之后，再考虑使用哪种GPU服务器。在这个时候，我们需要考虑下列情况：

首先，在边缘服务器上需要根据容量来选择T4或P4等相应服务器，同时也要考虑服务器的使用场景，如火车站卡口、机场卡口、公安卡口等；在中心端做Inference时可能需要V100的服务器，需要考虑吞吐量、使用场景、数量等等。vx咨询swarm2021。

其次，要考虑顾客自身的使用人群和IT操作能力，对于BAT这种大型企业，自身运营能力较强的企业，就会选择通用PCI-e服务器；对一些IT操作能力不强的客户，对数字、数据标注等人为数据科学家选择GPU服务器的标准会有所不同。

三是要考虑配套软件的价值与服务。

四、考虑GPU整体集群系统的成熟程度和工程效率，例如GPU集成了DGX等集成了GPU的超级计算机，其底层操作系统的Docker，对其它部分进行了固定和优化，此时其效率相对较高。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。

猜你喜欢

• 台湾服务器做网站稳定吗？

  当今社会网络有很多种，除了大家经常使用的微博，贴吧还有各大论坛，二其中论坛由于用户粘性强，主题性比较明确，无论是内容还是引流，都是比较清楚的，内容是封闭的，还是开放式的，贴吧和论坛，都是部署在台湾的服务器呢。

• 五个常见的Web服务器你知道几个？

  Web服务器也称为WWWCWORLDWIDEWEB)服务器、HTTP服务器，其主要功能是提供网上信息浏览服务。Unix和Linux平台下的常用Web服务器有Apache,Ng.....

• 做好这些事有利于保障香港云服务器安全

  选择香港云服务器与 cPanel 管理的香港 VPS 意味着对 Linux 操作系统 (OS) 的更严格控制。虽然您可以在帐户管理面板中修改香港云服务器的 DNS 记录，但您有责任实施进一步的安全...

• 海外服务器带宽价格以及需要留意的方面

  海外服务器的带宽资源相对丰富。如果国内外贸企业选择它们，需要更多的带宽。毕竟距离我们还是比较远的，带宽不足会影响网站的整体访问速度。

• 北京双线服务器租用的价格主要看这些方面

  这个问题怎么说呢？其实这是一个比较模糊的问题，因为没有说租个什么样的服务器？需要什么样的硬件配置？需要什么样的带宽？在什么样的机房？等一些前提条件。但是对于一些新手又不知道该怎么去判断服务器托管的成本，担心被多收费。就和买电脑一样不一样的电脑店出售的不一样的配置的电脑价格肯定不同。