在俄罗斯和独立国家联合体 (CIS),VK 是最大的社交网络,每月活跃用户数为 9700 万,而且仍在快速增长。该平台一天平均处理 100 亿条消息。VK 设计了一个强大的存储解决方案,以便为其 9700 万用户提供出色的性能并优化总体拥有成本。
可以看到,通过使用英特尔® 傲腾™ 持久内存、英特尔® 傲腾™ 固态盘、带有非易失性内存 Express (NVMe) 的英特尔® 固态盘和英特尔® FPGA 可编程加速卡 (PAC) ,VK 实现了现代化的分层存储,从而在节省大量资金的同时提高性能。
VK 每天要处理大量数据,因而数据存储基础架构是其最大的一项成本支出就不足为奇了。这一基础架构占据了该公司年度预算的很大一部分。优化存储的总体拥有成本 (TCO) 是其当务之急。VK 需要在成本和性能之间取得平衡,具体来说,主要面临如下挑战:
· 降低数据存储成本,存储容量正以每年数百 PB 的速度增长;
· 支持数据分层,将较少访问的数据迁移至成本较低的存储中;
· 不再需要通过存储同一图像的多种格式来支持不同的用户终端设备。
· VK 将其内容交付网络 (CDN) 中用于频繁访问数据的存储升级到具有 3D NAND 技术的英特尔® 固态盘,并将最常用的数据移动到英特尔® 傲腾™ 固态盘;
· VK 为支持新闻订阅的评级计数器服务器引入了英特尔® 傲腾™持久内存,将数据从昂贵的 DRAM 中迁出;
· 英特尔® 现场可编程门阵列(英特尔® FPGA)用于将图像从单个高分辨率原版备份文件动态转换为每个用户所需的分辨率,从而降低了存储多种图像尺寸和格式的需求。
存储优化和高效处理图像转码算法仍然是 VK 面临的不断加剧的严峻挑战。为了进一步优化存储并提高能效,VK 正在部署采用英特尔® Arria® 10 GX FPGA 的英特尔® 可编程加速卡(英特尔® PAC),并运行 CTAccel (联捷科技)图像处理器工作负载。低功耗、单插槽、半高 PCIe 英特尔® PAC 可帮助在 VK 的各个服务器中轻松部署多个 FPGA。
使用和不使用英特尔® 可编程加速卡(英特尔® PAC)的 VK 数据流解决方案。
上图说明了客户原始数据流需要多台服务器执行图像处理算法以及实施存储后处理。
上图显示了工作负载转移到现场可编程门阵列(FPGA)后效率显著提高,且支持实时生成图像,并降低了存储需求。
与通用处理器上运行的软件相比,FPGA 可以提供定制硬件来显著加快应用性能。VK 使用 FPGA 实时将高分辨率图像转换为所需的大小和格式。这种低延迟、高吞吐量的解决方案降低了总体存储需求,因为仅需要存储高分辨率图像,无需存储不同分辨率的多个图像副本,并且与 VK 测试的其他解决方案相比,FPGA 可以提高能效比。
文章来源于英特尔FPGA