从分布式数据库和 5G 无线接入网络（ RAN ）到游戏、视频流、高性能计算（ HPC ）和元宇宙，应用程序越来越实时和延迟敏感。纳秒分辨率时间同步在许多方面增强了传统计算，包括：
- 通过确保多个数据库保持最新且彼此一致，帮助数据库提高数据管理系统的准确性、效率、协作性和安全性
- 通过查看基于延迟的模式，从恶意和机器人行为中筛选真实的用户活动，从而增强安全策略
- 实现游戏世界的“ ready player one ”或元宇宙
- 通过计算机视觉和实时分析，创造沉浸式购物体验，帮助客户做出明智的购买决策，减少结账麻烦
- 自动化大型工厂和设施，通过使数字工厂孪生体模仿真实工厂，将生产线、仓库和机械提高到新的效率，反之亦然
- 保持 5G 网络中输入频带的准确性、正确分布和及时处理
通过一系列合作， NVIDIA 、 Meta 和 Open Compute Project Time Appliance Project （ OCP-TAP ）中的其他公司为开放、可靠和可扩展的现代时间同步解决方案制定了蓝图。
开放时间同步解决方案
Meta 在其遍布全球的庞大数据中心内实现了亚微米级的精度。这是通过商品服务器上的硬件时间戳实现的，即使在 CPU 和网络负载下，也会受到温度变化的影响。
直到最近，以如此高的规模部署 Precision Time Protocol （ PTP ）还需要专用的硬件和软件组件。此外，对于如何在数据中心实现精确的时间服务，还缺乏良好的蓝图。
这就是 OCP-TAP 的作用所在；具体而言， Time Cards 创新使 Meta 能够同步 between 数据中心的时间。 PTP IEEE-1588 应用于网络接口卡（ NIC ）和网络设备，如 NVIDIA ConnectX ，使用网络将数据中心的所有机器 within 同步。
可扩展到数百万客户端的时间服务器
Open Time Server 由 OCP-TAP 社区开源，维护数据中心的权威时间来源。
时间卡可以支持数百万个客户端/同步。 NIC 能够“全速硬件时间戳”。瓶颈被推到软件领域。
Meta 工程师重写了 PTP 守护程序的整个主功能，采用了对可扩展性格外关注的软件架构和设计。该堆栈现在称为 PTP4U ，是一个可扩展的 PTP 堆栈。有关详细信息，请访问 GitHub 上的 facebook/time 。
开放时间服务器能够使用 PTP4U 服务器软件以 1 Hz 的同步频率持续支持 100 多万个客户端（普通时钟）。
商业 grandmaster clocks 支持多达数百个客户机，而超大规模数据中心需要更多数量级。在网络的远程边缘位置支持定时的需要也增加了规模。
构建一个巨大的开放时间服务器
如果你在 2021 夏天问过 PTP 专家如何扩展 PTP 解决方案，答案很可能是使用边界时钟（ BC ）。将业务连续性引入数据中心有两个挑战。
第一个挑战是操作。虽然不特定于 Meta ，但网络交换机上的 BC 实现需要一定的硬件和软件支持。在现有棕地部署中引入业务连续性会带来重大风险。交换机是整个网络的核心元件。在所有参与的交换机上启用 BC 将需要重新认证整个网络。这是一个漫长、密集、昂贵且危险的过程。就当时的投资回报率而言，这是不可能的。
第二个挑战涉及同步技术，该技术要求每个计算节点不仅知道精确的时间，还知道 uncertainty window 或准确度。有关详细信息，请参见 Spanner, True-Time, and The CAP Theorem 。
这意味着，对于数据中心中的每个参与节点，都有一种简单的方法来确定与主节点的时间偏移（而不仅仅是与 BC 的直接主节点）。可扩展到数百万的时间服务器可以依赖透明时钟（ TC ），从而完全避免 BC 。
数据中心的透明时钟
透明时钟对时钟树的总累积噪声没有贡献，这仅仅是因为 TC 不是真正的时钟，并且它们不约束任何时钟。相反， TC 只需公布数据包的驻留时间，通常小于 1 微秒，这是一个足够小的周期，即使是一个简单的振荡器也不会大幅漂移。
透明时钟还降低了操作复杂性。它们不运行软件守护程序，更常见的是由现有交换机支持。这使得将 PTP 引入棕地数据中心更加简单。
最后， TC 是透明的，因此每个节点都直接由主时钟控制。这有助于直接计算所有参与节点的不确定性窗口。
硬件的精度和准确性
即使在高速网络中，支持 UTC 的单片硬件时钟也是以全速对数据包进行时间戳的关键。 NVIDIA 在 PTP4L （ PTP 1588-2008 Linux 守护程序）中增加了对硬件时间戳的支持，使系统和应用程序能够获得 UTC 格式的时间。
NVIDIA 还对 PTP4L 进行了其他几项更改，以提高其准确性；例如，增加对使用硬件参考时钟的支持，这可以提供比基于软件的时钟更高的精度。
大规模测试 PTP 可靠性
为了研究 PTP 在高规模网络上的运行情况，需要一种方法来不断测量、测量和验证高规模的同步精度。我们提出了一种使用 ConnectX-6 Dx 每秒脉冲 （ PPS In ）作为测量的无限可扩展测试方法。（使用 PPS Out 方法最多可使用少数设备。）
为此，我们将 ConnectX 配置为运行实时时钟模式，并将设备从 PPS In 链接到 PPS Out （图 4 ）。使用这种方法，我们描述了非常大的 PTP 树，并证明了我们的 PTP 解决方案可以达到纳秒。
总结
时间同步基础架构蓝图可供所有人使用，并可供云提供商和运营商使用。 NVIDIA 将继续投资于高精度时间同步，以增强所有产品线和解决方案。
旅程尚未结束。与 OpenComputeTAP 社区分享我们的工作，并与我们的合作伙伴一起为各种用例构建更多蓝图，这将是帮助此解决方案变得通用和相对容易部署的关键。
其他资源
查看这些相关资源以了解更多信息：
- PTP: Timing Accuracy and Precision for the Future of Computing
- How Precision Time Protocol is Being Deployed at Meta
- Open-Sourcing a More Precise Time Appliance
- NVIDIA Supercharges Precision Timing for Facebook’s Next-Generation Time Keeping
- Open Compute Time Appliance Project (TAP)
Register for NVIDIA GTC 2023 for free 并于 3 月 20-23 日加入我们，探索人工智能、加速计算等方面的突破。
