faspTM

随着非结构数据在几乎所有行业的爆炸式增长, 大量数字信息在全球范围内快速且可靠地传输已逐渐成为业务成功的关键,所涉及的行业形形色色,包括从数字媒体的创建、管理及娱乐内容传递直至用于科研的基因组序列数据。每天,有大量个人及团队需要跨越全球距离进行合作,数太字节的数据需要分发、共享和交换,这就要求大数据在全球进行高速传输。然而,于1970 年开发的互联网底层传输协议 TCP 的变革却显然跟不上这些潮流。TCP 无法充分利用现代化的高带宽网络,已完全不再适合当今大数据应用的需求。对 TCP 进行“加速”的尝试也仅仅是增量的改进,未能克服核心协议中所固有的设计缺陷。

Aspera 的 fasp™ 传输专利技术是一种创新软件,它消除了基于 TCP 的传统文件传输技术(如 FTP 和 HTTP)的根本缺点。因此,fasp 的传输速度比 FTP/HTTP 快数百倍,并保证传递时间,不受限于文件大小、传输距离或网络条件,包括通过卫星、无线以及固有远距离且不可靠的洲际链路进行的传输。此外, fasp 还提供对带宽利用的完全可视性以及对传输速率和与其它网络流量共享带宽的非凡控制能力。内置全面安全性,包括安全端点身份验证、实时传输数据加密以及完整性验证。

TCP 挑战

当将传输控制协议(TCP)部署在低延迟和低数据包丢失的网络上时,它可提供可靠的数据传递,但是,随着数据包丢失和延迟的增加(通常出现在远距离 WAN 上),它很快就变得非常缓慢且不可靠。增加更多带宽无法改变有效的吞吐量。文件传输速度无法提高,昂贵的带宽未得到充分利用。

吞吐量瓶颈的根源在于 TCP 流速率控制机制,在该机制中,发送方需要确认每一个发送至接收方的数据包。如果某一接收确认因高网络延迟或数据包丢失而未准时返回,发送方即认为相比接收方的处理能力其发送速率过快,因而大幅降低速率并缓慢恢复。结果,传输速率减慢到像是在爬行,而现代化的高带宽 WAN 通道却没有得到充分利用。

FASP 解决方案

与 TCP 形成鲜明对比的是,fasp™的吞吐量不受洲际 WAN 和卫星、Wi-Fi 或蜂窝连接上出现的网络延迟和极端数据包丢失的影响。因而,其传输时间比标准 FTP 快数百倍且可预测性强,不受网络条件影响。

fasp 之所以能实现这一性能,是因为它摒弃了 TCP 对速度控制和可靠性的捆绑,采用独特的专利方法使传输速度达到最大,且不影响对拥塞的回避,实现了理想高效和对带宽的充分利用。

优点

最快传输速度

fasp 使大数据能够通过任何网络从源磁盘以最快速度传输至目的地磁盘,且不受网络条件或距离的影响。例如,fasp 通过 1s RTT 和 5% 数据包丢失的千兆 WAN 进行传输,在 RAID-0 高端 PC 上的文件传输可达 700-800 Mbps,在普通 PC 上的传输可达 400-500 Mbps。大量的小文件数据集与大型单文件的传输效率相同。其实施也非常方便,因此,不需要专门或强大的硬件来维持高速度或高并发性。

对可用带宽的充分利用

除了可获得显著的传输速度之外,fasp 还能够充分利用可用带宽,最大限度地使用现有基础设施,无需昂贵的升级费用,这些升级甚至也有可能不利于基于 TCP 的协议。

与标准 TCP 流量进行可配置的“公平竞争”

尽管 fasp 可填充任何可用带宽,但它也包含一个智能自适应传输速率控制机制,该机制可调节速率,精确控制与标准 TCP 流量间的公平性,可自动蔓延,充分利用未使用的带宽。这确保了关键业务 TCP 流量可正常工作,如电子邮件、网络和业务应用,同时也允许 fasp 利用未使用的带宽。

卓越的带宽控制

已获得专利权的速率控制能力可对 传输速度和带宽共享进行卓越地动态控制:应用程序和终端用户可预先设置并更改实时个体带宽优先顺序、传输速率和完成时间,无需网络 QoS 支持。

防攻击安全性

fasp 协议还可提供全面的内置安全模式,且不劣化传输速度。它基于开放标准加密技术,提供 SSH 终端身份验证、实时传输数据加密(具有接收端存储文件加密选项)和数据完整性验证,从而可防范中间人、重放和 UDP 拒绝服务攻击。

TCP 存在的瓶颈

传输控制协议(TCP)在理想条件下可提供可靠的数据传递,但它存在着一个固有吞吐量瓶颈,随着远距离 WAN 上出现的数据包丢失及延迟增加,该瓶颈则变得更加突出且严重(参见下方图 1)。增加更多带宽无法改变有效的吞吐量。文件传输速度无法提高,昂贵的带宽未得到充分利用。

图 1
TCP 性能随远距离 WAN 上通常出现的网络延迟和
数据包丢失情况增加的变化

吞吐量瓶颈的根源在于 TCP 用于调节其数据流速率的机制。为了发送更多数据,TCP 发送方需要从 TCP 接收方确认每个数据包。当错过某一接收确认时,发送方则认为网络容量被过度使用,从而进入避免过度拥塞模式,大幅降低数据流速率,并非常缓慢地恢复速率,以致无法保持现代高带宽通道的充分利用。甚至是在延迟有微小变化或网络出现微小错误时,均会造成 TCP 进入避免拥塞模式。标准 TCP 无法区分数据包丢失背后的原因对文件传输速度所造成的严重后果。

后果

由 TCP 自身诱导的瓶颈最终造成的结果是令人感到失望且不可预测的传输时间,对于远距离网络,这一问题更为突出,严重浪费了可用且昂贵的带宽。即使勉强可行,大数据的传输也会非常缓慢且不可靠。在只有 1% 数据包丢失的本地局域网中,甚至在千兆以太网上,TCP 的最大吞吐量仅为 50 Mbps(5% 的带宽利用率)。在一个具有 90ms 延迟和 1% 数据包丢失的链路上向美国各地进行 FTP 传输时,其最大理论极限是 1.7 Mbps,与可用带宽无关。在高延迟、高丢失的洲际链路或卫星网络上,有效吞吐量可能会低至可用带宽的 0.1% - 10%。在一个典型的全球链路(3%/150ms)上,TCP 的最大吞吐量降至 500-600 Kbps,仅利用了 10 Mbps 链路的 5%。

带宽利用率和不稳定传输速率的波动可导致不可预测的传递时间,甚至是传输失败,造成无法按时完成关键业务,从而需要昂贵的传输监督和冗余。TCP 加速设备通过调整减速和恢复速率,可能会在理想条件下提高吞吐量,但是,这并未解决基于 TCP 文件传输的根本缺陷。

此外,就当今企业对其数字资产安全性的考虑而言,TCP 的安全和监控也存在不足。FTP 通常需要外部安全机制来阻止对内容所进行的剽窃或篡改企图,并且网络性能详细信息和传输统计不可用于监控或宣传。

与 TCP 不同,fasp™ 吞吐量完全独立于网络延迟,且不受极端数据包丢失影响。如下方图 2 所示,fasp™ 传输时间极快(高达标准 FTP 的 1,000倍),且具有高度的可预测性,不受网络条件影响。最大传输速率仅受端点电脑资源的限制(通常为磁盘吞吐量)。


图 2
1Gbps WAN 链路上的 fasp 与 TCP
就增加网络延迟和数据包丢失进行的对比

ASPERA 的优势

fasp 是一个新的大型数据传输协议,它以一种创新方法在应用层实现可靠性,消除了 TCP 的低效率丢失、处理错误以及所导致的传输速率不稳定波动。为了保证 100% 的可靠性,fasp 实施它自己从理论上已证明的最佳机制,该机制可准确识别并转发传输通道上的真正数据包丢失。在数据包丢失率为 10% 的条件下,fasp 的带宽利用率达到了 90%,冗余数据负担低于 1%。

与强力多流 TCP 方法相比,fasp™ 采用单一数据流实现了理想高效率,而且并未耗尽系统资源或充斥网络。与简化的 UDP 数据爆破不同,fasp 具有理想的带宽效率,并且不使冗余数据充斥网络,或拒绝访问标准 TCP 应用。

对于大量的小文件传输,fasp 中的一项创新文件流技术帮助它实现同样的理想高效率。例如,从美国向新西兰传输 1,000 个 2MB 的文件,其有效传输速度为 155 Mbps,填充了整个 OC-3。

自动进行自适应速率控制

鉴于 TCP 自身限制了其传输速率,即使是在不拥塞的链路上亦如此,因此 fasp™ 检测未使用带宽,并迅速插入将其填充(图 1)。当出现拥塞时,fasp™ 则降低其速率,以适应 TCP 流量,并与多个 TCP 流均衡共享链路(图 2)。这种方法远远超出标准 TCP 和“加速”或“高速” TCP 所采用的流量控制算法,具有以下基本优点:

  • 容丢失性。只对真正的拥塞作出反应,而固有的通道丢失不影响其使用。
  • TCP 公平性。当链路拥塞时,不排挤其他流量,快速稳定于 TCP 友好速率。
  • 极为高效。迅速插入填充未占用带宽,不受延迟及数据包丢失影响。
  • 稳定性。瞄准可用带宽,“扁平化”运行,且不产生振荡。

全面安全性

fasp™ 协议提供全面内置安全性,且不受传输速度的影响。该安全模式完全基于开放标准加密技术,包含:SSH 身份验证;采用强大加密技术(AES-128)进行的实时传输数据加密,确保被传输数据的私密性;每一数据块的完整性验证,以防范中间人和匿名 UDP 攻击。该传输保留本地文件系统在所有支持操作系统之间的访问控制属性,且非常高效:通过启用加密,fasp™ 在单处理器电脑或笔记本电脑上的 WAN 文件传输达 100-200 Mbps,在双处理器或双核工作站上的传输超过 200-500 Mbps。

 

图 3(fasp™ 与TCP 对比:效率)

一个fasp™ 传输流以链路容量目标速率启动(9.95 Mbps),并平稳运行。120 秒之后,一个 TCP 流启动并稳定在 2.3 Mbps,即 TCP 的自身限制速率。fasp™ 检测到 TCP 流量的存在,迅速降低其自身速率,使用剩余的可用带宽(7.7 Mbps),并不阻碍 TCP。当 fasp™ 2 分钟后完成传输时,TCP 依然保持大致相同的速率。

 

图 4(fasp™ 与TCP 对比:公平性)

一个单一的fasp™ 传输流(fasp 1)以链路容量(1.95 Mbps)启动,并以该目标速度平稳运行直至在 2 分钟时第一个 TCP 流启动。fasp™ 1 检测到 TCP 1 并迅速降低速率至 1 Mbps, 与 TCP 平等共享链路。继续传输 2 分钟后,第 2 个 TCP 流启动。现在 fasp™ 1、TCP 1 和 TCP 2 均以 660 kbps 速率运行,三方平等共享链路带宽。又过了 2 分钟后,第 2 个 fasp™ 流以 1.97 Mbps 目标速率启动。fasp™ 2 向目标迅速传输,但它同时即刻检测到其他流量的存在,随即将速率调整降低至与其它传输流平等共享链路的重新分配速率上。现在所有 4 个传输流均以 500 kbps 速率运行。在所进行的余下测试中,每 2 分钟终止一个传输流。当每一传输流退出时,余下的其他传输流则平等重新分配链路带宽。fasp™ 在每个时间区间瞄准 TCP 性能速率,与 TCP 公平分享带宽,但具有超级稳定性和更低的振荡。


fasp 传输技术是 Aspera 系列软件产品的核心,用于在任何距离和网络条件下以最快速度在全球交换任意大小的文件。它还可通过 Aspera 一套综合 SDK 和 API 嵌入任何桌面、网络或移动应用程序。它提供诸多重要优点,远远领先于其他有竞争力的传输技术。

最快速度和最高可靠性

fasp 利用现有 WAN 基础设施和通用硬件实现比 FTP 和 HTTP 快数百倍的传输速度。无大小限制的数据集可通过任何网络以最快速度进行传输,不受网络条件或距离的影响。大量的小文件集与大型单个文件的传输效率相同。fasp 保证传输时间和 100% 可靠性,不会出现不可预测的不稳定 TCP 行为。

而且,fasp 还可实现完美的渐进式传输,如流媒体。传输速度不会因网络拥塞或距离原因而减慢,确保对传入的数据进行流畅的即时处理。

卓越的带宽控制

fasp中的带宽利用算法能够快速、自动地发掘带宽容量并充分利用,同时,仍为其他传输保留公平流量。fasp 支持实时可配置带宽共享政策,因此用户可预先设置并更改个体传输速率和完成时间。

全面安全性

使用开放标准加密技术进行用户身份验证、数据加密和数据完整性验证,fasp 确保关键业务数据资产的全面安全性。

只需软件

fasp 是一个纯软件应用协议,可在通用硬件上和未经修改的标准 IP 上运行。它可在各种操作系统上运行(服务器、桌面、移动和云平台),无需改变操作系统,无需在文件传输端点安装驱动程序,无需添加新装置,也无需改变网络。

优越的适应性

fasp 提供端对端传输进程报告和详尽的性能统计数据,用于实时监控和报告,以及传输前后进行的定制处理。它可自动恢复部分传输,并重试失败的传输,确保 100% 可靠。

灵活且开放的架构

fasp 支持在所有主要操作系统和云平台之间进行的互操作文件和目录传输,提供一个完整的现代软件 API。

“Aspera 技术不仅提供更为显著的快速传输,降低误差允许量,而且还包括全面的安全性和数据验证方案,使数据损坏的可能性大大降低。此外,自适应带宽控制允许高效运行并发传输,使我们能够严格按期完成任务。”Jonathan Humphrey,Codemasters IT 总监