高频数据存储、订单簿、高频回测 DolphinDB 中高频量化一站式解决方案 发布时间：2024-04-01 来源：互联网

      3月14日下午，DolphinDB 受邀出席由卡方科技与华安证券携手举办的私募行业交流会。此次盛会汇聚了私募行业的精英力量。众多国内成长型私募机构代表齐聚一堂，共同探讨私募领域的多元化合作策略，携手书写行业发展的新篇章。

​

      在分享环节，DolphinDB 创始人、CEO 周小华博士带来了一场精彩演讲。他不仅对中高频量化交易的解决方案进行了深入剖析，还就当前热点 AI 大模型展开了富有洞见的探讨。现在，让我们一同回顾周博士在现场的精彩分享。

 

      01 高频数据存储

      随着行情数据频率的提高，海量数据的存储为投研带来巨大挑战。传统的关系型数据库及文件存储等方式存在着压缩比低，性能优化不足，数据难以管理等痛点。针对以上问题 DolphinDB 提出了新的解决方案，除了能够将压缩比大幅提升之外（最高可达10:1），DolphinDB 深刻洞察量化领域业务，提供了相同时间戳存储、数组存储、宽表存储/窄表存储和 co-location 存储，为用户提供了更为高效的海量数据存储方案。

 

      02 订单簿

      在研究市场的微观结构时，每家机构都希望能够对逐笔数据进行挖掘，高效、灵活处理订单簿数据。目前市面上多数快照引擎普遍采取每三秒生成一次快照的方式，这样的频率难以捕捉更为细致的信息，例如三秒内所有交易的平均价格，以及最后一笔成交与最后一笔报价之间的精确时间差。这些细微的数据点对于精确分析市场动态至关重要。为此，DolphinDB 提供了订单簿数据处理框架允许用户自定义指标，生成交易信号，助力策略开发。DolphinDB 的订单簿数据处理架构，提供了高度的灵活性和性能保障，能够满足用户的个性化业务需求。

 

      03 高频回测

      市场上，对于中低频的回测产品，用户有许多选择。但是在对高频数据进行回测时，由于数据量巨大，性能时延要求高、开发难度大等特点，市场上并没有太多成熟的产品，用户往往选择自研。为此，DolphinDB 提供了一套模拟撮合引擎，方便用户在中高频策略回测中模拟实际交易，从而更合理地评估和推断策略在真实交易中的效果。DolphinDB 模拟撮合引擎支持订单成交比例和延时等设置，多笔同方向的用户委托订单同时撮合时，遵循按照价格优先、时间优先的原则进行撮合成交，方便用户在高频策略回测中模拟实际交易。模拟撮合引擎插件使用 C++ 开发，结合 DolphinDB 分布式数据库，能极大地减少高频策略回测的整体耗时。

 

      04 流批一体的高频因子

      因子挖掘是量化交易的基石，挖掘中高频行情数据中的有价值因子并建模回测，构建交易系统是量化团队的必要路径。DolphinDB 整合历史与实时数据提供了实时流计算框架，用户在投研阶段基于批量数据开发的核心因子表达式，经封装后，可以无缝应用于实际生产环境中。由此，实时行情订阅、行情数据收录、交易实时计算、盘后研究建模，可以用同一套代码实现。这不但确保了历史回放和生产交易的数据一致性，还大大降低了用户的开发与代码维护成本。同时，流计算框架在算法路径上进行了精细的优化，兼顾了高效开发和计算性能的优势。

 

      05 AI & DolphinDB

      在总结部分，周博士深入探讨了 AI 与 DolphinDB 前沿技术的融合。其中，CPU-GPU 异构计算平台，可以让 DolphinDB 脚本能够无缝切换至 GPU 进行高效的并行计算，从而实现了性能上的显著跃升。同时，GPLearn 负责训练时的调度工作，涵盖了种群生成、进化与变异操作等关键环节，确保了训练过程的精准与高效。此外，AI Dataloader 极大地简化了大量因子数据导入深度学习框架进行训练的过程，有效缩减了数据准备与模型训练的时间成本。值得一提的是，这些前沿功能将在即将发布的 DolphinDB 3.0版本中全面呈现，我们热切期待各位用户的积极试用与反馈！周博士还强调，DolphinDB 的应用范围已扩展到交易策略、交易风控、交易监控、机构业务、算法交易、实时数仓、风险控制、指标计算、估值定价等多个金融行业场景。DolphinDB 致力于在金融技术领域不断创新，为金融机构提供高效技术解决方案，助力中小机构在激烈的市场竞争中脱颖而出。