强化学习用于做市商(Market Making with Reinforcement Learning)

举报
荷籽 发表于 2020/08/29 09:39:56 2020/08/29
【摘要】 做市商在为市场提供流动性方面扮演着重要角色,他们不断地报出愿意买入和卖出的价格。本文关注场外交易市场,只有一种证券在交易,做市商不断地向买方和卖方(即投资者)提供价格流。做市商在这个市场上围绕定价和风险管理的政策取决于其目标和偏好(例如,如何规避风险)、竞争做市商的政策、整体市场环境(如波动性)和投资者的交易流。本文调研了最新强化学习用于做市商的研究进展。

做市商的作用是通过促进与其他市场参与者的交易来提供流动性。由于库存风险、累积不利头寸并最终亏损的风险,该问题具有挑战性。与许多交易问题一样,自从电子限价指令簿(LOB)问世以来,它已经变得越来越自动化,因为需要处理更多的数据并在越来越短的时间范围内采取行动,这项任务对人类来说几乎是不可能的。在一些特别活跃的市场上,超过60%的交易量归因于自动化交易系统。因此,本文关注强化学习方法,利用高频历史股票数据,为金融市场设计具有竞争力的做市商。

做市商在为市场提供流动性方面扮演着重要角色,他们不断地报出他们愿意买入和卖出的价格。本文关注场外交易市场,在这个市场上,只有一种证券在交易,做市商不断地向买方和卖方(即投资者)提供价格流。市场中的投资者观察这些价格并选择他们想交易的做市商。做市商和投资者这两类智能体直接相互作用,各自只观察他们所参与的交易和从交易所获得的价格信息。做市商在这个市场上围绕定价和风险管理的政策取决于其目标和偏好(例如,如何规避风险)、竞争做市商的政策、整体市场环境(如波动性)和投资者的交易流。

已有文献说明,强化学习智能体能够了解竞争对手的定价策略;还可以智能地选择买卖的非对称价格来管理库存,并根据市场价格漂移是正(还是负)保持库存。通过提出奖励公式,强化学习可以用于具有风险规避能力的做市商智能体。训练强化学习智能体需要依赖于仿真环境(模拟器)。仿真环境为样本密集型R算法提供的不仅仅是数据;它们还提供了一个平台来进行受控实验,以测试智能体正在“学习”什么、策略在不同场景下的执行情况以及环境变化与智能体行为之间的因果关系。仿真环境还可以用于在不同的场景中训练智能体,从而提高通用性和对环境变化的鲁棒性。

本文通过调研最新的强化学习用于做市商场景的研究,大致可以分为两种方式:1,单智能体;2多智能体(竞争型)。

单智能体建模:做市商被建模成单智能体,其它做市商,投资者,市场等建模为环境

多智能体建模:每个做市商都被建模为一个智能体(多智能体),投资者建模为某种概率策略的智能体,市场(智能体,投资者意外的部分)建模成环境。

image.png

image.png

image.png

image.png

image.png

image.png

参考文献:

  1. Reinforcement Learning for Market Making in a Multi-agent Dealer Market NIPS2019 JPMorgan AI Research

  2.         Deep Reinforcement Learning for Market Making AAMAS 2020

  3.         Market Making via Reinforcement Learning AAMAS 2018

  4.         Optimizing Market Making using Multi-Agent Reinforcement Learning Berkeley

  5.         Reinforcement Learning for High-Frequency Market Making UCL 2018

  6.         Applications of Reinforcement Learning in Automated Market-Making AAMAS 2019




【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。