强化学习用于做市商（Market Making with Reinforcement Learning）

做市商的作用是通过促进与其他市场参与者的交易来提供流动性。由于库存风险、累积不利头寸并最终亏损的风险，该问题具有挑战性。与许多交易问题一样，自从电子限价指令簿（LOB）问世以来，它已经变得越来越自动化，因为需要处理更多的数据并在越来越短的时间范围内采取行动，这项任务对人类来说几乎是不可能的。在一些特别活跃的市场上，超过60%的交易量归因于自动化交易系统。因此，本文关注强化学习方法，利用高频历史股票数据，为金融市场设计具有竞争力的做市商。

做市商在为市场提供流动性方面扮演着重要角色，他们不断地报出他们愿意买入和卖出的价格。本文关注场外交易市场，在这个市场上，只有一种证券在交易，做市商不断地向买方和卖方（即投资者）提供价格流。市场中的投资者观察这些价格并选择他们想交易的做市商。做市商和投资者这两类智能体直接相互作用，各自只观察他们所参与的交易和从交易所获得的价格信息。做市商在这个市场上围绕定价和风险管理的政策取决于其目标和偏好（例如，如何规避风险）、竞争做市商的政策、整体市场环境（如波动性）和投资者的交易流。

已有文献说明，强化学习智能体能够了解竞争对手的定价策略；还可以智能地选择买卖的非对称价格来管理库存，并根据市场价格漂移是正（还是负）保持库存。通过提出奖励公式，强化学习可以用于具有风险规避能力的做市商智能体。训练强化学习智能体需要依赖于仿真环境（模拟器）。仿真环境为样本密集型R算法提供的不仅仅是数据；它们还提供了一个平台来进行受控实验，以测试智能体正在“学习”什么、策略在不同场景下的执行情况以及环境变化与智能体行为之间的因果关系。仿真环境还可以用于在不同的场景中训练智能体，从而提高通用性和对环境变化的鲁棒性。

本文通过调研最新的强化学习用于做市商场景的研究，大致可以分为两种方式：1，单智能体；2多智能体（竞争型）。

单智能体建模：做市商被建模成单智能体，其它做市商，投资者，市场等建模为环境

多智能体建模：每个做市商都被建模为一个智能体（多智能体），投资者建模为某种概率策略的智能体，市场（智能体，投资者意外的部分）建模成环境。

参考文献：

1. Reinforcement Learning for Market Making in a Multi-agent Dealer Market NIPS2019 JPMorgan AI Research

2.         Deep Reinforcement Learning for Market Making AAMAS 2020

3.         Market Making via Reinforcement Learning AAMAS 2018

4.         Optimizing Market Making using Multi-Agent Reinforcement Learning Berkeley

5.         Reinforcement Learning for High-Frequency Market Making UCL 2018

6.         Applications of Reinforcement Learning in Automated Market-Making AAMAS 2019