剝頭皮交易的協作多智能體強化學習框架

股票市場的長期投資是指在股票市場上買入內在價值高于其現值的股票。這種投資風格需要根據公司定期發布的報告進行公司分析。

另一方面，所謂的剝頭皮策略是一種相反的方法。這是一種交易風格，專門從小幅價格變化中獲利并從轉售中快速獲利。剝頭皮是一種優先在日內交易中獲得大量小額收益的方法。機器學習研究也在積極分析在該領域應用算法原理的可能性。

Uk Jo、Taehyun Jo、Wanjun Kim、Iljoo Yoon、Dongseok Lee 和 Seungho Lee 在他們的研究論文中討論了用于剝頭皮交易的多智能體強化學習。該研究論文的標題為“Cooperative Multi-Agent Reinforcement Learning Framework for Scalping Trading”，并構成了下文的基礎。

研究的重要性

交易者根據買/賣訂單和蠟燭圖進行日內交易。由于這些數據很容易獲得，強化學習可以捕捉交易者的愿望和習慣，以最大化他們的投資回報。機器學習可以利用對交易者的這種理解;為此，必須開發一種使利潤最大化的模型。

如果強化學習代理能夠以可接受的準確度預測和執行買賣決策，則可以從股票市場賺取大量資金。

研究方法論

在這項研究中，研究人員使用了 2018 年 4 月至 2018 年 7 月在韓國股市的數據。所提出的強化學習代理包括四個具有特定角色和與其功能相關的主要獎勵的子代理。基于整個智能體的表現(回報)，在整體獎勵函數中也加入了二級獎勵。引入了四個子代理：

買入信號代理 (BSA)：BSA 預測股票何時有望穩定上漲 2 分鐘。

買單代理(BOA)：此時，代理將以盡可能低的價格購買股票。

賣出信號代理 (SSA)：SSA 預測股票預計何時下跌 2 分鐘。

賣出訂單代理 (SOA)：SOA 預測代理何時可以以最高價格賣出股票。