1. 首页
  2. 期货资讯

解读:股指期货深度强化学习的构想预测

这也是我过去一周与我姐姐一起进行的一个项目。我已经失去了很多财务知识,主要是使用深度强化学习方法来预测股指期货。在过去的一周中,我主要负责部分代码开发期货开户,CNN,RNN学习和张量流使用。最近,我和我的学校姐姐有点头疼。我觉得这个主意不是很清楚期货交易,所以我将在这里进行整理。

目标

给出一系列股指期货数据,获取一段时间(现在以分钟为单位股指期货预测,总时间约为2个月)股指期货数据,将其保存为DRL(深度强化学习)网络用作培训。使用的方法主要是结合A3C和DRL财务知识。

初始代码输入模型构建(lmmodel)代理模型数据初始化

    def __init__(self, fileName, m, numstep, batchSize):
        self.action_space = [-1, 0, 1] //表示面对股指期货数据的三种选择
        self.m = m //表示一个state包含的维度
        self.numstep = numstep //表示一次训练所用state数量
        self.batchSize = batchSize //表示训练的次数
        self.state = []

初始状态数量(状态)

基于隐马尔科夫模型的股指预测和股指期货模拟交易研究_股指期货预测

        f = open(fileName, 'r')
        self.dataBase = f.readline()
        self.dataBase = self.dataBase.split(',')
        self.dataBase.pop()
        for i in range(len(self.dataBase)):
            self.dataBase[i] = float(self.dataBase[i])
        for i in range(1, len(self.dataBase)):
            self.dataBase[i] = self.dataBase[i] - self.dataBase[i - 1]
        for i in range(self.m - 1, len(self.dataBase)):
            state_tmp = self.dataBase[i - m + 1:i + \
                1] if i >= self.m - 1 else self.dataBase[0:i]
            self.state.append(state_tmp)
        self.state = self.state[m - 1:]

lmmodel模型数据初始化:

此模型继承了Agent模型

    def __init__(self,config):
        #self._input = input_
        super(lmmodel,self).__init__('data/IF1601.CFE.csv', 20, 120, 100)  /
        self.config=config
        self.sess = tf.InteractiveSession()
        self.batchsize=1  #batchsize
        self.numsteps=120   #120 price sequence
        self.hiddensize=20  #20features
        self.actionsize=3

网络构建模型初始化

        self.states = tf.placeholder(tf.float32,shape=[None,self.numsteps, self.hiddensize],name= "states")
        self.actions_taken = tf.placeholder(tf.float32,shape=[None],name= "actions_taken")
        self.critic_feedback = tf.placeholder(tf.float32,shape=[None],name= "critic_feedback")
        self.critic_rewards = tf.placeholder(tf.float32,shape=[None],name= "critic_rewards")

股指期货预测_基于隐马尔科夫模型的股指预测和股指期货模拟交易研究

定义一个lstm单元格

        def lstm_cell(size):
            return tf.contrib.rnn.BasicLSTMCell(size, forget_bias=0.0, state_is_tuple=True)

全连接层,用于初始数据设置

        with tf.variable_scope("actor") :
            L1= tf.contrib.layers.fully_connected(
                inputs=self.states,
                num_outputs=self.hiddensize, #hidden
                activation_fn=tf.tanh,
                weights_initializer=tf.random_normal_initializer(),
                biases_initializer=tf.zeros_initializer()
            )

在完全连接的层之后通过LSTM:

LSTM是5层

LSTM之后,将返回(numstep * batchsize)* hiddensize的二维矩阵。

此矩阵的数字轴安排如下:

首先是第一批的numstep状态

第二批的numstep状态…

            state = cell.zero_state(self.numsteps, tf.float32)  #batchsize*hidden cells
            outputs = []
            with tf.variable_scope("testScope"):
                for time_step in range(self.batchSize):#batchsize
                    if time_step > 0: tf.get_variable_scope().reuse_variables()
                    (cell_output, state) = cell(L1[time_step,:,:], state) 
                    outputs.append(cell_output)
            output = tf.reshape(tf.concat(axis=0, values=outputs), [-1, self.hiddensize])

softmax之后获得损失函数:

            softmax_w = tf.get_variable( "softmax_w", [20, 3], dtype=tf.float32)
            softmax_b = tf.get_variable("softmax_b", [3], dtype=tf.float32)
            logits = tf.matmul(output, softmax_w) + softmax_b
            self.probs = tf.nn.softmax(logits,name="action")

反馈和优化:

            policyloss = tf.log(self.action0)*(self.critic_rewards-self.critic_feedback)
            loss = tf.negative(tf.reduce_mean(policyloss),name="loss")
            #with tf.variable_scope("actor-train"):
            self.actor_train = tf.train.AdamOptimizer(0.01).minimize(loss)

以上是A3C中参与者网络的更新和反馈

暂时股指期货预测,我仍然不太了解crtic_reward和comments_feedback的含义。我晚上回到实验室,问我姐姐。从理论上讲期货,参与者网络应该不时更新策略,这意味着要更新每个状态并选择每种类型的动作概率。但是在这里…很奇怪。

crtic网络的本质与上述网络没有太大区别。我不会再多说了,我暂时会对此进行更新,我觉得上级姐姐还没有清理很多东西。

END

文章来源:期货开户,如若转载,请注明出处:http://www.ezpack.cn/1050.html

联系我们

9786923

在线咨询:点击这里给我发消息

邮件:[email protected]