快牛:↑为什么我好不容易翻一下M站还要看RLsuperhlyb:↑首先基本的概念:状态、动作、奖励(奖励就是一个实数)。在一个状态下,机器人执行一个动作,环境会反馈一个奖励(或惩罚),然后机器人会到达另一个状态。因此,机器人要是希望得到尽可能多的奖励,就需要对当前状态下所有的动作带来的收益有一个估计,然后选取可能的收益大的那个动作(这里的收益不仅指当前环境给的奖励,还有预期的未来收益。比如说有些动作可能即时奖励不高,但是把机器人带入的下一个状态可能有非常高的收益)。也就是说,机器人需要有一个函数,这个函数输入是当前的状态,输出是对所有动作的预期收益的估计值。如果这个函数用神经网络来模拟的话,就是所谓的深度强化学习。
求问惩罚和奖励具体指的是啥,和普通的搞函数最优化有啥区别?
与普通的学习任务不同的是,强化学习不属于监督学习(你没有标签给它),也不属于无监督学习。它需要从自己的尝试中获取经验。比如典型的Q学习的更新思想是这样的:q(s,a)=r+g*q(s',a'). 其中q(s,a) 是s状态下采取a动作的收益,s', a' 是下一个状态和下一个动作,r是当前的奖励,g是衰减因子(g越小说明越看重当前收益)。因此当你在s'状态下,你就有了对上一个状态q(s,a)的估计值。然后你就可以把这个估计值当作target,去训练机器人的神经网络。(大概就是这样子,忽略了很多细节)
其实单纯的网络训练这一块我觉得倒是和普通的深度学习差别不大,RL的主要问题是收敛太慢或者因为target也是在动态变化的所以训练过程不稳定等等一些问题,也还挺有趣的。然后rl的meta learning也是类似。就是希望网络可以在不同的任务上收敛地更快。
shizizhanzheng:↑其实。。。开始的时候都是素人吧orz 不过她可能确实是之前压根不知道sm这种东西的, 其实也不能说她最硬核,主要是我和她来往有限,尤其调教之外的生活,交集不是很多,更没有共同生活经历。 同居的话要一直维持主从等级森严的感觉其实还挺累的superhlyb:↑按理说闺蜜才是3人里面最素人的一个吧,怎么sm程度最强呢?23333怪不得之前的男朋友跑了,这谁顶得住啊hhhhh
各有各黑的地方,但是怎么说呢....感觉闺蜜最黑吧,毕竟玩儿的少,每次都给虐得够呛,Z和妹妹基本上除了调教平时也经常在一起玩儿,sm感觉从来也不是那种特别硬核不能反抗的,更多是一种游戏的延伸,玩儿啥都好商量那种
闺蜜就...感觉对sm这方面很饥渴,我甚至有点怕她失控2333
sbsb2100:↑闺蜜脚味还行,正常人,成心不洗就臭,平时就一般,不像Z似乎建号的时候就没点出汗天赋....出了汗也没啥味superhlyb:↑你妹是因为性欲强,所以愿意尝试很多,s还是m都行。闺蜜或许平时没有性经验感情经历少,生活方式比较保守且略有些压抑?高冷女神当久了,来你面前释放小恶魔了?
各有各黑的地方,但是怎么说呢....感觉闺蜜最黑吧,毕竟玩儿的少,每次都给虐得够呛,Z和妹妹基本上除了调教平时也经常在一起玩儿,sm感觉从来也不是那种特别硬核不能反抗的,更多是一种游戏的延伸,玩儿啥都好商量那种
闺蜜就...感觉对sm这方面很饥渴,我甚至有点怕她失控2333
superhlyb:↑你妹妹还当了她闺蜜的m?这个6啊23333sbsb2100:↑闺蜜脚味还行,正常人,成心不洗就臭,平时就一般,不像Z似乎建号的时候就没点出汗天赋....出了汗也没啥味
你妹是因为性欲强,所以愿意尝试很多,s还是m都行。闺蜜或许平时没有性经验感情经历少,生活方式比较保守且略有些压抑?高冷女神当久了,来你面前释放小恶魔了?
闺蜜至今还是处....其实她最早也不是高冷女神的,之前也是个逗比,上大学才高冷的,大概是因为长得比较高冷,大家就都认为她高冷,久而久之就真高冷了
说起来我还真想起来一个只和闺蜜玩儿过的play...atm奴,这个虽然也和我妹,z做过,但是都是支付宝打钱...闺蜜那个是现实中上贡,而且是人前上贡,爽的一逼,之前玩儿atm真的就...反正挺羞辱,精虫上脑了会觉得上贡play很好撸,但是其实也就这么回事儿,而且都结婚了上贡来上贡去还不是肉烂在锅里吗2333 和闺蜜不一样,那钱是真的被夺走了,而且是现实中,人前,太爽了
(我妹同意的,而且她也上贡了)
sbsb2100:↑这么一看倒还有些道理。可能高冷的女生都有另一面吧,压制久了就需要偶尔释放。后面找机会试探试探我妹23333可惜本来好几年前就有机会的,但是她那会太小了(翻记录翻出来的,感觉错过很多)superhlyb:↑你妹是因为性欲强,所以愿意尝试很多,s还是m都行。闺蜜或许平时没有性经验感情经历少,生活方式比较保守且略有些压抑?高冷女神当久了,来你面前释放小恶魔了?
各有各黑的地方,但是怎么说呢....感觉闺蜜最黑吧,毕竟玩儿的少,每次都给虐得够呛,Z和妹妹基本上除了调教平时也经常在一起玩儿,sm感觉从来也不是那种特别硬核不能反抗的,更多是一种游戏的延伸,玩儿啥都好商量那种
闺蜜就...感觉对sm这方面很饥渴,我甚至有点怕她失控2333
shizizhanzheng:↑你妹妹是个怎样的女孩呢?从哪里发现蛛丝马迹的,她让你闻她袜子这种?sbsb2100:↑这么一看倒还有些道理。可能高冷的女生都有另一面吧,压制久了就需要偶尔释放。后面找机会试探试探我妹23333可惜本来好几年前就有机会的,但是她那会太小了(翻记录翻出来的,感觉错过很多)
你妹是因为性欲强,所以愿意尝试很多,s还是m都行。闺蜜或许平时没有性经验感情经历少,生活方式比较保守且略有些压抑?高冷女神当久了,来你面前释放小恶魔了?
sbsb2100:↑前面17页有提到,其实我不太清楚我妹对sm的态度(她读小学初中那会就知道了,我当时都有点惊讶)shizizhanzheng:↑你妹妹是个怎样的女孩呢?从哪里发现蛛丝马迹的,她让你闻她袜子这种?
这么一看倒还有些道理。可能高冷的女生都有另一面吧,压制久了就需要偶尔释放。后面找机会试探试探我妹23333可惜本来好几年前就有机会的,但是她那会太小了(翻记录翻出来的,感觉错过很多)
shizizhanzheng:↑233333偶尔玩玩.....闺蜜提出来的,本来觉得这么多年小姐妹有点尴尬,不过其实越尴尬越刺激superhlyb:↑你妹妹还当了她闺蜜的m?这个6啊23333
闺蜜脚味还行,正常人,成心不洗就臭,平时就一般,不像Z似乎建号的时候就没点出汗天赋....出了汗也没啥味
闺蜜至今还是处....其实她最早也不是高冷女神的,之前也是个逗比,上大学才高冷的,大概是因为长得比较高冷,大家就都认为她高冷,久而久之就真高冷了
说起来我还真想起来一个只和闺蜜玩儿过的play...atm奴,这个虽然也和我妹,z做过,但是都是支付宝打钱...闺蜜那个是现实中上贡,而且是人前上贡,爽的一逼,之前玩儿atm真的就...反正挺羞辱,精虫上脑了会觉得上贡play很好撸,但是其实也就这么回事儿,而且都结婚了上贡来上贡去还不是肉烂在锅里吗2333 和闺蜜不一样,那钱是真的被夺走了,而且是现实中,人前,太爽了
(我妹同意的,而且她也上贡了)
superhlyb:↑以前在m站看过的一篇妹系文里面就有妹妹的闺蜜当了她的m……说实在的表面上亲密无间的闺蜜在背地里却是s和m的关系,那可真是太刺激了23333shizizhanzheng:↑233333偶尔玩玩.....闺蜜提出来的,本来觉得这么多年小姐妹有点尴尬,不过其实越尴尬越刺激
你妹妹还当了她闺蜜的m?这个6啊23333