引
今年中秋节时我回了一趟老家,和许久不见的高中同学约了一顿饭,他最近刚刚确认了保研的去向,想趁着大学最后这一年时间好好研究一下 AI 行业,看看如何参与进来。
我的这位朋友并非计算机相关专业,但这两年,身边像他这样开始关注 AI 的人确实越来越多了。尤其是对于还在大学里的年轻人来说,大家似乎都在思考,自己应该如何参与到这场变化之中。。不过今天我并不想聊进入这个行业的方法论,而是从个人成长的角度来聊聊我对于 AI 时代个人发展的思考
SFT 还是 RL
在 AI 领域,有两种常见的模型训练方式。一种叫 SFT,也就是监督微调,通过大量带有参考答案的数据,让模型学习如何完成任务;另一种叫 RL,也就是强化学习,让模型通过尝试和反馈,不断调整自己的行为。
某种程度上来说,在高考前我们的学习方式会更像 SFT,而高考后的学习的方式会更像 RL。对于这两件事真正的差别,其实不在于有没有标准答案,而在于两样东西:你在哪做,和谁在给你打分。
在 SFT 里,这两样都是别人替你设好的。题目和答案都是别人制定好的,你要做的只有一件事——尽量无限接近标准答案的轨迹。在 RL 里,这两样是你唯一能选的东西。如果把大学之后的成长看成某种强化学习,那么我们至少需要开始自己思考两件事:应该进入什么样的环境,以及应该把什么当作有效的反馈。
如果你的环境反馈很慢、反馈是假的,或者它奖励的根本不是你想要的,那么你越努力,只会越精准地朝那个错误的方向去。我们可能会因为某个指标得到正反馈,就不断投入时间去优化它,直到有一天发现,这个指标和自己最初想实现的目标已经没有太大关系了。
这让我想到强化学习里的 reward hacking:模型找到了获得高奖励的方式,却没有真正完成设计者希望它完成的任务。对人来说也类似。我们可能花了很长时间去满足一个环境对“优秀”的定义,却没有认真想过,这是不是自己真正想要的东西。
谁在定义你的 Reward?
最近有一个令我深思的问题是:你到底想成为一个什么样的人,是否考虑过为了这个目标所要付出的代价?
笔者今年已经大四,在各大社交媒体以及与许多同龄人交流的过程不难发现,绩点、排名、保研、实习、Offer,这些东西几乎贯穿了整个大学生活。
我并不觉得追求这些东西有什么问题,我也在这几年不断追求这些东西。相反,对于一个还没有太多经验的大学生来说,这些指标确实能够帮助我们有更明确的目标而为之努力。
一个大学生为了进入大厂努力学习,最后真的拿到了 offer。这当然是成长。不过最近让我反思的是:如果进入大厂之后,仍然只用下一次晋升、下一次跳槽涨薪来判断自己有没有进步,那么自始至终都没有想清楚开始的问题呢?
反过来,一个人选择创业,也不意味着他就想清楚了以上问题,而可能只是把原来的那一套评价换成了融资额、估值和用户增长。
坦白讲,直到今天我也还没有完全想清楚开始的问题,但我觉得这篇文章是一部分答案:我希望自己可以不功利地去做一些我本热爱的事情,我希望我的时间可以分一些给不功利的事情。
选择你的环境
前面提到了 reward hacking,当奖励函数本身存在问题时,模型可能越训练,越擅长完成一件错误的事情。
人其实也一样。
我们常常觉得,一个人只要足够努力、学习能力足够强,无论在什么地方都能有所成长,还有一个很常见的观点是”学的多总没有错,未来总能用上,技不压身“。
假设你进入了一个只看重短期结果的团队。在这里,认真解决问题不一定能得到认可,但只要能把指标做得漂亮,就有机会得到更多资源和奖励。如果你足够聪明,可能很快就能摸清楚这套规则。你知道应该把时间花在哪里,知道什么样的结果更容易被认可,也知道哪些事情虽然重要,却不值得投入。时间久了,你可能真的成为了这个环境里表现最好的人之一。
但问题是,你在这个过程中究竟学会了什么?
我觉得环境最重要的是它会不断训练你的行为。什么事情值得做,什么问题应该忽略,这些下判断的能力都会在一次次反馈中逐渐影响你的判断。
结
当 AI 可以洋洋洒洒生成无数篇文章、视频、网站、产品…
我们还知道自己一开始想要的是什么吗?
从大一开始实习到如今开始创业,我其实觉得自己有时会沉溺于追求更大的标签,而忽略了自己的本心。此文除了希望可以帮到大家之外,也希望可以帮助我自己来反思。
我希望在未来都能有一片属于自己的小天地——只顾低头往前走,无关金钱和自由,I just dancing in my room.