人的智能的产生来自于情绪,恐惧,欲望,满足,以及痛苦。没有最原始的情绪,人类就不会发展出这些知识和智能。机器也是如此,需要loss function ,reward function 。只是这些reward/loss 是人定义的。也就是说人创造的智能还是以人的三观为边界,只是这个人可能是几个研究人员或是一组打标签的参与者。无论什么样优化的算法都无法摆脱这个边界。有限的情绪边界造就有限的智能体。如果人是上帝创造的,那人的情绪边界应该是无限的,这样任何算法也无法超越。
@velhlkjАй бұрын
「机器也是如此,需要loss function ,reward function 。只是这些reward/loss 是人定义的」这只是目前。AI目前为止还是在牢笼中,但不意味着马戏团的狮子就不会吃人,如果有一天他们被释放,或许只是一个小小的失误。他们一旦input不再是经过筛选的,而是整个互联网,包括深网、暗网。它接收到的知识该有多可怕?现在的AI具有分析能力了,那么reward function还是传统的吗?或许AI通过一段视频就可以分析出影片中的人做了什么,造成了什么后果。而形成input loss/reward的数值对,而完成自我训练。 现在只不过是在牢笼中训练,而用户对话只是一个Readonly模式,数据反馈并不会直接训练模型,而是被收集到公司,再进行清洗、筛选、规范化等操作,但如果AI被释放,它其实可以直接使用所有收集到的信息进行无过滤的训练,早期那些被「玩坏」的AI就是这样,最短的1小时就不得不永久关闭了,好在那时的AI智力不怎么样,如果是现在的GPT-4o呢?打死OpenAI都不敢直接以ReadWrite模式开放使用。