聊一下学霸+商业的剧情 (第1/1页)
这本书是按照学霸+读书创业的方向来走的。
有朋友说,高中因为有高考主线,所以还很好,但上了大学马上就“高开低走”。
这是我的问题,我并没有考虑到并不是每个人都能清楚神经网络大模型的发展历程,重要时间段。
如书中所言,现实中,神经网络/深度学习领域,进入90年代后一直遇冷到了2006年——直到辛顿在nature上提出深度信念网络,NIVDIA开启CUDA,李飞飞创建ImageNet数据集。
直到这时,算法,算力,数据,三驾马车勉强凑齐。
但深度学习领域还是冷。
(可能大家听过一个笑话,X度的自动驾驶里面,有上百万个ifelse……)
那会为了提高研究热情,李飞飞让人免费用数据集又搞训练比赛……
可以说,大模型就是一帮坐冷板凳的科学家坚持走出来的。
现在回到书中,时间是2000年。
大家有个普遍的误区是认为有算力、超算就可以搞训练。
不是的,深度信念网络(DBN)逐层预训练是串行逻辑,分布式只会增加延迟,而超算都是分布式集群的,哪怕银河二号超级计算机,都不如一块奔腾4跑得快。
但你说能训不呢?那当然还是能的。
搞两个双路CPU的服务器,优化一下逻辑,大概只需要跑个几个月就行——这还只是对辛顿那篇论文的验证……
可跑几个月,也太不现实了,我敢写,您也不敢看啊!对吧?
就算是辛顿老爷子那种狠人,也是在06年的服务器上跑的,而不是00年……
所以按照学霸文的路径写校园,就只能到处装逼,从课堂装到实验室……从同学装到院士。
但B你是装了,完了你的成果一点拿不出来……那算什么?
所以从开书的时候,就设计大学后走商业路线搞钱,完了订制超算,稍微跑快一点——因为跑完你还得调参呐!
现在书中剧情马上到游戏公测,到时候就有钱了,而且进入01年也正式拉开流氓软件大战,我还想着惩治流氓呢……
//*晚上更新照旧。
*这不算剧透,算是给朋友们一点前期我没有写清楚的问题的一点补充吧。
*另:8号上架~欢迎光临。
*单章都开了,要不再求个月票……
*谢谢。