







ChatGPT发布以来,基于指令学习技术的类ChatGPT模型在我国能否开发成功,成为业界关注的一个焦点。今天,解放日报·上观新闻记者从复旦大学自然语言处理实验室获悉,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),邀公众参与内测。
MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。
邱锡鹏表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。
“端到端”走通大语言模型
由于ChatGPT并未开源,其技术方案细节也未公开,科研人员对此有诸多猜测。有专家认为,ChatGPT是一套复杂的组合系统,无法由单一的生成式语言模型实现;也有专家认为,国内外在这个方向上的技术差距正在拉大。
作为自然语言处理专家,邱锡鹏近年来致力于研究具有多任务学习能力的通用模型。为了探索ChatGPT的技术路线,并获得大语言模型研究的一手经验,他带领团队加快了MOSS开发。如今,MOSS成为国内首个公开亮相的类ChatGPT语言模型,“端到端”走通了大语言模型的开发全程。
MOSS开发的基本步骤与ChatGPT一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助ChatGPT逐步理解各种指令。复旦团队则采用不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
邱锡鹏坦言:“MOSS与ChatGPT的差距主要在自然语言模型基座预训练这个阶段。MOSS的参数量比ChatGPT小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”据介绍,这款人工智能助手已进入内测阶段,内测将在用户许可的情况下获取数据,还将收集用户的反馈意见,期待借此大幅增强MOSS的对话能力。
实测对话、编程等多种能力
MOSS回答问题的水平如何?记者用中文问了它几个问题。
“一些人觉得,人工智能将取代很多人的工作,你觉得呢?”MOSS回答:“我认为人工智能不会完全取代人类,而是在一定程度上帮助人们完成工作。例如,机器可以提高数据分析、决策制定等过程中的效率,并可以节省大量时间和精力。此外,AI也可以用来协助人类完成更复杂的任务,比如诊断疾病、开发新产品等。总之,AI可以使人类的工作更加高效,但它不会完全取代人类。”
记者又问:“对于上海如何更好地发展人工智能产业,你有什么建议?”MOSS回答:“我认为上海可以通过以下方式来更好地发展人工智能产业:1.加强人工智能领域的研发,支持学术研究,促进科学发展;2.加强行业资源整合,推动人工智能产业的发展;3.加强人工智能相关产品的研发,提高产品的竞争力;4.加强人工智能产业的投资,促进投资者的参与;5.加强人工智能产业的法律法规,保障人工智能产业的健康发展。”
可以看出,MOSS的回答语言流畅、逻辑清晰且观点正确。但科研团队也坦诚指出,当前版本的MOSS表现不够稳定,有些回答存在事实差错或逻辑不顺。“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”
科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。
“告诉我5部科幻电影。”“生成一张展示这5部电影和导演的表格。”“增加一列表格,显示这些电影上映的时间。”在这个包含表格生成的多轮交互中,MOSS顺利完成了任务。
与ChatGPT一样,MOSS也有代码生成和解释能力。演示人员要求它生成一段Python代码来实现快速排序,MOSS很快完成了任务。
MOSS还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。
开源降低中小企业研发门槛
进入内测阶段后,用户可以通过MOSS网站(https://moss.fastnlp.top/) 申请内测。科研团队期待通过内测获取对话数据,以提升MOSS的多方面能力。
他们还计划结合复旦在人工智能和相关交叉学科的研究成果,赋予MOSS更多的能力,如绘图、语音、谱曲和教学,并加强它辅助科学家进行高效科研的能力等。
目前,MOSS的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。为此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。科研团队相信,这将有效提升模型的中文对话能力。
未来,科研团队将通过开源方式分享这项工作的成果,促进学术界和产业界对预训练语言模型的分析与研发。预训练大语言模型的研发门槛很高,需要大量算力、训练语料和人工标注。在我国产业界,只有大型机构才有实力开发大模型。MOSS开源后,可有效降低预训练语言模型的研发和应用门槛,让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。
“MOSS的计算量相对不那么大,中小企业都能用起来。”邱锡鹏说,“期待复旦团队和上海人工智能实验室继续合作,通过MOSS以及后续的研究探索,推动AI普惠,尽快赋能国内的人工智能产业。”
毛泽东在一九三七年八月在陕北洛川会议上的讲话摘要(1) " 要冷静,不要到前线去充当抗日英雄,要避开与日本的正面冲突,绕到日军后方去打游击,要想办法扩充八路军、建立抗日游击根据地,要千方百计地积蓄和壮大我党的武装力量。对政府方面催促的开赴前线的命令,要以各种借口予以推拖,只有在日军大大杀伤国军之后,我们才能坐收抗日成果,去夺取国民党的政权。我们中国共产党人一定要趁着国民党与日本人拼命撕杀的天赐良机,一定要趁着日本占领中国的大好时机全力壮大,发展自己,一定要抗日胜利后,打败精疲力尽的国民党,拿下整个中国。" 毛泽东在一九三七年八月在陕北洛川会议上的讲话摘要(2) " 有的人认为我们应该多抗日,才爱国,但那爱的是蒋介石的国,我们中国共产党人的祖国是全世界共产党人共同的祖国即苏维埃(苏联)。我们共产党人的方针是,要让日本军队多占地,形成蒋、日、我,三国志,这样的形势对我们才有利,最糟糕的情况不过是日本人占领了全中国,到时候我也还可以借助苏联的力量打回来嘛!" 毛泽东在一九三七年八月在陕北洛川会议上的讲话摘要(3) "为了发展壮大我党的武装力量,在战后夺取全国政权。我们党必须严格遵循的方针是"一分抗日,二分敷衍,七分发展,十分宣传"。任何人,任何组织都不得违背这个总体方针。"! 一九六四年七月十日,日本社会党委员长佐佐木更三偕委员黑田寿男去北京,与毛泽东有下面一段对话∶ 毛∶ 我曾经跟日本朋友谈过。他们说,很对不起,日本皇军侵略了中国。我说∶不!没有你们皇军侵略大半个中国,中国人民就不能团结起来对付蒋介石,中国共产党就夺取不了政权。所以,日本皇军是我们中国共产党人的好教员,也可以说是大恩人,大救星。 佐佐木∶今天听了毛主席非常宽宏大量的说话。过去,日本军国主义侵略中国,给你们带来了很大的损害,我们大家感到很抱歉。 毛∶ 没有什么抱歉。日本军国主义给中国带来了很大的利益,使中国人民夺取了政权。没有你们的皇军,我们不可能夺取政权。这一点,我和你们有不同的意见,我们两个人有矛盾。(众笑,会场活跃)。 佐佐木∶谢谢。 毛∶不要讲过去那一套了。日本的侵略也可以说是好事,帮了我们的大忙。请看,中国人民夺取了政权,同时,你们的垄断资本、军国主义也帮了我们的忙。日本人民成百万、成千万地醒觉起来。包括在中国打仗的一部份将军,他们现在变成我们的朋友了。 (摘自《毛泽东思想万岁》,第五三三至五三四页。) 毛泽东感谢日本侵略中国,因此,不要日本赔偿! 1972年,中日建交的时候,日本首相田中角荣就向毛泽东道歉,"啊,对不起啊,我们发动了侵略战争,使中国受到很大的伤害。" 毛泽东说"不是对不起啊,是你们有功啊,为啥有功呢?因为你们要不是发动侵华战争的话,我们共产党怎么能够强大?我们怎么能够夺权哪?怎么能够把蒋介石打败呀?"他感谢田中角荣。"我们如何感谢你们?我们不要你们战争赔偿!" |

图像来源,GETTY IMAGES
最近,中共最高领导层中央政治局常委召开会议总结中国三年疫情防控,以“重大决定性胜利”、“奇迹”等词总结中国抗疫,并称中共应对疫情措施成效巨大。
研究中国政治的专家对BBC指出,此次会议在两会前召开,是在宣传上统一声音,对异议者发出警告。
据新华社报道,周四(2月16日)召开的中共中央政治局常务委员会会议, 由习近平主持。 会议指出,2022年11月以来,中国有2亿多人得到诊治,近80万重症患者得到有效救治,新冠死亡率保持在全球最低水平,新冠死亡率保持在全球最低水平,取得疫情防控重大决定性胜利,“创造了人类文明史上人口大国成功走出疫情大流行的奇迹。”
“实践证明,党中央对疫情形势的重大判断、对防控工作的重大决策、对防控策略的重大调整是完全正确的,措施是有力的,群众是认可的,成效是巨大的”,报道称。
据中国疾病预防控制中心数据统计,2022年12月8日至2023年2月9日,31个省市医疗机构累计在院新冠病毒感染相关死亡病例83150例。
不过,对于中国死亡数据的真实性一直存在诸多质疑。许多人认为,死亡数字被严重低估。
微博网民“air4587”说:“你们是怎么好意思不顾那么多事实,公然撒谎的啊?在说疫情防控胜利前敢不敢爆后期真实的感染数据,我们可以感染,但不能连知情权都没有吧?怎么就胜利了?”
这次会议还提出,要根据病毒变异和疫苗保护情况,科学谋划下一阶段疫苗接种工作,促进老年人接种率持续提升;要抓好常态化分级分层分流医疗卫生体系建设,继续优化资源布局,加强医疗物资生产保供等。
纽约州立大学奥尔巴尼分校政治学教授陈澄对BBC中文表示,中共中央在此时对疫情做出总结,明显是希望在下个月两会和新政府开始工作之前,在疫情这件事上正式划下句号,彻底翻篇。 之后,疫情便不再是工作重点,政府将把全部注意力转移到振兴经济和其它工作上,她说。
“实际情况当然远没有这个总结说得那么完美。不管是‘清零’期间,还是放开之后,其实都有各种失误。如今已公布的新冠死亡人数也仅是院内死亡人数,院外病亡人数可能相当大,但是却未纳入统计,很难让人信服,” 她说。 “对于在过去三年间遭受各种封控带来的损失,和放开后失去染疫亲人的无数民众来说,恐怕对这个高调总结难于认同。”
陈澄教授也指出,另一方面,这次疫情高峰确实过去得非常迅速,从几乎是全民染疫的状况到最近的低感染率仅仅用了一两个月,超出很多人的预期。
美国纽约城市大学(The City University of New York)政治学教授夏明则认为,二十大以后的政治局常委,做出这样好大喜功的结论不足为奇。
图像来源,GETTY IMAGES
“之所以要做出这样的结论,是因为有争论、对习近平三年亲自抓防疫工作的绩效有异议,而且抗议声还不小,必须在宣传上提供清晰模板、统一舆论、划出红线,”他对BBC中文表示。
此次政治局常委会议后不久,中国将召开人大和政协”两会“,一批新任政府高官将亮相。去年,中国因为严格的”清零“措施引发公众不满,触发“白纸抗议”。
在习近平的新年贺词中,习近平提到“不同诉求”,被认为是间接回应“白纸抗议”。习近平说:“中国这么大,不同人会有不同诉求,对同一件事也会有不同看法,这很正常,要通过沟通协商凝聚共识。”
而近来,延长退休年龄的传言和医保改革也在搅动着中国舆论场。
“此时为疫情工作定下全胜的调子,是要维护习权威,也是警告任何对新班子有怀疑态度的党内外人士,”夏明说。
放弃“清零”之后,中国经济还需多久才能复苏?
夏明认为,现在在疫情并未完全消失的情况下,中国的经济危机、青年失业、老年人社保金发放困难、房地产崩盘、外部环境恶化等等,使得中国政府陷入多重的困境,而习近平对中国的多重危机并未找到对策和解决方案。
陈澄则指出,这次对于疫情总结本身不太可能激化社会矛盾。事实上,绝大部分人急于走出疫情阴霾,重新正常工作、生活。
“医保问题是引起了一些抗议声浪,但是目前的规模,热度都无法和去年的反封控抗议相比,”陈澄说。
“然而,从长远来看,一个总结是无法抹去疫情给社会造成的巨大创伤的。在政府和社会都急于往前走的时候,如何汲取沉痛教训,也许是比这个总结重要得多的议题,”她说。