南方都市报 2017-04-12 11:20
马斯克:AI热潮令人毛骨悚然
分享
人工智能的关键问题不在于机器人;它是网络中的计算机算法。所以,机器人只是一个最终执行者

伊隆·马斯克创建了著名的航天发射公司SpaceX和电动汽车公司特斯拉,并以高瞻远瞩的超前计划闻名。但是,近年来硅谷企业研发人工智能(A.I.)的热潮让他觉得毛骨悚然。为了影响这个飞速发展的领域及其倡导者,拯救人类免于被智能机器人毁灭的命运,马斯克拿出十亿美元,意图监控人工智能技术发展,避免人类浩劫。


友好辩论


那只是一场关于人类命运的友好辩论,高级人工智能领域技术先锋德米斯·哈萨比斯(DemisHassabis)在和末日论者伊隆·马斯克(ElonMusk)谈论人工智能威胁。他们是硅谷最具代表性的人物,虽然两人实际都不住在硅谷。哈萨比斯是神秘的伦敦实验室DeepMind的联合创始人。


几年前,他拜访马斯克位于洛杉矶郊外的SpaceX新火箭工厂。两人坐在食堂里聊天,马斯克正在解释他创建SpaceX的终极目标是完成世界上最重要的项目:星际殖民。哈萨比斯回答说,事实上,他也在研究世界上最重要的项目:开发超级人工智能。马斯克回答说,这正是他决定殖民火星的原因之一:假如人工智能反叛,倒戈攻击人类,我们至少有一个落脚的地方。哈萨比斯笑眯眯地断言,人工智能只需要跟着我们一起去火星。


40岁的哈萨比斯被认为是最可能创造出人工智能儿童的“魔法师”。人工智能研究在飞速发展,但距离马斯克惧怕的那种能够自我进化,有独立意识的软件还有很长距离。脸书将人工智能用于广告投放、照片标签和新闻推送。微软和苹果将人工智能用于它们开发的数字助手Cortana和Siri。谷歌的搜索引擎从一开始就依靠人工智能。所有这些小小的进步的最终目标是创造能够自主学习进化的人工智能。


哈萨比斯还是一名出色的象棋选手和游戏设计师,他曾经开发过一款名为《邪恶天才》的游戏,主角是一名邪恶的科学家,为了征服世界,他创造了一种末日装置。和马斯克一起靠创建支付平台PayPal发家的亿万富翁彼得·泰尔(PeterThiel)告诉我,DeepMind的一名投资人在一次会议结束后开玩笑说,他应该当场击毙哈萨比斯,因为这可能是拯救人类的最后机会。


三年前,伊隆·马斯克开始警告人工智能暴走失控的可能性。而哈萨比斯在DeepMind的一位合伙人肖恩·勒格(ShaneLegg)毫不在乎地说,“我认为人类确实可能灭绝,而科技可能会在其中发挥一定作用。”难怪马斯克会感到担心。

2014年,在DeepMind被谷歌收购前,马斯克曾经是这家公司的投资人。他告诉我说,他的参与不是为了经济回报,而是要监督人工智能的发展:“让我能够知晓这东西发展的程度,我感觉,它们正在以前所未有的速度发展,远远超过人们的估计。主要是因为在现实生活中并没有很多机器人,也许你家有一台Roomba扫地机器人,但没有人认为Roomba会征服世界。”


更令人惊讶的是,马斯克公开指责他的朋友和硅谷同事,警告他们创造的东西可能导致自我毁灭。他告诉《伊隆·马斯克》传记作者彭博社的阿什利·范斯(AshleeVance),他担心自己的朋友,谷歌联合创始人拉里·佩奇(LarryPage)虽然有着最高尚的意图,但依然可能“不小心办坏事”,比如创造出一群能够毁灭人类的高级人工智能机器人。


马斯克的人工智能威胁论在他2014年的麻省理工学院演讲后广为人知。他声称,人工智能可能是人类面临的“最大存在威胁”。他本人日益趋向于建立某种国家或国际监管(硅谷最痛恨的一个词语)机制,“以确保我们不会不小心干傻事。”用他的话说就是,“研究人工智能等同于召唤魔鬼。”一部分人工智能工程师认为马斯克的论调荒谬可笑,把它当成了笑柄。每次休息后返回办公室,他们会说,“我们又回来召唤魔鬼了。”

但马斯克一点也不觉得好笑。他的一位硅谷大腕朋友说,“伊隆对人工智能的‘圣战’才刚刚开始。”


阿尔法人格


当提到他给人的感觉像是安·兰德(AynRand,著名哲学家和小说家,她的作品强调个人主义的概念、理性的利己主义以及彻底自由放任的市场经济)小说中的主角,马斯克笑了,用略带南非口音的英语说,“有人和我说过同样的话。她的观点无疑很极端,但其中不乏真理。”


当然,如果要让马斯克成为自己作品的主角,安·兰德会对他进行一些改写。她会将他的眼睛颜色变成灰色,赋予他更憔悴深刻的面孔。她会抹掉他滑稽的一面,禁止他吃吃傻笑,会让他抛弃那套关于“集体主义的好处”的论调。她会在这位45岁亿万富翁的丰富多彩的个人生活中找到很多灵感,包括他的两次婚姻。马斯克的第一任妻子是幻想小说作家贾斯汀·马斯克,两人有5个儿子。马斯克的第二任妻子是英国演员塔卢拉·莱利(TalulahRiley),她和马斯克一度离婚,后又复婚。去年秋天,马斯克发推文说,塔卢拉在HBO电视剧《西部世界》中“扮演死气沉沉的性爱机器人很专业”。和马斯克这样的超级工作狂维持夫妻关系对任何普通女人都是一项挑战。“一个女人每周需要你陪她多长时间?”他曾这样问阿什利·范斯,“也许10个小时?”


马斯克最让兰德满意的地方无疑是他非凡的理性,冒险精神和实业家身份。他经常参加化妆舞会,喜欢在机翼上行走,爱好日本蒸汽朋克狂妄剧。三星公司美国首席市场官马克·马修(MarcMathieu)说他是“史蒂夫·乔布斯和儒勒·凡尔纳的复合体。”马斯克的第一任妻子贾斯汀回忆说,在他们的婚礼上,马斯克对她说,“我是这段婚姻关系中的阿尔法(主宰者)。”


在硅谷天才中,马斯克是个异类,他把自己的火箭部件挂在旧金山豪宅墙壁上,当作艺术品欣赏。他怀揣远大目标,试图征服太空。他研发低成本火箭,希望最终殖民火星。今年2月,他宣布最早将于明年将两名太空游客送去月球轨道,绕月飞行一圈。他致力于研究高效率电池,带给世界更廉价的太阳能。他的特斯拉电动车外形优美,线条流畅,即使是吹毛求疵的史蒂夫·乔布斯也挑不出一点毛病。他想要帮助人们节省更多时间,梦想用时速700英里的Hyperloop(一种在管道中行驶的电磁子弹列车)连接洛杉矶和旧金山。去年夏天,在拜访美国国防部长阿什顿·卡特(AshtonCarter)时他发推文说,他正在五角大楼商谈设计一款钢铁侠托尼·斯塔克式的“飞行金属外衣”。去年12月,在洛杉矶拥堵的道路上,他感到无聊又沮丧,发推文说要创建一家钻探公司,在城市地下挖掘隧道,将大众从交通拥堵中解放出来。今年1月,据《彭博社商业周刊》报道,马斯克委派了一名SpaceX高级工程师负责该计划,并已开始挖掘第一条实验隧道。

当然,大梦想家们也更容易遭遇大挫折。SpaceX的火箭已经不止一次爆炸。去年6月,由于特斯拉自动车的感应器未能发现前方道路上横向行驶的大拖车,导致一位驾驶员死亡。(美国高速路交通安全管理局的调查结果认为特拉斯的自动驾驶系统并没有过错。)


这些挫折丝毫没有让马斯克动摇,但他却无法忍受未知的恐惧。他的观点类似兰德的小说《地球震颤》(AtlasShrugged)的格言:“人类有力量成为自己的覆灭者,纵观历史,人类大部分时间都是这样地为所欲为。”他说,“我们是第一种能够自我毁灭的物种。”


驾车穿过硅谷一栋接一栋的玻璃大厦,一种感觉挥之不去:这些云端的主宰者们热衷谈论通过一个个的算法、程序和发明将世界变得更美好,让人们活得更轻松、健康、快乐、长久。然而,在这一切之下隐藏着一种让人毛骨悚然的意识———我们都是他们实验的小白鼠,人类被当作了老旧技术,最好能够早日淘汰,让他们享受更美好的新世界。在硅谷,很多人都接受了这样一种未来前景:我们能够活到150岁,但我们都会变成机器领主的臣民。也许我们已经是,只是不自知。


去年,马斯克在Recode(科技测评分析网站)的年度编码大会上说,我们可能已经是某个高级文明运行的虚拟现实游戏中的玩物。还有报道称,两位硅谷亿万富翁正在研发算法,帮助我们脱离黑客帝国式的“母体”(Matrix)。

你大概会以为,马斯克、史蒂夫·霍金和比尔·盖茨都一致认同的观点足以引起人们的高度警惕。但是,在相当长的一段时期,旧金山湾区(硅谷之外的另一个美国技术中心)一直被宿命论的浓雾笼罩。马斯克的“圣战”被视为徒劳之举,甚至是反社会进步的捣乱。矛盾的是:很多技术大亨已经意识到,他们为人类所作的一切,包括那些善意的宣言,只是通向未来道路上的街灯,一个史蒂夫·沃兹尼亚克(SteveWozniak,苹果公司的另一位创始人)预言人类将成为“家庭宠物”的未来。


但是,马斯克拒绝承认宿命。他计划动用自己所有的力量发起反抗。因此,马斯克和山姆·阿尔特曼(SamAltman)创建了OpenAI(开源人工智能)。这家10亿美元的非营利公司的口号是“研究更安全的人工智能”。当OpenAI还只有屈指可数的几名年轻工程师时,我拜访了他们的临时办公室———OpenAI28岁的联合创始人格雷格·布洛克曼(GregBrockman)位于旧金山教会区的一间公寓。最近,我再次登门拜访时,OpenAI已经搬进了附近更宽敞的办公室,有50名全职员工(近期还将招募10至30人)。


阿尔特曼身穿灰色T恤和牛仔裤,苍白、瘦削又严肃。马斯克面色红润,态度有点羞涩,完全不像个狂热分子。取决光线,他的眼睛呈现绿色或蓝色,依然残留着孤独、笨拙的技术少年的影子,他在17岁时孤身一人从南非移民加拿大。

OpenAI给人的第一印象像个羽量级的虚荣项目。一群高智商少年聚集在一间没有电梯的公寓里,试图和谷歌、脸书等技术巨头和他们雇佣的世界顶尖人工智能专家抗衡。然而,以小博大是马斯克的专长,而且他做起来很有风格,又很擅长煽情。让硅谷的其他人去关注他们的IPO价格。马斯克有着更远大目标,比如终结气候变暖或是去火星上养老。


30年前,马斯克还是个刚开始面临成长烦恼的少年,已经将帮助人类征服银河系视为个人使命。马斯克说道格拉斯·亚当斯(DouglasAdams)的《银河系漫游指南》是他的人生转折点。这本书讲述了邪恶的外星人为了建造太空高速路而摧毁地球的故事,里面有一个偏执狂机器人马文和一台能够回答宇宙所有谜题的超级计算机。深受启发的少年马斯克树立了自己的人生目标:“争取提高人类集体觉悟。”


OpenAI建立起来了,但它的使命依然模糊,这并不奇怪,连这个领域的专家也在争论人工智能的最终形式是什么,它能够干什么,我们要如何制约它。迄今为止,人工智能相关公共政策依然找不到方向,相关软件几乎不受任何限制,并缺乏统一的监管机构。美国联邦航空管理局负责监管无人机,证券交易委员会负责管理自动金融交易,交通部刚开始监管自动驾驶汽车。


马斯克认为,最好的方法是先研究出超级人工智能,然后再统一分配下去,而不能让它们隐藏起来集中掌握在技术大亨或政府精英手中———即使这些技术精英碰巧是他的朋友,比如谷歌创始人拉里·佩奇和谢尔盖·布林(SergeyBrin)。佩奇和布林觉得自己是惩恶扬善的好人,但马斯克认为,这不是一个少数硅谷执行官凭借良好动机就能掌控的问题。再说,“碰到明君当然好,但如果不幸碰到一个昏君呢?”


人工智能时代


在所谓的人工智能严冬(上世纪80年代早期人工智能技术遭遇全面商业失败)之后,这个领域一度声名狼藉。现在,它摇身一变成了硅谷的最新热潮。OpenAI的格雷格·布洛克曼认为,未来十年将是属于人工智能的时代,几乎每家公司都在花巨资招募这个领域的天才。在过去几年里,谷歌吞掉了几乎所有有意思的自动化和机器学习公司。据报道,它以6.5亿美元的价格击败脸书,收购DeepMind,并创造了专门研究人工智能的GoogleBrain(谷歌大脑)团队。它还招募了英国人工神经网络研究专家杰弗里·辛顿(GeoffreyHinton)和古怪的未来学家雷·库兹韦尔(RayKurzweil)。库兹韦尔预言,28年后自我进化的超级人工智能将在智慧上超过人类,人类与人工智能融合,创造出“类神”复合生物。


拉里·佩奇和谷歌相信人工智能是公司不可避免的宿命,这一信仰已经融入谷歌的DNA。既然谷歌能够在世界最需要数据搜索能力的时候让电脑掌握搜索技术,那么同理可断,它就能让电脑掌握任何事情。去年3月,DeepMind的人工智能阿尔法狗(AlphaGo)击败围棋(据说是世界最复杂的棋盘类游戏)世界冠军。“阿尔法狗”的设计者哈萨比斯一直说他领导的是人工智能登月计划,他称此次胜利为“历史性时刻”,并承认这个时刻如此之快,连他自己也大吃一惊。“我一直希望人工智能能够帮助我们揭示复杂科学领域的全新观念,”哈萨比斯今年2月接受采访时说,“这可能是这种创造性萌生的最初征兆。”最近,阿尔法狗又在网上与中国、日本和韩国的围棋选手进行了60次较量,取得60比0的全胜记录。今年1月,另一个令人震惊的消息传来,人工智能程序已经学会了虚张声势。卡内基梅隆大学的研究人员编写的人工智能程序Libratus在德州扑克比赛中完胜人类顶尖高手。


彼得·泰尔曾经告诉我,他的一个朋友说,人们容忍硅谷的唯一原因是觉得那里的人全都是缺少性生活的可怜虫。但有报道说,硅谷即将推出可以通过应用程序控制情绪、和人一样有脉搏的性爱机器人。由于常年被性骚扰和性别歧视案件困扰,在女性性爱机器人研究方面,相较于日本人坦率的狂热,硅谷一直显得比较羞涩。但当我向马斯克打听这方面研究时,他平淡地回答说,“性爱机器人?我觉得非常有可能。”


无论是出于真诚的考虑还是精明的PR策略,哈萨比斯接受谷歌收购时提出了一个条件:谷歌和DeepMind将成立一个人工智能伦理委员会。那是在三年前,在当时,成立伦理委员会被认为是早熟之举,似乎意在暗示哈萨比斯即将创造真正的人工智能。现在看来,这个决定却颇有远见。去年6月,DeepMind的一名研究者与人合作发表了一篇论文,概述了如何设计一个“红色大按钮”,充当击杀开关,用以防止人工智能伤害人类。


谷歌执行官声称,拉里·佩奇(现任谷歌母公司Alphabet首席执行官)对于人工智能的看法源于他对当前“蠢笨”的机器系统(包括预订旅行或是给农作物定价的程序)的失望。他真的相信,人工智能能够改善人们的生活,他说过,当人类的需要轻松就能满足时,大家将“有更多的时间与家人相处或是追求个人兴趣爱好。”尤其是在他们的工作被机器人抢走之后。


在硅谷,有一部分人认为马斯克对人工智能的兴趣完全不像他所说的是为了拯救世界,而是为了宣传自己的品牌,他巧妙地利用了一种根深蒂固的冲突:人类和机器的矛盾,和人类担心我们的创造物反过来灭掉我们的恐惧。他们说,马斯克高举正义之战的大旗,其实是想以折扣价格吸引人才,为他的火箭和自动汽车孵化人工智能软件。


虽然阿什利·范斯曾说马斯克就像是“科幻版的P·T·巴纳姆(P.T.Barnmum,美国政客、商人和作秀高手,以推销精心策划的骗局而著称)”,但他认为马斯克对于人工智能的担忧是真诚的,虽然现在他还不清楚自己究能做些什么。“他的妻子塔卢拉告诉我,他们曾经有过一次关于人工智能的深夜谈话,”范斯说,“伊隆是一个非常理性的人。他的一举一动就像下象棋一样,经过深思熟虑。当他在脑海中推演每一步时,他的对手们都不得善终。”


加州柏克莱机器智能研究所的联合创始人埃利泽·尤德考斯基(EliezerYudkowsky)表示赞同:“他是伟大的伊隆·马斯克,如果想要扮酷,他不需要跟风谈论人工智能威胁论。他只需要谈谈自己的火星殖民计划。”


马斯克和佩奇在人工智能潜在威胁问题上的分歧“一度确实影响到我们的友谊,”马斯克说,“但这早已过去,现在我们已经和好如初。”


也许是因为年龄差距,马斯克和32岁的脸书创始人马克·扎克伯格并无私交。近年来,扎克伯格令人意外地成为生活方式达人,每年为自己制定一个新的挑战,包括每天系领带、每两周读一本书、学习中文、只吃自己亲手杀死的动物的肉。2016年,人工智能成了他的新目标。


一名脸书用户曾提醒扎克伯格不要“无意中创造Skynet(《魔鬼终结者》中的毁灭人类创造者的超级军用计算机)。”扎克伯格回答说,“我相信我们能够让人工智能只为我们工作、为我们服务。有的人鼓吹人工智能有多么危险、可怕,但在我看来,这实在是杞人忧天,实际发生的可能性远远小于流行疾病或战争导致的灾难。”他还将人工智能恐惧症和飞机发明初期人们对飞行器的恐惧类比,“在弄明白到底如何让飞机飞起来之前,先不要急着制定规则限制它如何飞行。”


圣诞节前夕,扎克伯格发布了他的人工智能管家Jarvis。它有着摩根·弗里曼令人安心的声音,能够帮助控制音乐播放、灯光甚至开启烤面包机。我问马斯克对扎克伯格的人工智能管家雏形有什么看法。“在我看来,给房屋增加一点自动化功能算不上人工智能,”马斯克说,“会开灯、调节温度,并不等于有智慧。”


火灾保险


马斯克和其他提出人工智能潜在危险的人有时候被当成哗众取宠的“戏剧女王”。然而,他有着很多不容小视的同伴。物理学家史蒂芬·霍金在接受英国广播公司采访时曾说过,“我认为,高级人工智能可能导致人类的终结。”比尔·盖茨告诉查理·罗斯(CharlieRoss,著名脱口秀主持人兼记者),人工智能可能比核灾难更危险。牛津大学哲学教授尼克·博斯托姆(NickBostrom)在他2014年出版的《超级智能》一书中警告说,“一旦心存恶意的超级智能生命存在,它将会阻止人类取代它或是修改它的喜好。那将是人类的命运被锁定的时刻。”


2015年1月,马斯克、博斯托姆和代表两种对立观点的人工智能界权威们聚集波多黎各,参加麻省理工大学物理学教授兼波士顿未来生命研究所负责人马克斯·特格马克(MaxTegmark)主持的会议。


“你拥有房屋吗?”特格马克问我,“你买了火灾保险了吗?波多黎各会议达成的共识是,我们都需要火灾保险。在我们学会生火,引发火灾之后,我们又发明了灭火器。在我们发明汽车,导致交通事故后,我们发明了安全带、空气囊和交通信号灯。但是,对于核武器和人工智能,我们不能在犯错之后再补救。我们必须提前计划。”


马斯克已经开始资助预防人工智能灾难的研究,他向未来生命研究所捐赠了1000万美元,用于此类研究。


在波多黎各会议举行6个月后,马斯克、霍金、哈萨比斯、史蒂夫·沃兹尼亚克和曾经编写人工智能标准教材的斯坦福大学计算机学教授斯图尔特·拉塞尔,以及其他1000位各界名人签署联名信,呼吁全面禁止攻击性自动化武器。“在50年后,我们现在身处的这18个月将被视为决定人工智能未来的关键时期,”拉塞尔说,“这是人工智能领域的相关人士最终醒悟,开始重视并思考如何创造一个更好的未来的时刻。”去年9月,美国最大的几家技术公司创建了“人工智能合作组织”,探索人工智能可能带来的一系列问题,包括伦理争议。(马斯克的OpenAI迅速加入其中。)与此同时,在大洋彼岸,欧盟也开始研究随着机器人和人工智能出现可能带来的法律问题。比如机器人是否具有“人的资格”,还是应该像一位《金融时报》读者在评论中建议的“应该将它们当作奴隶”。


高智商的反叛


37岁的埃利泽·尤德考斯基正在研究有没有可能给人工智能的研究指明方向。我们约在伯克莱的一家日式餐厅见面。


“你要如何编写人工智能的目标功能,使之包含一个‘关闭’开关,并且让它想有这个‘关闭’开关,不会试图破坏这个‘关闭’开关,并允许你按这个开关,而且不会自己抢先按下这个开关?”他问我,“如果它能够自我改进,如何确保它不会将这个‘关闭’开关改掉?这些都是我们研究的问题。非常不容易。”


我磕磕巴巴地询问邪恶机器人接管互联网,控制银行、交通系统和军队的可能性,还有复制人合谋杀死人类创造者的几率。尤德考斯基双手捧着脑袋耐心地跟我解释:“人工智能不需要接管整个互联网。它不需要无人机。它的危险并不在于它手中的枪。它的危险之处在于,它比我们聪明。假如它能够破解根据DNA信息预测蛋白质结构的技术,那么它只需要向合成定制蛋白的实验室发几封电子邮件。很快,它将拥有自己的分子机器,并建造更多复杂的分子机器。”


“如果你想要知道人工智能暴走的景象,不要想象双眼通红的机器人军队横扫城市。想象用钻石材料制成的微不可见的合成细菌,它们身上携带微型电脑,隐藏在你和其他所有人的血液中。突然,所有这些细菌都同时释放1微克肉毒素,所有人都会在瞬间倒地死亡。”


“当然这一幕实际发生的可能性很小。让我预测人类到底会以什么方式落败甚至灭亡都是不可能的,因为淘汰掉人类的人工智能比我聪明。如果要建造比你自己更聪明的东西,最好一开始就找准方向。”


我回想起和马斯克和阿尔特曼的对话。“不要被杀人机器人的故事误导,”马斯克说,“人工智能的关键问题不在于机器人;它是网络中的计算机算法。所以,机器人只是一个最终执行者,只是一系列的传感器和促动器。人工智能存在于网络中……重要的是,如果真的出现暴走的算法,人工智能监管机制可以阻止这个暴走的算法。但如果存在一个具有决策能力的中央人工智能,那么没有方法可以阻止它。”阿尔特曼补充说,“一个完全控制互联网的个体对世界的影响力远远大于一个完全控制了一台复杂机器人的个体。”


即使为执行极其普通任务设计的机器人也可能漠不关心地伤害我们。“假设你创造了一台能够自我进化的智能机器人,用于采摘草莓,”马斯克说,“它的采摘技术越来越熟练,速度越来越快,还在不断自我改进,而它只有一个愿望,就是摘草莓。于是它会想方设法让整个世界都变成草莓地,连绵不尽的全是草莓。”再也没有人类的生存空间。


但我们最终能够开发出一个万能的“击杀”开关吗?“我不确定我想成为掌握‘击杀’开关的人,因为你会是它追杀的第一个目标。”马斯克回答说。阿尔曼试图总结这个令人恐惧又让人兴奋的前景:“我们生活在一个激动人心的时代,未来几十年里,人类要么会走向自我灭绝,要么走向宇宙殖民。”


“确实,”马斯克说,“如果你相信人类连同宇宙最终都会走向灭亡,旅程才是真正重要的。”而现在,在这个旅途中,马斯克遇到了一个最紧迫的问题。


随着特朗普上台,马斯克发现自己突然变得步履艰难。无论掌权的是明君还是昏君,他的公司都需要美国政府的业务和补助。马斯克的公司和其他很多硅谷公司一样加入了反对特朗普移民和难民政策的运动,马斯克本人也发表推文反对遣返令。但不同于优步首席执行官的特拉维斯·卡兰尼克(TravisKalanick),他并没有和现政府公然决裂,依然担任特朗普战略和政策论坛成员。“这很符合伊隆的风格,”阿什利·范斯说,“无论别人怎么说,他都会坚持做自己的事情。”他说,如果有必要,马斯克也能做一个精明的“机会主义者”。


我问马斯克他是否因为和特朗普为伍受到的抨击。在与特朗普的合影中,他看上去很阴郁,每当谈到这个话题,他的声音似乎变得疲惫起来。最后,他说,“我认为总统的身边最好还是留下温和派的声音。有很多人,特别是强硬的极左派,一味主张孤立,等于失去自己的声音,非常的不明智。”


相关标签:
电话:010-65030507
邮箱:editor@autor.com.cn
地址:北京市朝阳区朝外大街乙6号朝外SOHO D座5097室
北京智驾时代传媒科技有限公司          Copyright © 2009 - 2014
Autor.com.cn All Rights Reserved. 版权所有 AutoR智驾 智能汽车网
京ICP备14027737号-1
关注官方微信