首页 >> 新闻传播学 >> 新媒体
个性化推荐在移动新闻传播当中的应用、影响与反思
2020年05月12日 10:06 来源:《新闻与传播评论》2020年02期 作者:杨莉明 字号

内容摘要:

关键词:

作者简介:

  摘 要:个性化推荐决定着移动互联网信息的过滤和分发,发挥着类似于“ 把关人” 的作用。 文章从个性化推荐的原理入手,通过对推荐系统运作过程的剖析,指出个性化新闻推荐是人机交互的结果。与定制、新闻聚合相比,个性化推荐更为智能化,具有更强的交互 性,并且用户在信息过滤中并不掌握主动权,这是个性化推荐有别于定制以及聚合的重要特征,因此在研究中应对它们加以区分,不可混淆。 以移动应用“今日头条”和百度首页的个性化推荐模块为例,文章归纳了个性化推荐技术目前在国内外移动互联网新闻资讯传播中的应用现状。 鉴于个性化推荐的广泛应用,其负面效应不可忽视。文章剖析了个性化推荐导致的过滤气泡在个人层面和社会层面的消极影响,并且分别从互联网公司、政府与社会的角度就如何克服这一消极影响提出了建议:互联网公司应强化信息把关机制、改进算法以及发展反过滤气泡技术;政府和社会应对算法的运作加强监管、推动立法保护用户的数据权、提升公众新媒体信息素养教育。最后,还对个性化新闻推荐的研究方向进行了展望,提出了可供继续深入探讨的研究问题。

  关键词:个性化推荐;过滤气泡;算法把关

  作者单位:杨莉明,广东外语外贸大学新闻与传播学院

 

  随着移动互联网的普及,新闻资讯类应用(APP)正成为越来越多网民获取新闻信息的入口。 个 性化推荐算法的过滤分发机制使得新闻资讯类应用能够根据不同用户的偏好来推送差异化的内容, 在移动互联网的信息传播中挑战了“ 把关人” 的角色,给大众传播时代的信息传播模式带来了全新的 变革。 基于其显著影响,国内外众多学者进行了研究。 但是在有关的文献中,个性化推荐往往与定 制、新闻聚合等概念混为一谈。 本研究从个性化推荐算法的原理和特征入手,厘清相关概念,并结合 这种新兴的传播技术在国内外移动互联网新闻传播中的实践,揭示个性化推荐介入到信息传播领域 所产生的影响,并对如何克服其消极影响进行思考。

  一、个性化新闻推荐的原理及其特征

  个性化新闻推荐系统是在掌握用户数据的基础上,对用户的兴趣和需求做出预测,并通过信息 过滤算法将不同的信息推送给不同的用户,从而实现千人千面的个性化效果。 具体到个性化新闻推荐系统的运作,大致可分为三个步骤:

  首先,通过与媒体以及自媒体的签约合作,“ 今日头条” 等从事个性化资讯服务的互联网公司可 获得大量的信息资源。 对于一则新的资讯,推荐系统将通过内容分析器的特征抽取技术,把资讯内容从原始信息空间转换到目标空间中,表示成关键词向量。 其次是信息学习器模块。[1] 它的作用是 收集用户数据,构建用户画像。 通过机器学习等技术,推荐系统将收集到的用户基本数据和行为数 据( 来自用户所使用的上网设备的信息、历史浏览记录、社交平台数据等) 转化为事实标签,再给用户的行为( 例如点击阅读、点赞、评论、转发、收藏等) 、访问时长、衰减因子等因素设置相应的权重,从而 从众多行为中发现用户真正的兴趣,计算出用户对某类信息的兴趣标签值,形成一组偏好。 然后将 偏好值转化为特征向量,可计算出与其他用户的距离,从而找出有相似行为的用户集。 结合数据挖 掘,已知的用户数据可以用于训练,形成一个预测模型,再将该模型用于未知偏好的用户样本的测 试,从而不断提升预测用户需求的算法的准确度。 再次,经过前面两个步骤,算法已经识别出有相似 偏好的用户并且进行相关资讯的聚类。 接下来,过滤组件模块通过匹配用户特征和待推荐的文章的 特征来完成推荐。 该过程是基于某种相似度(如用户的偏好向量和文章关键词向量的余弦相似度)的计算,生成对于某个用户来说潜在的感兴趣的文章的排名列表[1] ,从而决定为该用户推送哪篇文章。

  通过对推荐运作过程的剖析,不难发现,个性化新闻推荐所呈现给用户的信息是人机交互的结 果,算法在其中决定着信息的分发。 在新闻信息的推送中,常见的个性化推荐算法可分为四种:一是 基于内容的协同过滤新闻推荐;二是基于用户的协同过滤新闻推荐;三是基于知识( 语义) 的新闻推 荐;四是混合新闻推荐,结合内容和协同过滤的混合推荐是使用最广泛的。[2] 基于内容 / 物品的协同 过滤(item-based collaborative filtering,简称 itemCF)算法和基于用户的协同过滤(user-based collabora- tive filtering,简称 userCF)算法的区别主要在于前者是根据物品之间的相似度来做出推荐,更适用于 电子商务和娱乐场景的推荐;而后者是根据用户之间的相似度来做出推荐,更适用于社会化场景,如 社交网站。 具体到新闻资讯的推荐,对于用户而言,获取资讯是首要目的,个人兴趣则相对宽泛——— 只有对特定领域的关注,没有必看某篇文章的明确需求———并且用户对平时不太关注的领域的资讯 并不截然排斥,因此信息的时效性和重要程度比个人兴趣更为重要。 加上个性化新闻资讯应用中的 信息传播是一个实时的动态过程,随时可能有新内容出现,因而在此类场景中,若仅以物品( 信息) 的 相似度作为推荐的依据,计算和维护所需的计算量远大于基于用户的协同过滤。 并且这种推荐还可 导致同类信息过度推送,例如用户在点击了一则健康养生资讯之后会被推送更多同类的资讯,这就 需要结合用户的行为数据,通过兴趣标签的及时调整来判断用户对该类资讯是长期兴趣还是短期兴 趣,同时还可通过基于用户的协同过滤为用户呈现与其有着相似偏好的一群用户当天所关注的内 容。 基于物品的协同过滤以及基于用户的协同过滤的混合使用有助于克服前者推荐过度专门化的 问题和后者可扩展性较差的问题。 在混合推荐算法的运作下,个性化推荐系统能够高效地处理海量 资讯并将其分发给不同需求的用户。

  正是由于个性化推荐具有为不同用户提供差异化的信息服务的功能,在一些研究中,它往往与 定制、新闻聚合的概念联系在一起或是被混淆,但是究其原理,它们有着本质上的区别。 以RSS(Re- ally Simple Syndication,即简易信息聚合)订阅为代表的信息定制,虽然克服了过去门户网站无法很好 地满足不同用户的信息需求的缺点,可由用户主动选择自己想要关注的信息类别,但它依然面临着 信息的单向输出和内容缺乏延展性的问题。 而新闻聚合在本质上也是一种定制,即聚合性应用能够 根据用户设置的需求,对不同来源的信息进行选择性地汇总。 相比之下,个性化推荐系统除了初期 需要用户提供信息以克服冷启动的问题之外,其运作过程几乎不依赖用户设置。 个性化推荐技术运 用聚类、关联模式挖掘、文本挖掘等算法,对海量的用户行为数据进行分析,计算出用户以及物品之 间的相似性,建立用户与信息产品之间的二元关系,并依此来预测和挖掘用户对新物品的偏好,从而 为不同的用户做出差异化的推荐,其本质就是信息过滤。[3] 个性化新闻推荐系统的优越性还体现在, 由于新信息不断流入,资源集几乎时刻保持更新,同时系统还要基于及时反馈的用户交互行为而做 出变化,这对系统的运作提出了较高的要求,而个性化推荐系统的计算速度极快,能秒级响应用户反 馈,实时更新信息推荐列表。 显然,个性化推荐比定制和聚合更为智能化,具有更强的交互性,能适 应用户不断变化的信息需求,因而推送的内容也具有更佳的延展性。

  与定制 / 聚合相比,个性化推荐的特征还体现在用户在信息推荐过程中是否掌握信息过滤的主动权。 国外的研究者对个性化推荐与定制这两个概念作了明确的区分。Sundar 等指出,个性化推荐的过滤是在用户不知情的情况下进行的,而定制则是由用户自己设置和定义的过滤推送,是完全由 用户主导的。[4] Beam 区分了“用户定制的推荐系统”和“计算机生成的推荐系统”(即个性化推荐)这 两种不同的新闻推送方式及其影响。[5] Thurman 则认为定制是显性的(explicit)、用户可控的个性化 推荐的过程;而在用户不知情的情况下进行的、不可控的过滤则是隐性(implicit)[6-7] ,或者将个性化 推荐分为主动个性化(active personalization)和被动个性化(passive personalization)[8] :主动个性化是 指由用户主导的过程,而被动个性化则是指由系统主导的过程。 由此可见,尽管在不同的研究中,这 两个概念的表述不尽相同,但是从本质上来说,学者们普遍认同用户在信息过滤过程中是否掌握主 导权是区分个性化推荐和定制的重要依据。 正是由于个性化推荐算法代替了人类在新闻信息分发 过程中的主导作用,在移动端的新闻资讯传播中挑战了信息把关人的角色,因而它与用户主导的定制、聚合有着本质区别,在研究中应加以区分。

  二、个性化推荐在信息传播中的应用

  国外的研究表明,英美的新闻机构越来越多地依赖计算机算法来预测用户对内容的偏好。[7] Thurman 对英、美两国主流新闻网站上个性化推荐功能作了分类归纳,其中“ 隐性的个性化功能” 有 4 种:聚合协同过滤(aggregated collaborative filtering)1、上下文推荐(contextual recommendations)2、根 据地理位置生成不同版本(geo-targeted editions)3、基于用户画像的推荐(profile-based recommenda- tions)4;显性的个性化推荐有 11 种:电子邮件简报(email newsletters)、主页定制(homepage customi- zation)、主页版本(homepage editions)、移动版本(mobile editions)、个人页面(my page)、非线性互动 (non-linear interactives)、一对一协同过滤(one-to-one collaborative filtering)、其他显性功能(other ex- plicit)、RSS 订阅(RSS feeds)、短信提醒(SMS alerts)、窗体小部件(widgets)。[6] 目前大部分新闻机构 网站及其客户端都嵌入了个性化推荐的功能,运用个性化推荐算法对新闻信息进行筛选、分发和推 送已成为常态。 可以说,我们已经进入了信息个性化时代。[8-9]

  在国内,受到互联网的冲击,传统新闻媒体面临生存困境,纷纷向内容供应商的角色转型,把原 先掌握的信息过滤的权力让渡给算法,让算法根据用户的需求来分发内容。[10] 在信息膨胀和阅读碎 片化的趋势下,算法分发模式快速发展起来,基于个性化推荐技术的移动新闻资讯应用迅速占领了 市场,如“今日头条”“一点资讯”“天天快报”等。 以“今日头条”为例,目前国内移动新闻资讯应用中的个性化推荐功能主要体现在如下方面:

  添加关注的用户:在首页顶部导航栏的“ 关注” 下,系统将为用户推荐在“ 今日头条” 上开通了账 号的大 V、自媒体人和媒体账号所发布的信息,用户选择自己感兴趣的账号添加关注后,刷新即可获 得该账号发布的最新资讯,用户可转发(包括转发到本平台和其他平台,如微信、QQ 等)、评论、点赞、收藏、拉黑、举报。 其作用类似于新浪微博。 这部分社交数据为协同过滤算法的运作提供了基础。

  信息流推送:在“ 推荐” 栏下,除了置顶的重要新闻以外,呈现的信息多数是个性化推荐的结果。 系统通过用户画像、上下文推荐、聚合协同过滤,挖掘信息和用户的相关性,为不同的用户推送他们 可能感兴趣的资讯。 信息流中不仅有官方媒体采编的新闻,也有自媒体资讯、问答、视频等内容,甚 至还包括基于个性化推荐机制所推送的信息流广告。 用户同样可以通过上述转发、评论等方式对文章内容做出及时的反馈。

  城市版本:和前文 Thurman 所述的根据地理位置生成不同版本( geo-targeted editions) 的推荐功能 一样,通过 GPS 定位,系统可生成用户所在城市的信息推荐列表,不仅有当地的新闻和资讯,还包括实时天气、附近的商业服务、广告以及与新闻资讯相关的自媒体账号推荐关注。

  个人页面定制:在“我的频道”一栏,用户可以定制自己想要关注的信息类别,如“股票”“小游 戏”“精品课”等。 增加了新关注的“频道”后,它将会出现在顶部导航栏,该栏所呈现的内容也是个性化推荐的结果。

  除了“ 今日头条” 等移动应用以外,“ 平台+个性化推荐模块” 也是目前国内个性化新闻推荐的另 一种发展模式。 浏览器作为网民上网的一个重要入口,在网民中有较高的使用率。UC 浏览器、QQ 浏览器以及各品牌手机自带的浏览器都搭载了个性化新闻推荐的功能,从而将已有的用户群转化为 个性化新闻资讯用户群。 而国内使用率最高的搜索引擎百度自 2016 年起也在其搜索主页上搭载了 个性化新闻推荐的模块(如图1所示)。 该模块可分为两个部分,左侧的部分是选项卡区,包括“我的 关注”和“推荐”。 在“我的关注”下,用户通过主动定制,可添加网站网址、股票、小说等,以便经常访 问;而“推荐”则呈现的是根据用户的兴趣推送的个性化资讯。 点开某条资讯,除了可以看到该篇文 章,页面还呈现了作者的最新文章以及相关文章的链接,以供延展阅读(如图2所示)。 推荐模块右 侧的部分是实时热点资讯,它根据百度实时的搜索指数进行排名,点击后可看到该词条在百度搜索 中的相关搜索结果。 百度通过提供个性化推荐这种信息增值服务,可以起到增强用户黏性的作用, 从而获得更多广告收益。 因此个性化新闻资讯服务还依托搜索引擎和浏览器等平台的优势普及开来。

 

  放眼全球,随着移动互联网和人工智能技术的深度发展,个性化推荐功能已经成为移动互联网 产品的“ 标配” ,它不仅存在于新闻资讯应用中,还广泛存在于线上阅读、社交、娱乐、购物等多种应用 场景,源源不断地将差异化的产品和信息推送给不同的用户,成为移动互联网应用运作的主要分发机制。

  三、过滤气泡:个性化推荐的消极影响

  针对在移动互联网上得到广泛应用的个性化推荐,美国左翼政治家、互联网创业者伊莱·帕里 泽(Eli Pariser)提出了“过滤气泡”的概念,喻指算法过滤的过程及其后果:算法根据用户的数据来过 滤并且决定向用户推送哪些信息,而这些信息又进一步强化了个人特征,如此循环,将使每个个体都 活在封闭的气泡中,与世隔绝。 这种从个人偏好出发的信息过滤模式将会导致过滤气泡,给个人发 展和社会民主造成如下消极影响:

  在个人层面,首先,个性化推荐使人容易沉浸在自我偏好构成的“ 过滤气泡” 中,造成另一种形式 的信息过载。 虽然运用个性化推荐对信息进行过滤的出发点是使人避免信息过载,但是在实际应用 中这个问题并没有得到真正的解决。 个性化推荐建立在用户数据的基础上,用户点击某类内容的行 为会促使同类内容的推送权重提升,导致同类内容更容易被推送到用户的信息流中,甚至产生重复 推荐或冗余推荐,从而强化用户对于某类信息的阅读偏好,使用户处于被个人偏好包围的信息环境 中,不利于广泛地接收信息。 在短视频应用中,这个问题更为突出:除了个性化推荐以外,短视频应 用往往还设置了自动播放,在一条视频播放结束后会自动播放下一条内容或主题相似的视频,使人 沉浸其中,从而达到增强用户黏性、延长用户使用时间的目的。 因此,从这个意义上说,个性化推荐 技术并不是把人从过载的信息环境中解放出来的灵丹妙药,反而可能使人陷于一种恶性循环:接触 的信息越多,越需要个性化推荐;越依赖个性化推荐,接收到的迎合个人喜好的同类信息也就越多, 容易使人沉溺,无形中消磨时间,反而不利于高效地获取信息。

  其次,个性化推荐加剧了阅读的浅薄化,不利于理性思维的形成。 正如波兹曼在批判电视的消 极影响时所指出:“在科技发达的时代,毁掉我们的不是我们憎恨的东西,而是我们所热爱的东 西。”[11] 个性化推荐所导致的过滤气泡是“娱乐至死”在移动互联网时代的集中体现。 在个性化推荐 的技术逻辑中,信息只是供人打发时间的快速消费品,只为取悦用户,不为发人深省,更遑论一则新 闻信息背后的社会意义。 在个性化推荐所呈现的信息流中,很少是真正意义上的新闻,多为五花八 门的网络资讯。 这些资讯往往篇幅不长,内容肤浅,追求娱乐性,缺乏逻辑性以及引人思考的深度, 从而弱化了用户进行理性思考的能力。 加上过滤算法运作之无形,并且具有不断增强用户黏性的机 制,使得“ 娱乐至死” 的情况更为隐蔽且更为严重。

  再次,过滤气泡阻碍了人对未知的探索,有碍学习和创新。 恰如约翰·密尔(John Mill)所言: “在人类追求进步的现阶段,跟不同于自身的人接触,以及跟不熟悉的不同思想模式接触,这是再怎 么强调都不为过的价值......这样的沟通一直是我们进步的主要来源之一。”[12] 创意通常是在不同学 科和文化的碰撞中激发出来的,而过滤机制根据我们偏爱的、已有的、已知的、已涉猎的范围来决定 推送什么内容给我们,减少了意外事件偶遇、开放的心态和创意萌发的可能,而从已熟知的范围中建 立起来的世界是一个无事可学的世界。 这可能导致“信息决定论”:过去你所点击的信息决定了你未 来将要看到的信息,你注定要重复你的历史浏览记录[9] 。 个性化会使人囿于自我选择的过滤气泡 中,从而降低了探索未知世界的可能性,进步和创新也就无从谈起。 更令人不安的是,这个过程仿佛 消除了人的认知盲点,把可知的未知变成了不可知的未知,[9] 使人们无法意识到未知领域的存在,若 长期以自我偏好作为信息重要程度的筛选标准和价值评判标准,无异于坐井观天,将逐渐失去对现 实世界的客观判断。

  另外,过滤算法不断消解用户的主动性。 网络用户身上兼有主动性和被动性。[13] 虽然个性化推 荐能根据用户偏好选择性地呈现信息,看似一切以用户为中心,但实质上是在培养用户被动地接受 信息的行为模式。 如前文所述,个性化推荐所具有的从用户个人需求出发的特性很容易导致用户沉 迷,长期使用将强化用户的行为模式,养成依赖个性化推荐的习惯,助长了用户在信息获取和信息消 费中的被动性,使用户沦为算法可以预测和操纵的被动的受众。 而用户即使在使用过程中发挥了主 动性,依然可能是徒劳,推送结果未必会因此而发生改变。 例如,当用户认为推送的信息不符合自己 的需求时,可能会点击“ 不感兴趣” 的选项或者采取类似的反馈性操作,但是这并不意味着不感兴趣 的内容就此从用户的信息流中消失。 算法设计的缺陷以及商业利益的捆绑进一步压缩了用户发挥 主动性的空间,从而逐渐剥夺用户的主动性,培养起一批被动接受算法的信息输送的新媒体受众。

  最后,个性化推荐的过滤过程还存在侵犯用户隐私的隐患。 早在个性化推荐大规模应用之前, 就有研究者指出了个性化推荐与用户隐私之间的矛盾。[14] 随着个性化推荐的普及,用户的个人信息 不可避免地会越来越多地暴露于网络世界中。 个性化程度越高,个人在网络上就越透明。 尽管用户 愿意牺牲隐私以获取便利,但如何在个性化推荐和网络监视之间划清界限仍是一个有待解决的问题。[15] 在用户并不清楚知道自己哪些信息被记录和跟踪的情况下,不透明的信息过滤算法打着“懂 你”的旗号,推送与用户兴趣无关的商业信息,无异于设置了一个诱导用户的陷阱。2018 年 3 月,央 视财经频道《 经济半小时》 节目披露了“ 今日头条” 客户端存在引导用户点击并且二次跳转到虚假广 告页面的违法行为:为了规避一线城市相对严密的广告审查监督,“ 今日头条” 根据用户的地理位置, 向二三线城市等管理比较宽松的地区的用户投放了违法广告。 尽管“今日头条”迅速对此事做出了 回应且采取了整改措施,但是作为一家以个性化推荐技术为本的互联网公司,“ 今日头条” 不仅没有 事先从技术上对涉嫌违法的广告进行筛选把关,反而利用技术之便来钻监管的漏洞,这反映出的不 仅是互联网公司的管理问题,更是企业价值观的问题。 在个性化推荐的世界里,用户不仅无法保护 自己的隐私,在违法信息的推送面前也无力与之抗衡,处于弱势的地位。

  而从社会层面上来看,过滤气泡的消极作用体现在:第一,低俗信息经过个性化推荐更容易得到 传播,过滤气泡的世界是一个不健康的信息传播环境。 骇人听闻、带有猎奇性质的媚俗资讯往往更 容易吸引眼球,在网络传播中获得更多点击量。 而个性化推荐扩大了这一影响,因为它能精准地把 握人性的弱点,迎合用户的信息偏好,推送类似的内容以满足用户的低级趣味,使人处于劣质的信息 环境中,使低俗信息获得更高的推送权重,甚至导致“劣币驱逐良币”的后果。 尽管针对上述批评, “今日头条”声称对其把关机制做出了改进,但是研究表明,这种算法把关机制存在伪中立性,[16-18] 即使在缺乏初始数据的前提下,低俗信息仍更容易被推送到用户的信息流中,因此个性化推荐算法 隐含的低俗信息传播偏向不可忽视。

  第二,过滤气泡将网络空间分割成一个个小世界,使互联网更加不具备成为公共领域的可能。 公共领域原则上向所有人开放,在这个领域中人们就普遍利益问题自由地表达和公开意见。[19] 但是 正如“ 今日头条” 的宣传口号所言:“ 你关心的,才是头条” ,算法的推荐是以个人偏好为出发点的,而 不是以社会公共利益为导向,因此,它可能使用户只关注自己的世界,对社会公共事务缺乏必要的关 注。 研究也证明了个性化推荐会助长用户的选择性曝光。[20] 民主要运转,人们就必须要跳出自我利 益的圈子去思考,需要接触其他人的生活、需求和期望。 个性化推荐的过滤机制容易使人自我感觉 良好,把狭隘的自我利益当成一切。[9] 桑斯坦指出,一个表达自由的完善机制必须符合两个不同的要 件:一是人们应该置身于任何信息下,而不应事先被筛选;二是大部分公民应该拥有一定程度的共同 经验。 共同经验,特别是由媒体所塑造的共同经验,提供了某种社会黏性[21] ,而个性化推荐的过滤 模式恰是把人分隔在由个人的选择所构成的小世界中,传播系统所授予个人的无限过滤的力量,将 导致极度的分裂[21] ,使公民之间缺乏共同经验。 并且,过滤算法还限制了社会互动,[22] 个性化可能 会破坏整个城市都阅读相同报道所带来的团结一致、集体行动和充分讨论的机会,[23] 从而使得公共 话题难以得到充分的讨论,社会共识难以形成,无助于公共事件的决策和社会问题的解决。

  第三,过滤气泡将带来舆论极化,加剧社群区隔与价值观分化。[24] 以基于个性化算法的搜索服 务为例,它会进一步增强原有的联系、兴趣、观点和偏见,过滤机制在将结果“ 个性化” 的同时,也阻止 了个人与其对立面的根本接触。[25] 而在社交媒体上,个性化推荐算法更容易向个人推送与自己有某 种联系或共同点的用户及其信息,从而形成意见的共鸣箱[26] 或曰信息茧房。[27] 鉴于此,舆论的极化 更加成为可能,志同道合的人们把自己归入舒适宜人的虚拟的共同体,结果不是好的信息聚合,而是 坏的极化[27] ,因此不利于不同的社会群体之间的沟通交流,在舆情危机事件中更容易导致网络舆论 的极化。

  第四,个性化推荐过滤算法的崛起使互联网公司掌握挑战了新闻媒体的角色,引发传播伦理问 题。 尽管在媒体转型的压力下,传统新闻媒体不得不将一部分信息分发权让渡给算法,但是他们忽 略了非常致命的一点:算法推荐会加剧传统主流媒体影响力被边缘化的风险。[24] 个性化推荐过滤算 法的介入不仅在一定程度上割裂了传统媒体与用户之间的直接接触,更为重要的是,从此互联网公 司掌握了网络信息过滤中的话语权,这种权力的转移是以挤压传统媒体的生存空间为代价的。 并且个性化推荐的信息传播机制将反过来影响新闻生产,重塑新闻的边界,导致传统媒体更为被动。 然 而,新掌权的互联网公司并不具备专业的新闻素养,出于对商业利益最大化的追求,他们对于自身在 信息传播中所应承担的责任绝口不提。“今日头条”早期的自我定位是“我们不生产信息,我们是信 息的搬运工”,其侵权行为引发了传统媒体的维权热潮。 尽管后来通过与传统媒体建立起合作机制 来解决知识产权的纠纷,但创始人张一鸣认为,“今日头条”不是一家媒体公司,而是一家科技公 司。[28] 可见互联网公司对于自身的定位和作为传播主体所应承担的社会责任并不明确,在遭遇维权 之后则强调科技公司的定位,想以此规避社会的指责以及作为媒体应当承担起的传播责任,但是这 样的辩解是站不住脚的。 在迫于外界压力以及公司业务拓展的需求的情况下,该公司提出了新的口 号“信息创造价值”,然而这一口号仍是以追求信息传播产生的利益为导向。 个性化推荐算法的广泛 应用,使得互联网公司日渐成为信息传播中不可或缺的重要角色,然而互联网公司并没有承担起与 其所掌握的信息传播权力相对等的责任和义务,由此引发的信息传播伦理问题亟待解决。

  第五,个性化推荐还主导了信息过滤的过程,使得隐形的社会控制成为可能。 过滤技术基本上 被科技寡头所控制,这恰与网络最初表现出来的“ 去中心化” 的特征相悖———这是一个集中化的过 程。[9] 正如桑斯坦所忧虑的,如果由无数版本的“我的日报”1来主宰市场,将不利于自治的推动,在 很多方面,它会降低而非增加个人的自由。[21] 这种原本被设计成帮助我们更好地控制生活的技术, 现在正控制着我们的生活。[9] 个性化推荐算法的运作建立在掌握海量的用户数据的基础之上,从而 对社会形成大规模的无形的监视。 并且,个性化推荐这种技术带有潜在的社会歧视的倾向。 个性化 算法中的偏见或歧视会给人们的社会资源与社会位置带来限制,并且在幸福的名义下对人们进行无 形的操纵。[29] 研究表明,与传统大众传媒建构的现实相比,算法建构的现实倾向于增强个性化、商业 化、不平等性和不确定性,并降低透明度、可控性和可预测性。[30] 并且,这种由于技术的偏向所导致 的社会歧视是很难彻底根除的。2019 年 Facebook 因为允许广告商有意地通过种族、性别和宗教来 推送定向广告而被起诉,后来尽管 Facebook 宣布禁止了这种行为,也调整了算法,但是算法仍会导致 潜在的歧视性广告投放,尤其是当广告与就业或房地产有关时,对用户性别和种族的歧视就更为明 显。[31] 算法是人为的产物,它不可避免带有人的偏见和歧视,其非中立性的特质可能会加剧社会不 公,并且由于它的不透明性,使得隐形运作的社会控制成为可能。 对于互联网世界来说,代码就是法 律,[32] 然而“立法”和“执法”的过程并没有受到社会的监督。 当今社会越来越依赖算法来辅助决策 和做出判断,这种“法律”是否能够体现社会的公平正义还尚存争议。 因此,我们应警惕个性化推荐 算法的非中立性所带来的潜移默化的负面影响,思考如何与在互联网世界中隐形运作的算法所带来的社会控制与社会歧视相抗衡。

  四、如何克服过滤气泡的消极影响

  关于如何克服过滤气泡的消极影响,作者认为,互联网公司负有不可推卸的责任,它们需要在运 营理念上加以矫正,在技术层面上加以改进。 另外,政府和社会也应当参与到算法的监管中来,推动 相关的立法,加强公民的新媒体信息素养教育。 以下就分别从这两大主体的角度提出相应的建议:

  对于互联网公司来说,首先应当明确自身的角色定位,承担相应的社会责任,强化信息把关机 制。 算法导致的过滤气泡恰是有效的信息把关机制缺位的表现。 脱离了正确的价值观导向,技术的 野蛮生长只会招致更强的反噬作用,从长远来看也不利于从事信息传播的互联网企业的发展。 正如 彭兰指出,各种参与公共信息生产与传播的主体,都需要某种程度上的新闻专业素养和专业伦 理。[33] 如果互联网公司对自身的定位不明确,如果不能正视自身在信息传播中肩负的责任,则一切皆为空谈。 因此,相关的互联网公司应明确并且担当起作为信息传播主体的社会责任,在岗位的设 置上,聘用更多具有新闻专业背景的编辑人员,使其充分发挥信息把关人的作用,通过算法与人类编 辑的共同协作,营造一个健康的信息传播环境。 另外,平台还可以调动用户的参与性,通过设置一定 的奖励机制,鼓励用户及时反馈,加强公众对信息的把关。

  其次,以个性化推荐技术为本的互联网公司还应当不断改进个性化推荐系统的设计,使推荐结 果丰富多样,尽可能从技术上消除过滤气泡产生的根源。 虽然推荐结果的个性化和多样化看似南辕 北辙,但是从实践的层面来看,用户的兴趣是多面的,其需求会随时间而发生改变。 这就要求个性化 推荐系统更为智能化,除了满足用户的显性需求以外,在隐性需求上也要把握得更加准确,甚至能帮 助用户发现潜在的兴趣。 而从用户体验的角度来说,推荐结果的准确性并不足以保证客户的满意 度,因此还需要结合新颖性、偶然性和多样性等指标来衡量推荐列表的质量。[34] 为此,计算机学科的 研究者采取了以下方式进行优化:Zeng 等人主张在协同过滤中同时考虑相似用户和不同用户的影 响[35] ,Vallet 与 Castells 将用户作为一个随机变量引入到多样化算法中[36] ,Wang 等人通过一个能够 捕捉不同类别用户的偏好的模型来联合优化推荐结果的相关性和多样性[37] 。Chen、Wu 与 He 发现 用户的个性(例如:尽责的人格特质)与其对推荐多样性的偏好之间的关系[38] ,在此基础上,该团队 还提出了一种基于用户个性的重排序( re-ranking) 方法,将人格特质用于估计用户的多样性偏好,以 及解决协同过滤推荐的冷启动问题。[39] 另外,Fang 等人提出了一种将主题模型(topic model)和随机 游动模型(random walk model)相结合的多元化推荐方法以平衡推荐结果的准确性和多样性。[40] 实验 表明,这些方法较好地兼顾了多样化和个性化的推荐需求。 人文社科的学者如喻国明等人认为,推 荐算法在未来发展中保持其健康可持续发展的关键是在多重聚类、语义建构以及人机交互的“ 自适 应”机制等方面做出有效的技术迭代和功能改进。[41] 除此之外,作者认为,还应增加重大新闻、优质 信息和原创内容在个性化推荐中的推送比例及其权重,提升信息的质量。 增加偶然性的推荐结果, 为用户带来信息偶遇的新颖体验,从而突破过滤气泡对个人视野的限制。

  再次,发展反过滤气泡技术也有助于问题的解决。 关于如何打破过滤气泡,国外互联网界已经 展开了相关的实践,取得了一定的成果:微软的工程师提出从算法上实施控制,使用户在主动寻求信 息的时候,能够同时接触到相反的政治观点。[42] 国外已有多种“反过滤气泡”工具,比如浏览工具 Balancer、浏览器插件 Scoopinion1、Bobble、Rbutr,可视化工具如 ConsiderIt、OpinionSpace,移动应用 Po- litical Blend 等。[43] 这些工具或是显示用户的行为偏向,或是向用户展示与他们正查看的内容相反的 意见,或是可视化地展示其在过滤气泡中所处的位置,又或是通过将用户与持有不同的政治观点的 人相匹配。 总之,这些技术手段都致力于促使用户浏览多样化的内容,使用户能够接触到其他人的 不同观点,让用户意识到信息和观点的多样性,跳出自身的视角,对所处的过滤气泡有较为宏观和清 晰的认识。 所谓他山之石,可以攻玉,上述都是值得借鉴的经验,从事信息传播的互联网公司可将反 过滤气泡的理念植入到移动应用的设计中去,从技术上促进用户浏览内容多样化,增加网络能见度, 从而打破过滤气泡的桎梏。

  从政府和社会的角度来看,一是应对算法的运作加强监管。 鉴于算法已经成为一种后台运作的 隐形权力,因此学界纷纷呼吁要对个性化过滤算法进行密切检视,增加算法的透明度。[9,44-46] 仇筠茜 与陈昌凤则主张后退一步,不去对所有算法的透明度做出要求,而是提倡可理解的透明度,以整体 的、间性的、系统的视角来把握,追求普遍意义上的公民的可操作、可理解、可监督。[47] 不论是否要求 算法透明公开,呼吁政府和社会对个性化推荐算法进行监督,都已经成为国内外学者的共识。 正如 陈昌凤等人指出,个性化推荐智能算法具备工具理性,但不具备价值理性。[48] 技术所导致的问题仍 然需要寻求人文的解决之道,从政府监管的角度来看,新闻产品的特殊性需要更为立体丰富的人文 价值对算法价值观进行外部矫正。[49] 因此,个性化推荐算法需要在政府和社会的监管下运作,以确 保其价值取向不违背社会公共利益。

  二是推动立法保护用户的数据权。 尽管我们呼吁互联网企业应承担起相应的社会责任,但是商 业公司追求利益的本质是不会改变的。 在经历了 2017 年下半年人民网连发三篇批评文章、遭网信 办约谈整改等一系列严重的危机事件之后,“ 今日头条” 仍于 2018 年被媒体爆出存在推送违法广告 这一明知故犯的行为。 可见社会责任感在巨大的商业利益面前是非常淡薄的,仅靠商业公司自觉自 发的自我约束无法保障用户的合法权益。 就“今日头条”目前的营利模式而言,广告仍是其收入的主 要来源。 海量的用户数据是“今日头条”吸引广告主投放广告、实现创收的资本,如何避免这种利用 算法钻市场监管的漏洞、侵犯用户权益的类似事件再次发生,是一个非常值得研究的问题。 除此之 外,由于个性化推荐的使用所导致的侵犯用户隐私权的社会风险也不容忽视,例如:未经用户授权采 集数据、基于商业目的将用户数据共享给第三方、对用户数据保管不善造成泄露、定向广告暴露用户 敏感信息、由于差异化服务造成算法歧视等。[1] 要解决这些问题,作者认为立法保护是根本:应限制 互联网公司对用户数据的收集和使用,收集数据必先经用户许可,且收集目的明确,收集的数据与使 用目的密切相关;互联网公司对于用户数据的保管和使用负有不可推卸的法律责任;用户应享有充 分的知情权,能够通过便捷的渠道了解到自己的哪些数据被收集且用于何种目的,可以随时查看与 自己有关的数据;用户还应享有数字遗忘权,即有权要求该平台彻底删除与自己有关的数据。 此外, 还可辅以技术的手段,要求互联网公司通过算法对数据进行修改或加密,使之匿名化或抽象化,[1] 这 样一来,即便用户数据遭窃取或意外泄露,对方也无法获得原始数据,以降低暴露的风险。

  三是公众的新媒体信息素养教育水平还有待提高。 虽然新媒体时代的个人不再是过去大众传 播时代被动的受众,但是由于算法所具有的高效、便利与隐蔽性,公众容易在潜移默化中受其左右, 成为被算法所操纵的新一代受众。 因此我们要加强公众在移动互联网环境下的新媒体信息素养教 育,从而抵抗个性化推荐算法所造成的过滤气泡等消极影响。 这需要社会各界形成合力,包括政府、 学校、传媒机构、公益组织等都参与进来,共同推动公众的新媒体信息素养教育,提升公众的信息素 养水平,尤其是增进对新媒体传播技术及其影响的认识,了解与新媒体传播技术相关的法律法规和 伦理规范,提升对新媒体环境中传播的信息的鉴别、分析和批判能力,增强信息获取能力和创造性使 用的能力,对于算法中隐含的倾向及其所建构的现实保持审慎且独立的思考,使公众对个性化推荐 算法的消极影响具备一定的免疫力。

  五、结语与展望

  通过剖析个性化推荐算法的运作原理,笔者认为,用户在信息过滤过程中是否掌握主动权是区 分个性化推荐与定制、聚合的关键。 厘清相关概念、明确研究对象是开展研究的首要之处。 笔者所 探讨的是广泛植入于移动互联网应用中的个性化推荐算法,而非定制、新闻聚合等基于用户的主动 设置所进行的信息分类推送。 个性化推荐算法已经深入到移动互联网应用的方方面面,如果将移动 互联网比作人,那么个性化推荐算法则是遍布周身的血管,经其过滤分发,信息源源不断地传播到用 户个体。 更为重要的是,个性化推荐算法是一种隐形的信息过滤机制,这种信息分发过滤的过程是 由算法主导而非用户主导,无论是对于信息接收者个人而言还是对于社会而言都会产生一定的消极 影响。 尽管众多学者已经意识到了个性化推荐所引发的信息传播伦理问题及其潜在的危害性,但是 相关的探索不能就此止步,未来的研究可在以下方面继续探索:

  个性化推荐算法对新闻传播模式带来的变革有待深入研究。 算法介入到信息传播领域,挑战了 传统媒体环境下的把关人角色。 基于此,有学者提出了数字时代的新把关人理论,[50] 探讨了机器作 为把关人的可能性。[51] 但无论如何,用算法代替人的判断对新闻的形态及其话语的合法性都会有重 大的影响。[52] 与传统媒体的衰落相反的是,个性化推荐的迅速发展使越来越多互联网公司介入信息 传播领域中来。 它们既非传统意义上的媒介组织,但又把控了移动互联网的信息分发机制,掌握了 相当重要的信息传播权,它们应当扮演何种角色、应当承担哪些与权利相匹配的社会责任,如何保护用户隐私及正当权益不被个性化推荐算法所侵犯......这些问题还有待更为深入的研究和探讨。

  改进个性化推荐算法、打破过滤气泡需要跨学科的合作。 尽管计算机学科的研究者很早就对个性 化推荐展开了研究,相关成果可谓汗牛充栋,但他们主要关注的是如何提高个性化推荐算法的效率等技 术层面的问题,而人文社科的研究者则更加关注个性化推荐算法产生的社会问题,这就需要建立起学科之间交流和对话,从技术和人文相结合的角度对过滤气泡等问题的解决之道进行深入的研究。

  还有一点不可忽视的是技术的本质及其偏向。 每一种工具都嵌入了意识形态偏向,[53] 媒介的偏 向对于其所在的文化会产生重要影响。[54] 每一种新技术都在培养与之相适应的文化。 个性化推荐 技术所代表的文化如何影响了新闻生产? 如何导致传播权力的变更与分化? 是否会对不同的社会 群体产生差异化的影响? 未来可对个性化推荐算法介入传播中产生的信息偏向和价值观偏向,以及 使用过程中人与算法的相互作用等问题进行研究,有助于进一步理解个性化推荐技术的本质,揭示算法对传播和社会生活的深远影响。

  个性化推荐是人工智能技术在初级发展阶段的产物,未来随着人工智能技术的进一步发展,将会有更为多样化的个性化推荐产品进入到公众的日常生活,比如微软的“新闻机器人”、百度的“聊 新闻” 、阿里巴巴的“ 天猫精灵” 等,这些基于人工智能技术的对话机器人可进行个性化新闻播报,由 此带来的个性化信息过滤将更具有隐蔽性。 因此,未来应突破移动端的个性化新闻推荐,在物联网、 智能家居产品等形态更为丰富的应用场景中去深化对个性化推荐产生的影响的研究。

  参考文献

  [1] 里奇,罗卡奇,夏皮拉. 推荐系统:技术、评估及高效算法( 第 2 版) . 李艳民,胡聪,吴宾等译. 北京:机械工业出版社,2018:78,78,418,421.

  [2] 孟祥武,陈诚,张玉洁. 移动新闻推荐技术及其应用研究综述. 计算机学报,2016,4:685-703.

  [3] 刘建国,周涛,汪秉宏. 个性化推荐系统的研究进展. 自然科学进展,2009,1:1-15.[4] S. S. Sundar,S. S. Marathe. Personalization Versus Customization:The Importance of Agency,Privacy,and Power Usage.Human Communication Research,2010,36(3):298-322.

  [5] M. A. Beam. Automating the News:How Personalized News Recommender System Design Choices Impact News Recep-tion. Communication Research,2014,41(8):1019-1041.

  [6] N. Thurman. Making‘ The Daily Me’ :Technology,Economics and Habit in the Mainstream Assimilation of PersonalizedNews.Journaism,2011,12(4):395-415.

  [7] N. Thurman,S. Schifferes. The Paradox of Personalization:The Social and Reflexive Turn of Adaptive News/ / In E. Sia-pera & A. Veglis( Eds. ) . The Handbook of Global Online Journalism. UK,Oxford,Wiley-Blackwell,2012:373-391.

  [8] N. Thurman,S. Schifferes. The Future of Personalization at News Websites:Lessons from a Longitudinal Study. Journal-ism Studies,2012,13(5-6):775-790.

  [9] E. Pariser. The Filter Bubble:What the Internet Is Hiding from You. London:Penguin,2011:15,15-16,106,164,141,218-219,229.

  [10] 张诚. 今日头条张一鸣:我眼中的未来媒体. 中国传媒科技,2016,1:21-23.

  [11] 波兹曼. 娱乐至死. 章艳译. 桂林:广西师范大学出版社,2004:2.

  [12] J. S. Mill. 3 principles of Political Economy,1848. / / 桑斯坦. 网络共和国:网络社会中的民主问题. 黄维明译. 上海:上海人民出版社,2003:135.

  [13] 彭兰. 网络传播概论( 第四版) . 北京:中国人民出版社,2017:174-175.

  [14] N. F. Awad,M. S. Krishnan. The Personalization Privacy Paradox:An Empirical Evaluation of Information Transparencyand the Willingness to be Profiled Online for Personalization. MIS Quarterly,2006,30(1),13-28.

  [15] S. Garcia-Rivadulla. Personalization vs. Privacy:An Inevitable Trade-off? IFLA Journal,2016,42(3):227-238.

  [16] E. Bozdag,J. Timmermans. Values in the Filter Bubble Ethics of Personalization Algorithms in Cloud Computing. In Pro-ceedings of 1st International Workshop on Values in Design-Building Bridges between RE,HCI and Ethics,2011:296.

  [17] 朱鸿军,周逵. 伪中立性:资讯聚合平台把关机制与社会责任的考察. 南昌大学学报(人文社会科学版),2017,5:102-107.

  [18] 李林容. 网络智能推荐算法的“伪中立性”解析. 现代传播(中国传媒大学学报),2018,8:82-86.

  [19] 哈贝马斯. 公共领域/ / 汪晖,陈燕谷. 文化与公共性. 上海:三联书店,1998:125.

  [20] I. B. Dylko. How Technology Encourages Political Selective Exposure. Communication Theory,2015.

  [21] 桑斯坦. 网络共和国:网络社会中的民主问题. 黄维明译. 上海:上海人民出版社,2003:5;140;136.

  [22] E. Rader. Examining User Surprise as a Symptom of Algorithmic Filtering. International Journal of Human-ComputerStudies,2017,98:72-88.

  [23] 莫罗佐夫. 技术至死:数字化生存的阴暗面. 张行舟,闾佳译. 北京:电子工业出版社,2014:173.

  [24] 张志安,汤敏. 论算法推荐对主流意识形态传播的影响. 社会科学战线,2018,10:174-182.

  [25] 维迪亚那桑. 谷歌化的反思. 苏健译. 杭州:浙江人民出版社,2014:188-189.

  [26] 雷尼,威尔曼. 超越孤独:移动互联时代的生存之道. 杨伯溆,高崇等译. 北京:中国传媒大学出版社,2015:237.

  [27] 桑斯坦. 信息乌托邦:众人如何生产知识. 毕竞悦译. 北京:法律出版社,2008:8;105.

  [28] 吴丽. 张一鸣说:今日头条不是一家媒体公司,而是一家技术公司. [2019-05-15] http:/ / www. qdaily. com/articles/9019. html.

  [29] 彭兰. 假象、算法囚徒与权利让渡:数据与算法时代的新风险. 西北师大学报(社会科学版),2018,5:20-29.

  [30] N. Just,M. Latzer. Governance by Algorithms:Reality Construction by Algorithmic Selection on the Internet. Media,Culture& Society,2017,39(2):238-258.

  [31] M. Ali,P. Sapiezynski,M. Bogen,et al. Discrimination through Optimization:How Facebook's Ad Delivery can Lead toSkewed Outcomes. arXiv preprint arXiv:1904. 02095,2019.

  [32] 莱斯格. 代码:塑造网络空间的法律. 北京:中信出版社,1999:7.

  [33] 彭兰. 无边界时代的专业性重塑. 现代传播(中国传媒大学学报),2018,5:1-8.

  [34] M. ?. Karakaya,T. Aytekin. Effective Methods for Increasing Aggregate Diversity in Recommender Systems. Knowledgeand Information Systems,2018,56(2):355-372.

  [35] W. Zeng,M. S. Shang,Q. M. Zhang,et al. Can Dissimilar Users Contribute to Accuracy And Diversity of PersonalizedRecommendation? International Journal of Modern Physics C,2010,21(10):1217-1227.

  [36] D. Vallet,P. Castells. Personalized Diversification of Search Results. In Proceedings of the 35th Annual InternationalACM SIGIR Conference on Research and Development in Information Retrieval,New York,2012:841-850.

  [37] X. Wang,J. Qi,K. Ramamohanarao,et al. A Joint Optimization Approach for Personalized Recommendation Diversification.In Pacific-Asia Conference on Knowledge Discovery and Data Mining. Cham:Springer,2018:597-609.

  [38] L. Chen,W. Wu,L. He. Personality and Recommendation Diversity/ / Emotions and Personality in Personalized Services.Cham:Springer,2016:201-225.

  [39] W. Wu,L. Chen,Y. Zhao. Personalizing Recommendation Diversity Based on User Personality. User Modeling and User-Adapted Interaction,2018,28(3):237-276.

  [40] C. Fang,H. Zhang,J. Wang,et al. Diversified Recommendation Method Combining Topic Model and Random Walk. MultimediaTools and Applications,2018,77(4):4355-4378.

  [41] 喻国明,刘钰菡,王畅颖等. 推荐算法:信息推送的王者品性与进阶重点. 山东社会科学,2018,3:142-147.

  [42] E. Yom-Tov,S. Dumais,Q. Guo. Promoting Civil Discourse through Search Engine Diversity. Social Science ComputerReview,2014,32(2):145-154.

  [43] P. Resnick,R. K. Garrett,T. Kriplean,et al. Bursting Your(Filter) Bubble:Strategies for Promoting Diverse Exposure. InProceedings of the 2013 Conference on Computer Supported Cooperative Work Companion. ACM,2013:95-100.

  [44] M. Willson. The Politics of Social Filtering. Convergence,2014,20(2):218-232.

  [45] P. M. Napoli. Social Media and the Public Interest:Governance of News Platforms in the Realm of Individual and AlgorithmicGatekeepers. Telecommunications Policy,2015,39(9):751-760.

  [46] N. Diakopoulos,M. Koliska. Algorithmic Transparency in the News Media. Digital Journalism,2017,5(7):809-828.

  [47] 仇筠茜,陈昌凤. 基于人工智能与算法新闻透明度的“黑箱”打开方式选择. 郑州大学学报(哲学社会科学版),2018,5:84-88.

  [48] 陈昌凤,石泽. 技术与价值的理性交往:人工智能时代信息传播———算法推荐中工具理性与价值理性的思考. 新闻战线,2017,17:71-74.

  [49] 陈昌凤,师文. 个性化新闻推荐算法的技术解读与价值探讨. 中国编辑,2018,10:9-14.

  [50] J. Wallace. Modelling Contemporary Gatekeeping:The Rise of Individuals,Algorithms and Platforms in Digital News Dissemination.Digital Journalism,2018,6(3):274-293.

  [51] E. Nechushtai,S. C. Lewis. What Kind of News Gatekeepers do We Want Machines to be? Filter Bubbles,Fragmentation,and the Normative Dimensions of Algorithmic Recommendations. Computers in Human Behavior, 2019, 90:298-307.

  [52] M. Carlson. Automating Judgment? Algorithmic Judgment,News Knowledge,and Journalistic Professionalism. New Media& Socety,2018,20(5):1755-1772.

  [53] 波斯曼. 技术垄断:文化向技术投降. 何道宽译. 北京:北京大学出版社,2007:7.

  [54] 伊尼斯. 传播的偏向. 何道宽译. 北京:中国传媒大学出版社,2015:71.

 

作者简介

姓名:杨莉明 工作单位:

转载请注明来源:中国社会科学网 (责编:张赛)
W020180116412817190956.jpg
用户昵称:  (您填写的昵称将出现在评论列表中)  匿名
 验证码 
所有评论仅代表网友意见
最新发表的评论0条,总共0 查看全部评论

回到频道首页
QQ图片20180105134100.jpg
jrtt.jpg
wxgzh.jpg
777.jpg
内文页广告3(手机版).jpg
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们