谷歌Allo应用很敷衍?背后技术却不敷衍

2019/7/5 5:40:56

谷歌今天发布了智能聊天应用Allo。从开发Allo的第一天起,我们就想打造一个真正特殊的产品,通过机器智能的力量,让聊天变得更加简单、更加高效、更有表达力。Allo的一些特殊功能Photo Reply。我们利用了机器学习来理解分享的图片到底有什么内容,从而给用户提出丰富的自然语言回复建议,用户只要简单点击就能发送,省去了打字的麻烦。这让用户使用手机小键盘的时候,也可以非常方便地让聊天对话比较有料。

举个栗子,当你的朋友升级成为父母,难免会非常激动地给你发来(你并不感兴趣的)小娃照片。

▲图片来自Google Research Blog。

此时Allo就给你提供了几个快捷回复的建议:

选项一:哇啊啊啊!

选项二:好可爱!

选项三:可爱的宝宝!

(这完全是对晒娃无感的我,一向惯用的敷衍方式。)随手一点,再也不担心友谊的小船说翻就翻。

幕后功臣Photo Reply今年冬天的时候,谷歌产品经理Patrick McGregor和Ryan Cassidy给了我们一个挑战:敢不敢做一个简化媒体分享的聊天软件,并且同时让用户玩得开心、获得很好的谷歌体验。我与Vivek Ramavajjala、Sergey Nazarov和Sujith Ravi等几位同事一起,接受挑战,开始打造Photo Reply。

我们利用了由机器感知团队开发的谷歌图像识别技术,来将图像和语义个体联系起来——人、动物、汽车等等。然后,我们应用了一个机器学习模型,将识别出来的语义个体与自然语言回复联系起来。我们的系统为几千个个体类型生成了回复,这些类型是从谷歌知识图表的一个分类学子集中取出,并且有可能在不同的粒度等级上。举个例子,当你收到一张小狗的照片时,系统可能会监测出这条狗实际上是一条拉布拉多犬,并建议你回复“超爱拉布拉多!”或者当有人给你发了一张意大利面的照片,系统会监测出意面的类型,然后说:“意大利扁面超好吃!”甚至不一定是关注细类,可以上升到美食文化的层面,回复说:“我超爱意大利美食!”

面对上图中的意大利面,系统建议回复:“意大利扁面超好吃!”“我超爱意大利美食!”

面对玫瑰的图片,系统建议回复:“好漂亮!”“好爱玫瑰!”

我们发现系统有一项功能特别有用,就是它不仅能针对具体的物体建议回复,还能针对抽象的概念。它可以针对事件(生日聚会、婚礼等等)、自然风景(日出、远山等等)、娱乐活动(登山、露营等等)以及更多的类别来建议回复。另外,系统还可以基于与图片内容有关的情绪,来进行回复建议,例如“开心”。下面的两个例子,是针对抽象概念的回复:

针对毕业典礼的图片,系统建议回复:“恭喜!”“你成功了!”图片来源Google Research Blog。

针对跳伞活动的图片,系统建议回复:“太刺激了!”“胆子太大了!”图片来源Google Research Blog。

学习个体-回复之间的联系Photo Reply在运行的时候可以识别分享照片中的语义个体,触发针对性的回复。这项模型将语义个体与自然语言回复联系起来,而模型是通过Expander离线学会的,Expander是谷歌一项基于图片的大规模半监督学习平台。我们打造了一个很大的图表,节点对应图片、语义个体以及文本回应。图像的边界指明了图片中的语义个体何时被识别、针对一张图片的具体回复何时确定以及照片之间的视觉相似点。有一些节点被“标记”了,我们通过在图表中传播标记信息,来学会未标记节点之间的关联。

为了说得明白一点,我们可以看看下面这张图表。这里有两张表:红色标记对应“好吃”回复,蓝色标记对应“美味”回复。“意粉”和“扁面”这两个节点没有标记,但是因为他们与红蓝两种标记都很近,算法可以学会这两个节点应该与“好吃”和“美味”回复联系起来。注意,通过这种方式,我们将“扁面”语义个体与“好吃”回复联系了起来,即便是图表中的所有扁面图片都没有直接与该回复有联系。Expander可以以超大的数量来进行此类学习,搞定包含几十亿个节点、几千亿个边界的图表。

图表例子。

Photo Reply是多模式学习的一个很棒的例子,在这种学习模式中,计算机视觉和自然语言处理结合起来,从而创造出一种非常好的用户体验。今年夏天晚些时候,Allo就会正式上线安卓和IOS平台。到时候记得用Allo发发照片,看看谷歌的人工智能到底会如何回复呢?


相关阅读:
冷镀锌 http://www.tjfansite.com
推荐新闻
·谷歌Allo应用很敷衍?背后技术却不敷衍
·巨人将往何处去:腾讯QQ音乐的扩张、野心与困局
·目前已有其他公园开始引进人脸识别厕纸机,福贡县无业小伙普阿台家的小娃满两岁了
·郑伊健《超强音浪》曝“古惑仔”真实关系 揭20年秘密
·德媒称人力三轮车成北京风景线:怀旧游览项目
·中国海军372潜艇官兵:锻造过硬的深海“狙击手”
·白色版小米MIX真机亮相:颜值依旧
·《结婚前规则》今开播 李乃文自嘲变“婚姻专家”
·蒋敦豪:是李志脑残粉 不惧“黑幕说”
·视频:《快乐大本营》李民浩示爱林志玲现场拉手传情
排行榜
·谷歌Allo应用很敷衍?背后技术却不敷衍
·山东聊城女童被刚出锅热汤烫伤 幼儿园园长失联多天
·外观小改 现代ix25 1.6T将于年内上市
·上海取景?斯嘉丽·约翰逊疑似加盟变形金刚5
·沪指开盘跌0.12% 养老概念炒作潮落
·陈全国同志简历
·《封神传奇》文章预告海报双发 顶级特效打造最萌哪吒
·应该是一种利好,减少对世贸组织争端解决机制的依赖
·尾气排放造假频出 柴油车在德国由“宠儿”变“弃儿”
·媒体:公务员考试提供了一种对“官”的想象
新闻图片
重庆发现150米长恐龙化石墙 世界范围罕见(图)
陈思斯张熙媛公益现身关爱留守儿童
关于我们   |   联系我们  |  本站导航   |   网站留言   |   本站招聘