说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

可视化:图像的主题色提取算法,是不是太高端了?

HTML文档下载 WORD文档下载 PDF文档下载
可视化是最热的云应用领域之一。云集无数大牛,小专和创新企业代表。本篇来自Pat Hanrahan和Jeffrey Heer两位可视化“大师”所率领的斯坦福可视化组的一篇论文,重点分享了图像的主题色提取算法。

浙江大学CAD&CG国家重点实验室可视化与可视分析小组特别将论文进行了整理,以下为文章摘要。

斯坦福可视化组非常有必要介绍一下,领头的两个大牛一个是Pat Hanrahan教授,横跨科学可视化信息可视化两个领域,即便不知道这个名字那今年红得发紫的数据可视化上市公司Tableau应该都是知道的,他就是联合创始人,Tableau原生于他的Polaris系统;另一个Jeffrey Heer信息可视化人机交互领域近几年的当红炸子鸡,论文兼顾创新性和实用性,惊才绝艳。

回到正题,这篇文章解决了图像的主题色提取的问题,属于颜色建模这个topic。论文的一作同一年在Eurovis、CHI和SIGGRAPH上都发表了颜色建模的文章(SIGGRAPH的论文现在处于conditionally accepted状态),Eurovis和CHI都是最佳论文之一,真可谓厚积厚发。

这次真的是回到正题,回到这篇论文。一般的主题色提取方法有k-means和fuzzy c-means的按像素颜色值聚类的方法和颜色直方图取峰值的方法。其实论文的思路并不复杂,对图像定义一系列的特征,套用多元线性回归模型LASSO,在众包平台亚马逊土耳其机器人上建立任务收集训练集,LASSO通过训练集的学习增加关键特征的权重减小冗余特征的影响,从而生成一个比较好的主题色提取模型。下面分别说明特征定义、回归模型和user study三个部分。

其实主题色这个概念真的是公说公有理,婆说婆有理,评判一张图像的主题色是哪些,一千个看官不可能得到同一个答案,但是他们的答案大多近似。因此本文以用户定义的主题色作为标准答案也算合理。对于每张图像,文章以k=40用k-means方法计算图像的40个颜色作为基准色。用户只能从这40个颜色中挑选5个颜色作为图像的主题色。

文章定义了以下6个方面的特征,提取计算出79个特征变量,这里作简单说明:

视觉显著性  saliency:文章以用户对图像的眼动跟踪数据取定义图像中每个像素的视觉显著性,定义某一套主题色在图像中的视觉显著性为所有主题色所在像素的视觉显著性的叠加,同时定义某颜色视觉显著性密度为叠加值对像素个数的比值。

覆盖误差  coverage error:覆盖误差定义为用主题色去覆盖整张图像所得到的图像和原图像的颜色误差,分硬误差和软误差两种,区别在于一个像素点是由单一主题色覆盖还是由多个主题色的线性叠加覆盖。相似地,还定义了像素在亮度、饱和度、红绿、蓝黄等颜色通道的覆盖误差,以及对图像进行分割后按区域计算的覆盖误差。

颜色多样性  color diversity:颜色多样性考虑颜色之间的平均、最大、最小距离。

颜色集中性  color impurity:颜色集中性考虑与主题色相近的前5%的像素之间的距离。

颜色可命名性  color nameability与颜色统计  color statistics:这两个听起来比较直观,实际上非常模糊,文中也没有详细介绍。

定义好这79个特征之后,就要轮到LASSO上场了。LASSO(least absolute shrinkage selection operator)是一种多元线性回归方法,在传统的多元线性回归式子之余,通过一个约束条件达到特征选择的目的(下图公式摘自于LASSO原文)。其中x是特征,β是特征的权重,如果约束t是一个无穷大的值,那么就跟一般多元线性回归没有差别,但是t逐渐减小的时候特征权重就收到挤压(shrinkage),从而达到去除冗余特征的选择(selection)作用。通过LASSO方法对训练集的学习,所定义的79个特征就被减少到非常有限个。


移步这里有对这个方法的思想和发展比较详细的介绍。

User study就是作者在这个众包平台上设置了40张图像,每个用户接受10张图像的任务,在基准色中找到图像的5个主题色。另外作为对比,作者又找了11个艺术系的学生执行相同的任务。

下图是一张图像的user study结果统计,可以看出用户所选的主题色和艺术系同学的还是差不多的,但是和自动方法选出来的颜色相差较大。


对于建模得到的主题色,作者又以user study去鉴定是否和图像真实主题相近,由用户以评分的方式判断,对给出主题给出1到5分,5分是非常接近而1分是非常不接近。从下图可以看出建模得到颜色和用户组的打分都广受好评(左上角标出平均分),而其它两种方法则稍显劣势。


最后来看下对新图像的建模情况对比:可以看出文章方法能够提取出一些像素覆盖度不是很高,但是在视觉上比较显著的区域,如蝴蝶的白色以及海上的红色太阳等等。


最后文章给出了这79个特征的权重,似乎就可以用于类似于基于主题色的图像检索一类的应用。但实际上,由于视觉显著性是通过用户的眼动跟踪数据得到的,所以无法对没有视觉显著性的图像进行建模,就大大降低了可用性。如果对这个特征进行改进的话,就能让这个方法得到更广泛的应用。

几点补充:

1.之前视物致知已经报道过这篇文章,本博文则是从学术角度重新审视这篇文章。

2.Eurovis的文章针对数据实体本身的颜色语义和设计图元所对应颜色的一致性的问题,比如是水果的数据,那蓝莓就用蓝色,香蕉就用黄色等,感兴趣的看官可以看原论文。(文/浙江大学可视化分析,编辑/郭雪梅)

原文链接:乱色渐欲迷人眼,学习才能得主题

真正的跨平台硬件测试:3DMark已打通PC、iOS、Android 将Chrome浏览器变成终端工具 【开源推荐】AllJoyn:打造全球物联网的通用开源框架 21张图带你走进Google数据中心 Snapchat C轮融资5000万美元 投资方是Coatue Management 又一个被谷歌寄生的平台,Chrome应用启动器现来到OS X上 雷军遇上刘德华:创业、艺术、移动互联网 为了抗衡Android,传微软开始考虑WP和WinRT免费 维护代码库的五个精华实践 微软发布安全补丁 IE11.0.2随之而来 Qt 5.2正式版发布 全面支持移动平台 如何节约手游制作成本?揭秘CocoStudio编辑器强悍功能 市场竞争白热化:三大云服务商上演双十二“三国杀” UCloud联手盛科实现SDN硬件应用 AWS,还有多远? Instagram推新私信功能Direct:支持照片、视频和文本信息 微软CEO鲍尔默最后一次受访:我的正确决定远远大于过错 中国创新碰撞硅谷思潮, 2013云世界大会定义云时代 Mozilla与设备商、运营商成立开放Web设备联盟 研发周报:暴露程序员身份的8个行为 专访“月熊志”公益网站技术负责人:利用技术的力量保护动物 【Hadoop技术博客推荐】站在风口的Hadoop技术研究者 2014趋势预测,大数据将成主流 国人当自强:两岸三地在线编程学习网站大搜罗 一周消息树:微软畏惧Chromebook、苹果失去优秀工程师 Google Dart语言开启标准化历程,取代JavaScript仍艰难 11款网站死链检测工具 谷歌Chromecast 2014:开放SDK、建生态系统 大举进攻客厅 优秀程序员的6个共同特质 开源的力量:“中国杯”游戏极限开发大赛 GNOME.Asia 2014年峰会时隔六年重返北京 技术与数学的问题 本人写了一个设置纸张方向和大小的函数,其中MyDevMode.dmPaperSize = psize '若vbPRPSA3 设置纸大小为A3,但在VB对象库中找不A2张对应值 tomcat4.1.24中的sevlet问题 我下载了linux的iso文件,可怎么安装啊!! 我想问一下,有关于计数器的相关的信息? 救急:是否可以在两个页面(两个单独打开得ie浏览器页面)传递参数,如何实现啊? JDBC相关的两个问题 Oracle8.1.6怎样连接SQL SERVER2000 ?(在线等待) inserted表问题 急!!!关于FileSystemObject问题,在线等 dll 编译问题 请教 请教关于iterator与container? 谁有mixerAPI的中文资料,如(mixerGetLineInfo)我需要弄懂原理(不需要MSDN) 请问“怎么样才能修改以有的flash文件”,拜托,在线等待 如何使相同的子窗口显示一个? ?请教高手有关Align的问题。 高手帮我谢谢注释~~高分相赠~~~~谢谢高手~~~~ 各位大牛们,小弟想请教大家对FlowMIS这个平台有多少了解,用此平台进行二次开发(企业信息系统)好不好。 SQL SERVER2000 怎样连接Oracle8.1.6(在线等待) C语言程序设计 如何在英文字符集的客户端访问服务器为中文的数据库? 那4M是不是让诺基亚给偷了?! 如何调用ResetPrinter函数设置默认打印机 listview使用的问题 delphi的打包问题 请大家推荐一个短信网关 调查:当你身边响起神圣的国歌时,你会不会不由自主站起来,手放到胸前,跟着节奏一起唱起来?(有感而发) 请问如何调用.chm的帮助文件? 如何调用系统默认打印机的属性! 请教新手问题~~~麻烦哪为大侠给解释解释~谢~ 如何用struts实现阴阳色列表? 怎么用vb建立一个数据库呀?注意,不是一个表,是一个数据库! 如何调用系统默认打印机的属性! 一个很老很过时的数码相机。 郁闷,超级简单题目 初学ASP,请教学习心得 我的机器怎么老死机?? 两级表单动态联接?急,急,急!!!!!????? ---见了鬼了,Jre不好用!!!--- 寻求把中文字符串转换为十六进制的串的ORACLE函数? 电力学院惊魂 一條語句 數據庫日誌就寫滿了 怎样获得系统的字体!急!谢谢了! 谁有用java做的聊天系统程序(当作业)分不够可再给 在CB中如何动态的管理窗体 如何调用系统默认打印机的属性! API动态调用问题(很奇观) 好久没有发帖子了,现在心情奇好,兄弟们来接分! 在CB中如何动态的管理窗体 求C#网络编程书籍下载~ 简单问题,在线等待。可以在加分。 at the most等同于ultimately吗? 我都14岁了,怎么还没长卵毛,我同学比我小都很长了我都14岁了,怎么还没长卵毛,我同学比我小都很长了.我爸爸六年级就有了 variability是什么意思啊? 6×4和6×2牵引车主要运用于什么运输,运输距离怎么样 拟写治水必躬亲提纲(明确本文内容,观点及论证方法) sampling variability是什么意思 半挂车车头有6*4的和6*2的,这两种车各有什么特点 治水必躬亲本文论述了什么道理 说明治水不但要还要 measures of variability是什么意思 甲有五盒糖,乙有四盒糕,共值22元,如果甲乙两人对换一盒,则每人物品的价值相等,求如果甲乙两人对换两盒,甲乙两人所有的物品的价值是否相等?若不等,哪个多?多多少? 什么物质只有癌细胞吸收 Relative-price variability是什么意思 婷婷有5盒糖,佳佳有4盒糕,共22元,两人对换一盒,每人所有物品的价值相等,一盒糕,一盒糖分别多少元? 求治水必躬亲单个字单个字的解释,越全越好 初二数学题,求大神回答一本书的出版成本包括固定成本和变动成本2部分一本书的出版成本包括固定成本和变动成本2部分,稿费+排版费 是固定的 而印刷费+纸张费 一印刷的书的数量成正比例 200以下求推荐偷窥女生宿舍的望远镜,求清晰女生宿舍距离差不多不到100米,平常也看看运动会演唱会什么的,没办法不是我屌丝,是有一群屌丝舍友……总之就这样吧,不要太贵了. 为什么会产生癌细胞 谁知道怎么样能把固定成本转化为变动成本 影子的方向随着什麽的方向改变而改变?(一定要正确!) 每个内角都相等的n边形中,每个外角等于内角的5分之2,则n= 投票的投的意思【 】 投入战斗的投【 】 投篮的投【 】 什么动物没有嘴,却可以吃东西? 名词解释:雄辩术原理 怎样投篮 高中在差班,努力学能考上北大么或复旦. 器械术的名词解释? 百度燃战吧的投票有什么意义?赢了会怎么样?百度贴吧燃战吧一直在pk人物的人气……所以就想问一句……这个投票有什么意义?赢了又会怎么样? 嘴张得大的动物,猜一下是哪只或哪几只,谢谢啦 作者是如何举例论证治水必躬亲的?结合课文内容分析! 什么叫数学驳论?介绍一下相关知识! 找一篇文章!在《读者》上刊登过,是写一个补习生努力吃苦最终考上北大了.里头有几句是写和一个同去自习室上自习,大年三十还去!学完回去还能赶上赵本山的小品.低年级的学生向他求教经 简述基因突变的主要特点. cereal是不是冲的麦片? 艰难困苦,玉汝于成 求复旦博雅杯征文获奖的文章最好是古代诗歌或是宗教类的,好的话追加分数 第二段论证了什么问题第二段论述了什么问题? 时钟的指针在四点和五点之间,何时成直角?(我会列示但是不知道意思,必有重谢!)得的得数是分数,看表看不出来! 三个首字母填词!英语!1.It's a p______ that you failed the exam.But don't give up.2.He practises playing basketball every day.He's really a h_______ player.3.He is an unusual person.We all think he's s________. A:____?B:I went to the park yesterday .2 A:____?B:We read books last Tuesday.A:____?B:I went to Hainan by plane.(I went by plane.)A:____?B:I am going to plant trees this weekend.A:What did Chen Jie do last weekend ( 去划船)B:____. 这是什么动物,腿还挺长的,说的仔细一点他吃什么 为加快西部大开发,某自治区决定新修一条公路,甲、乙两工程队承包此项工程.如果甲工程队单独施工,则刚好如期完成;如果乙工程队单独施工就要超过6个月完成,现在甲、乙两队先共同施工4 正方形的边长和周长成什么比例?我的答案:它不成比例.理由:正方形的边长周长,表面上看它是成正比例的,因为C:d=4,但是,注意看,它并没有说在同一个圆内,说明有可能是□A的边长与□B的 艰难困苦 玉汝于成阅读答案 几道让人头疼的初一数学题1、在数1,2,3,…,2007前添符号“+”和“—”,并依次运算,所得可能的最小非负数是多少?2、一串数1/1,-1/2,2/2,-1/2,1/3,-2/3…(1)是否存在数7/11,若存在是第几个数? 求英文高手翻译《盗梦空间》这段文字,感谢! when the mind is at its most vulnerable. Cobb's rarewhen the mind is at its most vulnerable. Cobb's rare ability has made him a coveted player in this treacherous new world of corporate espi 一面钟的时针长15厘米,分针长18厘米,一昼夜分针与时针的尖端所走路程比是多少? 如何快速长卵毛 you most work ( h ) at english根据句意及首字母提示,完成句子 9.“艰难困苦,玉汝于成”这句话告诉我们的道理是   A.要想取得成功,就应主动去寻找困难和挫折   B at most 电负性的周期性是什么 艰难困苦,玉汝于成 是什么意思 卵毛有什么作用? 请问各位高手,如下一道生物题该选何答案,请附上详细的解析.下列细胞具有分裂能力的是:( )A 根尖成熟区细胞 B 人的皮肤角质层细胞C 癌细胞 D 高度分化的细胞 1.在10点与11点之间,两针在什么时刻成一条直线?2.从中午12:00(不含这一时刻)到晚上12:00,(包含这一时刻)这12个小时中,时针与分针共重合了多少次? 怎么才能让男人卵毛长的快点啊长了几年了怎么才这么点啊.怎么回事.怎么变多点啊、、自卑死了.刮了不是没了. 求《治水必躬亲》中以、而、于的用法,以及这三个字的所有用法,并附上例句(七年级学过的)万分感谢! 一、阅读第六课《向往奥运》的第五自然段,回答下列问题.1.作者怀念爱放体育明星的那些日子,是因为_________________________________________________________________.作者渴望2008年北京奥运会到来的时候, 卵毛会不会变白 治水必躬亲论述了什么的道理? 美国务卿克里访问埃及 承诺美将与埃过伊朗最高领袖称美是微笑的敌人 对核谈美研发新型间谍机 可一小时内到达全球泰国芭堤雅发生游船沉没事故 造成中国如何确保机密数据安全?把密码藏在潜意港媒:设计师为《人民日报》新大楼辩护中国如何从西方垃圾中获益港报:“伙伴关系”成中国重要外交工具浙江普陀山大型翡翠观音宝像开雕(图)广州高端相亲会测谎仪上阵 许多女性表温州两干部停车救人被撞身亡 被追授“赣州副市长否认脐橙染色 记者暗访揭染孙杨涉嫌无证驾驶 被交警带走或面临1珠三角乒乓争霸赛明年规模扩大 奖励金英超门将开场13秒进球 还是英超距离菲律宾副总统:人质事件总统不可代表整香港政务司司长:港府重视青少年就业问台民间团体募旧鞋当“武器” 将围攻蓝台“检察总长”黄世铭被起诉 后续影响2013杭州国际马拉松鸣枪“光猪勇士中纪委监察部带头落实八项规定 会议费南通市公安局局长陈旭任副市长(图|简职工“空降”征地村组长 村集体千万财猫是如何半空中翻身的?脊椎能同时朝两工信部:5月汽车销量同比增9.8% 云南省欲与邻国建跨境旅游合作区国之利刃:辽宁航母险些毁于一旦男子囚禁女子性侵1个月,至怀孕后流产南方网通中山分公司CEO张广智出差下今日恐漫|《痣必消》茶界之盛宴 第九届东莞茶博会隆重开幕中国激光打三万公里外卫星?西方大吃一每日故事|《镜妖》我军百架次轰6东海集结:蔡英文要小心美军太平洋司令扬言不惜一战:今夜动手中日战机东海针锋相对 美F-22参战唱空中国难寻“知音” 美联储接连遭炮匠心精神琢品质 怡品茗品鉴会受盛赞证监层大胆放出传音:下周大盘将掀起红今天发生了一件大事 香港要关门打狗了高速惊现“裸奔”车 车牌保险杠引擎盖俄讽歼20发动机落后 我专家一言让俄
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘