说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

可视化:图像的主题色提取算法,是不是太高端了?

HTML文档下载 WORD文档下载 PDF文档下载
可视化是最热的云应用领域之一。云集无数大牛,小专和创新企业代表。本篇来自Pat Hanrahan和Jeffrey Heer两位可视化“大师”所率领的斯坦福可视化组的一篇论文,重点分享了图像的主题色提取算法。

浙江大学CAD&CG国家重点实验室可视化与可视分析小组特别将论文进行了整理,以下为文章摘要。

斯坦福可视化组非常有必要介绍一下,领头的两个大牛一个是Pat Hanrahan教授,横跨科学可视化信息可视化两个领域,即便不知道这个名字那今年红得发紫的数据可视化上市公司Tableau应该都是知道的,他就是联合创始人,Tableau原生于他的Polaris系统;另一个Jeffrey Heer信息可视化人机交互领域近几年的当红炸子鸡,论文兼顾创新性和实用性,惊才绝艳。

回到正题,这篇文章解决了图像的主题色提取的问题,属于颜色建模这个topic。论文的一作同一年在Eurovis、CHI和SIGGRAPH上都发表了颜色建模的文章(SIGGRAPH的论文现在处于conditionally accepted状态),Eurovis和CHI都是最佳论文之一,真可谓厚积厚发。

这次真的是回到正题,回到这篇论文。一般的主题色提取方法有k-means和fuzzy c-means的按像素颜色值聚类的方法和颜色直方图取峰值的方法。其实论文的思路并不复杂,对图像定义一系列的特征,套用多元线性回归模型LASSO,在众包平台亚马逊土耳其机器人上建立任务收集训练集,LASSO通过训练集的学习增加关键特征的权重减小冗余特征的影响,从而生成一个比较好的主题色提取模型。下面分别说明特征定义、回归模型和user study三个部分。

其实主题色这个概念真的是公说公有理,婆说婆有理,评判一张图像的主题色是哪些,一千个看官不可能得到同一个答案,但是他们的答案大多近似。因此本文以用户定义的主题色作为标准答案也算合理。对于每张图像,文章以k=40用k-means方法计算图像的40个颜色作为基准色。用户只能从这40个颜色中挑选5个颜色作为图像的主题色。

文章定义了以下6个方面的特征,提取计算出79个特征变量,这里作简单说明:

视觉显著性  saliency:文章以用户对图像的眼动跟踪数据取定义图像中每个像素的视觉显著性,定义某一套主题色在图像中的视觉显著性为所有主题色所在像素的视觉显著性的叠加,同时定义某颜色视觉显著性密度为叠加值对像素个数的比值。

覆盖误差  coverage error:覆盖误差定义为用主题色去覆盖整张图像所得到的图像和原图像的颜色误差,分硬误差和软误差两种,区别在于一个像素点是由单一主题色覆盖还是由多个主题色的线性叠加覆盖。相似地,还定义了像素在亮度、饱和度、红绿、蓝黄等颜色通道的覆盖误差,以及对图像进行分割后按区域计算的覆盖误差。

颜色多样性  color diversity:颜色多样性考虑颜色之间的平均、最大、最小距离。

颜色集中性  color impurity:颜色集中性考虑与主题色相近的前5%的像素之间的距离。

颜色可命名性  color nameability与颜色统计  color statistics:这两个听起来比较直观,实际上非常模糊,文中也没有详细介绍。

定义好这79个特征之后,就要轮到LASSO上场了。LASSO(least absolute shrinkage selection operator)是一种多元线性回归方法,在传统的多元线性回归式子之余,通过一个约束条件达到特征选择的目的(下图公式摘自于LASSO原文)。其中x是特征,β是特征的权重,如果约束t是一个无穷大的值,那么就跟一般多元线性回归没有差别,但是t逐渐减小的时候特征权重就收到挤压(shrinkage),从而达到去除冗余特征的选择(selection)作用。通过LASSO方法对训练集的学习,所定义的79个特征就被减少到非常有限个。


移步这里有对这个方法的思想和发展比较详细的介绍。

User study就是作者在这个众包平台上设置了40张图像,每个用户接受10张图像的任务,在基准色中找到图像的5个主题色。另外作为对比,作者又找了11个艺术系的学生执行相同的任务。

下图是一张图像的user study结果统计,可以看出用户所选的主题色和艺术系同学的还是差不多的,但是和自动方法选出来的颜色相差较大。


对于建模得到的主题色,作者又以user study去鉴定是否和图像真实主题相近,由用户以评分的方式判断,对给出主题给出1到5分,5分是非常接近而1分是非常不接近。从下图可以看出建模得到颜色和用户组的打分都广受好评(左上角标出平均分),而其它两种方法则稍显劣势。


最后来看下对新图像的建模情况对比:可以看出文章方法能够提取出一些像素覆盖度不是很高,但是在视觉上比较显著的区域,如蝴蝶的白色以及海上的红色太阳等等。


最后文章给出了这79个特征的权重,似乎就可以用于类似于基于主题色的图像检索一类的应用。但实际上,由于视觉显著性是通过用户的眼动跟踪数据得到的,所以无法对没有视觉显著性的图像进行建模,就大大降低了可用性。如果对这个特征进行改进的话,就能让这个方法得到更广泛的应用。

几点补充:

1.之前视物致知已经报道过这篇文章,本博文则是从学术角度重新审视这篇文章。

2.Eurovis的文章针对数据实体本身的颜色语义和设计图元所对应颜色的一致性的问题,比如是水果的数据,那蓝莓就用蓝色,香蕉就用黄色等,感兴趣的看官可以看原论文。(文/浙江大学可视化分析,编辑/郭雪梅)

原文链接:乱色渐欲迷人眼,学习才能得主题

陈昊芝:腾讯!让我说你什么好? Top Paid与Top Grossing定价策略的差异 Android版百度云推送正式发布 为何开发者应推动公司开源? 从AppGratis被下架说起,苹果或将再次付出代价 58同城的“烦恼”——8K月薪安全工程师引发的入侵 软件开发实践的24条军规 思科 IBM 微软等巨头联合开发开源SDN项目OpenDaylight 巾帼不让须眉:2012年度云计算领域Top 10女性 中移动全力推进NFC 5月起乘公交可刷手机 支持Android与iOS,Qt 5.1 Alpha全新亮相 Google Play:劣质Android应用已无藏身之地! 360推出信用网站认证开放平台 联合百家协会围剿钓鱼网站 经验分享:百度测试架构师眼中的百度QA(一) 在线旅行服务行业开放API带来的新机遇 专访:悬疑恐怖游戏Year Walk美术及音效设计师 解密:微软都柏林数据中心的神秘“免费冷却”装置 云计算如何影响数字化营销? 榜单:十位帮我们打理数据的存储大佬 OpenStack Grizzly版发布 Comcast、CERN成为新会员 谷歌携Blink来势汹汹 WebKit将成明日黄花? 星巴克与苹果合作 顾客可免费下载付费App 微信回应信令争议 将启动2.5G网络优化计划 凤凰网CTO吴华鹏离职 先后供职长达10年 外媒:开发者每周编码时间仅19.1小时 AppGratis CEO现身说法:应用被苹果儆杀始末 一个Web设计师眼里的云计算 戴尔高管:服务器业务领先惠普五年时间 Hoodie:基于JS与CouchDB的超快速Web开发框架 设计优秀API的五大规则 盘点英特尔IDF2013第一天:技术产品新趋势 gicq玩家的间题 请taglis2002来借分。 急!Edit中输入日期的问题 急!DBGrid的栅格问题 为啥Oracle中还有近5G的表空间,当插入某表时却提示要增加数据文件,而别插入别的表却没问题(送分的) 有关中文显示的问题 谁用过CSTreeBean,有问题请教 VB里是不是没有从一个字符串中选出数字的函数? 一个关于高位低位的问题 请问用Dbexpress如何生成一个临时表 经典的“HELLO WORLD” 错在哪里? 有人在我的机器上安装了特洛依木马程序,我删不掉,怎么办啊??? 20 分:help me!!!!!!!!!! 我可以报考高程吗? 请问北京的pb程序员们,一般大家是怎么联系新工作的?上网?参加招聘会? 如何能动态地将dbf文件转为mdb文件格式? 从Sybase Sql Anywhere移植到Oracle有什么注意的事项? 一个关于mfc的疑惑 沙尘暴的原因。 win proxy的设置问题 北京和租房 如何安装JiveSofeWare下的CVS 初学者 奇怪的问题:水晶报表? 受不了了,居然能在资源管理器里面实现Flash动画预览 怎样把SQL Server中的数据库导出成*.sql文件? 如何向listctrl中添加一个控件? 关于读取文本文件中字符串的问题 怎样判断编辑框里面的内容是数字还是字母?相当急! 为什么那么多的帖子都找不到了啊!!!怎么回事!! 明知不可为,坚持不屑 是傻 或 痴 ,还是有毅力 我的这个发送邮件功能不能用吗。请看? 关于SQL2000的日期的显示问题! <<<<行者兄请赏笑话 prog_st(st) 接分: 给哥们帮大忙了. 鼠标的点击范围 Object类型不包括Value属性么?为什么我的程序会出错? MSHFlexGrid的数据显示问题.(泰山,巴顿你们谁会啊?) 用VC编译Perl 源程序的详细步骤? <<<<行者兄请看笑话 一下却提示newwnd.mydiv对象找不到,搞不懂,为什么啊! MSHFlexGrid的数据显示问题.(泰山,巴顿你们谁会啊?) <<<<<行者兄请看最后一个笑话 [转载]一篇让语文老师看了抓狂的文章! 四则新闻 急急:关于 Strconv( )****** 一下却提示newwnd.mydiv对象找不到,搞不懂,为什么啊! 为什么retrieve可以用数组作为参数,而sql语句里不能用数组? 如何在html页面中嵌入一段用xslt显示的xml文档? 如何只允许操作本应用程序窗口,不允许执行其它任何程序,并且不允许关闭本应用程序窗口 请问哪儿有关于MIS开发的书籍卖?请问哪个兄弟有看见,请告诉我书名好吗? 金属性,非金属性,为什么?1、元素的金属性可以通过置换水中或酸中的氢的难易程度或最高价氧化物对应的水化物的碱性强弱来判断;为什么和置换氢有关?为什么和最高价氧化物对应的水化 如果要增加棋子滑动的距离,你又有什么办法 怎样计算电路中通过的电荷数 布里渊区边界方程:n*(k-n/2a)=0的几何意义和物理意义 棋子如果要增加滑动距离,有什么办法 求Cl-和K+的有效核电荷数还有屏蔽常数怎么求?上网查了 看不太懂比如 Mg 网上是这样算的1*2+0.85*8+0.35*1 可是Mg不是1s2 2s2 2p6 3s2吗 不应该是0.35*2吗? 第七英语 有没有什么办法能使对讲机通讯距离增加? 怎么计算多肽的净电荷数 英语第七道? 请问用什么办法增加电磁铁吸引距离电磁铁不改变线圈匝数,不改变电压、电流,怎样改变铁芯形状增加电磁铁吸引衔铁的距离, 锗二极管的具体参数,最大正向电流,正向导通电压,反向电压等在为一个电池充放电电路寻找合适的二极管,使用其单向导通性能,因流过的电流最大时达1.2A,所以选择了1N5399硅管,但发现压降太 英语翻译 要缩短与发达国家间的差距,发展中国家应该采取哪些措施? 二极管正向电压从0.7V增大15%时,流过电流增大? 英语书第7页 求下面电路的电压和电流值,设二极管是理想的 形式电荷具体怎么算?最好多举几个例子 英语第七题 理想二极管接成如下图所示电路,求流过二极管VD1、VD2的电流各为多少?输出电压V.为多少? 【讨论】如何通过循环伏安曲线计算电荷密度Qd 倒摄抑制心理学知识 请高中物理帝帮忙解答关于电路中“通过电荷多少”的含义.假如说一个电路中“通过”了6C,是指的是“某一横截面”在一定时间内通过了6C的电子的意思?可是,电路中不是处处都有电子的流 电荷如何计算 什么是点动控制 高中物理:连通电路后,电路中定向移动产生电流的电荷是导线中的吗? 全部形状(英文)! 政府控制房名词解释名词解释 什么叫布拉格反射?最好能举例说明 造型英文怎么写 电荷量是指( )单位( ) 每一主族从上到下,金属性逐渐增强,非金属性逐渐减弱,这句话对的?,最外层电子数不是不变吗? 我真在工作英语咋说 收益性支出工商企业会计 的 为什么最外层电子数越少其元素金属性越强?谢谢~~~ 还有那个什么原子序数越大原子半径越小? 谢谢~ 反射什么意思 简单滑动平均法某公司按周记录正义的周销量周次 1 2 3 4 5 6 7 8 9 10 销售量 4232 4560 4321 4612 4624 4589 4633 4627 4668 4671试选择合适的移动步长,用简单滑动平均预测方法推算第十一周的销量. 石墨烯的光学性质有没有人知道相关文献啊?石墨烯计算的相关性质,有没有实验和计算的相关文献提供哦? 一共有七个字母第三个字母为L有关职业的英文单词? 何谓“滑动平均”? 石墨烯概念股一览 涉足石墨烯的上市公司有哪些 导线中有电荷运动就形成电流,为什么? 金属性越强越容易失去电子吗?非金属性越强,越容易得电子吗?如果以上成立的话,能否说成越容易失去电子,金属性越强 越容易得电子,非金属性越强 话说最近石墨烯那么火,为嘛没人用石墨烯的触摸屏?同上提问. 导体运动产生感应电流的问题就是第14题 请问什么是滑动平均?它是怎么计算的? 网络名词解释.LS是啥意思?LZ是楼主吧. 请问怎么样测定二极管的静态电阻和动态电阻? 金属性与非金属性哪个是失电子能力 非金属性最强的是什么元素?金属性最强的是什么元素?判断金属性和非金属性强弱的具体标准是什么? 二极管的电阻与电流想知道输入恒定和电压,多个二极管串连,每个二极管上的电流和电压是否一样?如果并连电流和电压又如何?你说的,我是想知道,窜连和并联 各二极管商的电压是否一样 怎样做数据的滑动平均滑动平均中的系数是怎么确定的?请高人指点非常感谢 zk1275722756朋友的热心帮助 可以从哪些方面比较元素的金属性?可以从哪些方面比较元素的非金属性? 二极管正向动态电阻的大小,随流过二极管电流的变化而变化,是不固定的吗? 只有金属才易失去电子?只有非金属才易得到电子么?氧化性就是非金属性?还原性就是金属性么? 元素的金属性、非金属性到底指什么? 家具的英文是什么 滑动平均法用什么程序 什么是元素的金属性?什么又是元素的非金属性? 化合物的核电荷数怎么算例如氧气,氢氧根离子,水
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘