说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

可视化:图像的主题色提取算法,是不是太高端了?

HTML文档下载 WORD文档下载 PDF文档下载
可视化是最热的云应用领域之一。云集无数大牛,小专和创新企业代表。本篇来自Pat Hanrahan和Jeffrey Heer两位可视化“大师”所率领的斯坦福可视化组的一篇论文,重点分享了图像的主题色提取算法。

浙江大学CAD&CG国家重点实验室可视化与可视分析小组特别将论文进行了整理,以下为文章摘要。

斯坦福可视化组非常有必要介绍一下,领头的两个大牛一个是Pat Hanrahan教授,横跨科学可视化信息可视化两个领域,即便不知道这个名字那今年红得发紫的数据可视化上市公司Tableau应该都是知道的,他就是联合创始人,Tableau原生于他的Polaris系统;另一个Jeffrey Heer信息可视化人机交互领域近几年的当红炸子鸡,论文兼顾创新性和实用性,惊才绝艳。

回到正题,这篇文章解决了图像的主题色提取的问题,属于颜色建模这个topic。论文的一作同一年在Eurovis、CHI和SIGGRAPH上都发表了颜色建模的文章(SIGGRAPH的论文现在处于conditionally accepted状态),Eurovis和CHI都是最佳论文之一,真可谓厚积厚发。

这次真的是回到正题,回到这篇论文。一般的主题色提取方法有k-means和fuzzy c-means的按像素颜色值聚类的方法和颜色直方图取峰值的方法。其实论文的思路并不复杂,对图像定义一系列的特征,套用多元线性回归模型LASSO,在众包平台亚马逊土耳其机器人上建立任务收集训练集,LASSO通过训练集的学习增加关键特征的权重减小冗余特征的影响,从而生成一个比较好的主题色提取模型。下面分别说明特征定义、回归模型和user study三个部分。

其实主题色这个概念真的是公说公有理,婆说婆有理,评判一张图像的主题色是哪些,一千个看官不可能得到同一个答案,但是他们的答案大多近似。因此本文以用户定义的主题色作为标准答案也算合理。对于每张图像,文章以k=40用k-means方法计算图像的40个颜色作为基准色。用户只能从这40个颜色中挑选5个颜色作为图像的主题色。

文章定义了以下6个方面的特征,提取计算出79个特征变量,这里作简单说明:

视觉显著性  saliency:文章以用户对图像的眼动跟踪数据取定义图像中每个像素的视觉显著性,定义某一套主题色在图像中的视觉显著性为所有主题色所在像素的视觉显著性的叠加,同时定义某颜色视觉显著性密度为叠加值对像素个数的比值。

覆盖误差  coverage error:覆盖误差定义为用主题色去覆盖整张图像所得到的图像和原图像的颜色误差,分硬误差和软误差两种,区别在于一个像素点是由单一主题色覆盖还是由多个主题色的线性叠加覆盖。相似地,还定义了像素在亮度、饱和度、红绿、蓝黄等颜色通道的覆盖误差,以及对图像进行分割后按区域计算的覆盖误差。

颜色多样性  color diversity:颜色多样性考虑颜色之间的平均、最大、最小距离。

颜色集中性  color impurity:颜色集中性考虑与主题色相近的前5%的像素之间的距离。

颜色可命名性  color nameability与颜色统计  color statistics:这两个听起来比较直观,实际上非常模糊,文中也没有详细介绍。

定义好这79个特征之后,就要轮到LASSO上场了。LASSO(least absolute shrinkage selection operator)是一种多元线性回归方法,在传统的多元线性回归式子之余,通过一个约束条件达到特征选择的目的(下图公式摘自于LASSO原文)。其中x是特征,β是特征的权重,如果约束t是一个无穷大的值,那么就跟一般多元线性回归没有差别,但是t逐渐减小的时候特征权重就收到挤压(shrinkage),从而达到去除冗余特征的选择(selection)作用。通过LASSO方法对训练集的学习,所定义的79个特征就被减少到非常有限个。


移步这里有对这个方法的思想和发展比较详细的介绍。

User study就是作者在这个众包平台上设置了40张图像,每个用户接受10张图像的任务,在基准色中找到图像的5个主题色。另外作为对比,作者又找了11个艺术系的学生执行相同的任务。

下图是一张图像的user study结果统计,可以看出用户所选的主题色和艺术系同学的还是差不多的,但是和自动方法选出来的颜色相差较大。


对于建模得到的主题色,作者又以user study去鉴定是否和图像真实主题相近,由用户以评分的方式判断,对给出主题给出1到5分,5分是非常接近而1分是非常不接近。从下图可以看出建模得到颜色和用户组的打分都广受好评(左上角标出平均分),而其它两种方法则稍显劣势。


最后来看下对新图像的建模情况对比:可以看出文章方法能够提取出一些像素覆盖度不是很高,但是在视觉上比较显著的区域,如蝴蝶的白色以及海上的红色太阳等等。


最后文章给出了这79个特征的权重,似乎就可以用于类似于基于主题色的图像检索一类的应用。但实际上,由于视觉显著性是通过用户的眼动跟踪数据得到的,所以无法对没有视觉显著性的图像进行建模,就大大降低了可用性。如果对这个特征进行改进的话,就能让这个方法得到更广泛的应用。

几点补充:

1.之前视物致知已经报道过这篇文章,本博文则是从学术角度重新审视这篇文章。

2.Eurovis的文章针对数据实体本身的颜色语义和设计图元所对应颜色的一致性的问题,比如是水果的数据,那蓝莓就用蓝色,香蕉就用黄色等,感兴趣的看官可以看原论文。(文/浙江大学可视化分析,编辑/郭雪梅)

原文链接:乱色渐欲迷人眼,学习才能得主题

中科院:常温下的液态金属电路3D打印机 细数IE10里的HTML5特性 使用Twitter Bootstrap的五大理由 Twitter重塑API战略 开启V1.1时代 Sony开放SmartWatch 支持第三方定制固件 甩啦甩啦!Apptopia帮开发者在线买卖App所有权 聚焦全球移动市场:印度,这块肥肉不太肥 Google决定明年一月份停止对Chrome Frame支持与更新 你应该关注的几个Eclipse超酷插件 华为王丰:FusionCube打造下一代融合一体机 上海云人联合创始人吴朱华:中国人也能做出最好的实时数据库产品 Facebook RSS替代Google Reader?或因其社交属性失败 让这么多国外开发者如此兴奋,iOS 7到底好在哪里? Web开发中那些不招人“待见”的功能 最好的超级计算机在中国 为开发者提供的10款Web应用程序 5000万次下载:HandyGames如何征服Google Play? 红帽大战Ubuntu:750小时免费企业版红帽套餐即将登陆AWS EMC Sanjay Mirchandani:92%虚拟化,使更少IT人拥有更大交付能力 从NSA携谷歌、微软等9家名企监控用户行为看数据安全 【专访间】新科兰德创始人左磊:我们的“卖点”是“数据弹药” 甲骨文公司宣布推出最新Java EE 7 10款最佳CSS/jQuery开源图片说明 创业者应避免对投资者说的五句话 直接拿来用!最火的iOS开源项目(二) 西部数据Pat Wilkison:云计算市场是创新热点 猎豹浏览器发布手机版:PM谈开发理念 成为伟大开发者的“九步曲” 使用GPU构建更便宜的Google神经网络 Facebook与Yahoo!的“火花”:系统间实时数据流管理工具 视金钱如粪土?Yahoo!又要买了,梅姐的算盘是这样打的 请问,NT4.0下怎样配置网关和路由? 请问如何知道一个弹出菜单是否以经关闭 升级后问题,奇怪,请指教? 什么是存储过程? 大侠们帮忙看看,简单问题 急:因出差,明天(12.20,第二期)的“微软.net高级程序员培训”转让(包括资料)!今晚6:00前联系,13910321169. 请问怎样才能在Access中选取指定行数的记录如第5-10条. 关于XML命名空间的疑问?请教各位高手帮帮忙!谢谢! 请问哪里有《情深深雨蒙蒙》下载??? ******斑竹快出来啊 看看我这个贴子啊!!!!!!!!!!!!!! 如何读取寄存器中的数据? 请问在数据库中如何操作日期型字段: Help,如何把本机加入主域服务器? 急:因出差,明天(12.20,第二期)的“微软.net高级程序员培训”转让(包括资料)!今晚6:00前联系,13910321169 怎么用vbscript定义一个函数阿。我想作一个下拉框的onchange事件,请指教 如何确定adoquery的数据是否被修改了? 有关程序调试的问题 全都转行卖大白菜。 对于各个.h和.cpp文件分工如何,我的各种函数各个变量到底该放在哪个文件中的哪个class中? 如何停止asp调用的dll文件,我调用my_dll.dll文件一次之后就不能对my_dll.dll更改了,为什么?怎样解决? 急:因出差,明天(12.20,第二期)的“微软.net高级程序员培训”转让(包括资料)!今晚6:00前联系,13910321169.. 关于附件下载过程中权限控制的问题 如何编辑LILO文件? 糊涂啦。。。看看汉字库(hzk24)吧? 请问在listbox控件中如何设置特定行的颜色? 问一个关于ODBC的问题 急:因出差,明天(12.20,第二期)的“微软.net高级程序员培训”转让(包括资料)!今晚6:00前联系,13910321169.... 各位大侠,哪有设计专家系统的c语言的源代码阿(全分奉送)? 请问:如何处理MFC提供的CList类模板产生的异常问题呢? 散分!快抢! 调用对象 阿呆,只有你能救我了~~!!!!! 100大洋~~!!! Excel报表的汇总 请问VC有像Delphi或者C++Builder那样的作报表的工具吗? delphi怎么调用CHM文件啊? win98 登陆win nt Java远程调用的合法类型(legal types for Java RMI)都有哪些? 安装盘的制作问题 如何设置多个Timer? VFP的程序怎么才能运行在任何目录下?主程序应该怎么写? 这个问题很老套,但对于一个什么想成为一个优秀程序员的菜鸟来说,很重要,谢谢!进入........... @_@ 怎么灌水? 向资深灌水工请教! 难到这个问题没人回答吗?????http://www.csdn.net/Expert/topic/430/430088.shtm StringGrid中单元格合并问题? Delphi的TMainMenu和TPopupMenu没有Font属性,请问如何修改它们的字体? like 查询小问题 紧急求救:网管程序开发! 请问那理由chm格式的javascript的帮助可以下载啊? 这是为什么!---关于TQuery, Update, Sql 在WinCE中,怎样capture screen并存于bmp文件中? rtsp是什么协议? 将1~10这十个自然数分别填入图中的十个○内,使各条线段上四个○内数的和相等,每个三角形三个顶点上○内数的和也相等. 一个梯形,下底长14CM,高12CM,如果下底减少6CM,它就成为一个平行四边形.梯形的面积是多少? 153与145变速器怎样区分 一个梯形的下底是上底长度的3倍,将上底延长8厘米,则梯形变成平行四边形.梯形的上、下底各是多少厘米? 根号5在4*4方格上怎么画急 从一个边数为九的的多边形的一个顶点出发,连接这点与其余各顶点,将该多条边形分割成多少个三角形? 为什么水在沸腾的实验中,发现上升的气泡大小不一样:开始时,气泡上升时逐渐变小;沸腾后气泡上升时逐渐变大,这是为什么? 10*10的方格中怎样画根号三不用尺子等辅助工具:calli159 怎么画根号2与1垂直 插入一个图片 把一个长是12cm、宽9cm的长方形,拉成一个高为10cm的平行四边形,这个平行四边形的面积是多少 一个梯形的上底是下底的3倍,如果将梯形的下底延长8厘米,那么这个梯形变成了平行四边形.这个梯形的上、下底各是几厘米 要算式 利用4*4的方格画出边长为根号5的正方形只要算式,越快越好 把一个长12cm,宽6cm的长方形,拉成一个高是10cm的平行四边形,这个平行四边形的面积是( )cm2?今天就要啊 一个梯形的上底是下底长度的3倍,如果将梯形的下底延长8厘米,那么这个梯形就成了平行四边形.上下底分别多少厘米 两个同样的梯形上底长23cm下底长27cm高20cm如果把这两个梯形分拼成一个平行四边形平行四边形的面积是多少是练习册上的, 把一个长15cm,宽8cm的长方形,拉成一个高是12cm的平行四边形,这个平行四边形的面积是多少?还有三角形的面积一定,底和高成正比例这是对还是错? 梯形下底是上底的3倍,如果把上底延长8厘米就成了一个平行四边形,梯形的上底和下底是多少厘米 一个平行四边形的一条边是27cm,高是15cm,另一条边是18cm,另一条边上的高是多少? 把一个长12cm,宽8cm的长方形,拉成高为9cm的平行四边形,这个平行四边形的面积是?把一个长12cm,宽8cm的长方形,拉成一个高为9cm的平行四边形,这个平行四边形的面积是多少 主要过程 数学题(等腰三角形的周长为16,底边上的高为4,求等腰三角形的面积) 一个圆周上有9个点,以这9个点为顶点作3个三角形.当这3个三角形无公共顶点且边互不相交时,我们把它称为一种构图,满足这样条件的构图共有______种 东风天锦洒水车电路总开关在什么位置 数学题解答器等腰三角形底边上的高为8周长为32,则三角形的面积为? 平面α外的一侧有一个三角形,三个顶点到α的距离分别是7,9,13.则这个三角形的重心到α的距离为? △ABC内一点P,过P作三边的平行线,所得的小三角形面积分别为4,9,49那么△ABC面积是多少? 等腰三角形底边上的高为4厘米,周长为16厘米,求三角形的面积 正八边形的中心和顶点共9个点,以其中3个点为顶点的三角形有多少个 如图,过△ABC内一点分别做三边的平行线,形成三个小三角形①·②·③,如果这三个小三角形面积分别为4·9 在家自己用钢盆电解水,却发现有新物质生成,图中气泡为氢气,那黄色的就是不明物质,我用的水槽在家自己用钢盆电解水,却发现有新物质生成,图中气泡为氢气,那黄色的就是不明物质,我用的 平面上有9个点,以这些点为顶点,能组成多少个三角形 过△ABC内一点分别作三边的平行线形成三个小三角形①②③,如果这三个小三角形面积分别为4、9、16,求△ABC 一个梯形,上底长8厘米,如果下底缩短6厘米,则变成一个平行四边形,面积缩小了15平方厘米,梯形面积是C一个梯形,上底长8厘米,如果下底缩短6厘米,则变成一个平行四边形,面积缩小了15平方厘米, 平行四边形的周长是78cm,以CD为底时,它的高是18cm;AC是24cm,求它的面积. 一辆洒水车,洒水时每分钟行150米洒水宽度是6米.洒水车行驶23分钟,能给多大的地面洒上水 数学题:小红要建一个面积为40平方厘米的三角形纸片,它的一边是10cm,那么它这边上的高是【】? 一个平行四边形的周长是78CM(如图),以CD为底时,它的高是18CM,BC是24CM,求它的面积. 一辆洒水车,每分钟行驶50米,洒水的宽度是8米.洒水车行驶3分钟,能给多大的地面洒上水? 一个三角形的面积是100平方厘米,已知高是10厘米,则它的底是多少厘米? 一个平行四边形a.b.c.d周长是78cm,c.d作底边,高是18cm,bc长24cm,求梯形的面积? 一辆洒水车,每分钟行驶48米,洒水的宽度是8米,洒水车每小时能给多大的地面洒上水? 问一道数学题,等腰三角形斜边长为8厘米,因此三角形的面积是多少平方厘米? 一个平行四边形的周长是78CM,以CD为底时,它高是18CM,BC是24CM,求它的面积. 一辆洒水车每小时行驶30千米,洒水的宽度是6米,洒水车行驶了23分钟,能给多大的地面洒水上水? 在网格中画出面积是根号10的正方形根号10不是周长 一个平行四边形的周长是78cm(如图),以CD做底时,它的高是18cm,又知BC是4cm,求这个梯形的面积 用四根木条钉成一个底是12cm,高是6cm的平行四边形,被拉成一个长方形后,面积增加36平方厘米,这个平行四 正方形网格中的每个正方形的边长都是1,以格点为顶点,画出一个三角形,使三边长分别是根号13,根号34,根号45. 一个多边形从一个顶点引出的对角线将它分成9个三角形,它是几边形? 用四根木条钉成一个底是18cm,高是12cm的平行四边形,如果把它拉成一个长方形后,面积增加了45平方千米,那么四根木条一共长多少厘米 1.三角形的中线是指连接三角形的一个顶点与它的对边的____的线段2.三角形的角平分线是指三角形的一个内角的____ __于对边交点的线段3.三角形的分类:①按___分,可分为______ _______ _______②按__ 将一个装满水静止瓶子向左推动,问水中气泡运动状况水具有惯性,仍保持原来静止的状态,但是既然瓶子已经运动,水怎么可能还会有静止的状态呢?高分悬赏 求解 一个梯形的下底是上底的二分之三倍,下底为18cm,高为10cm,这个梯形的面积 从三角形的一个顶点到它的对边作一条( ),( )之间的线段叫做三角形的高.( )叫做三角形的底. 正方形网格中画一个等腰三角形DEF,是它的腰长为根号5,且他的顶点都在都在格点上,一共可以画几个三角形..注意,彼此不全等 一个梯形的下底是上底的二分之三倍,下底为18cm,高为10cm,这个梯形的面积? 一辆运油的油罐车,油上方有气泡,当气泡突然想后运动时,此时车可能处于什么状态,为什么!要正确的答案, 水平放置的小瓶内装有水,中有气泡当瓶子突然从静止向右加速 则小气泡将如何运动 从九边形一顶点出发做对角线,可做几条对角线?,分成了几个三角形? 三角形的一个顶点到()的()线段叫做三角形的高 在上底18cm,下底30cm,高12cm的梯形中剪下一个最大的平行四边形,剩下的面积是多少平方厘米?列式计算 把一个八变形的一个顶点与其余各定点连接,可把这个八边形分割成几个三角形急!
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn