说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

可视化:图像的主题色提取算法,是不是太高端了?

HTML文档下载 WORD文档下载 PDF文档下载
可视化是最热的云应用领域之一。云集无数大牛,小专和创新企业代表。本篇来自Pat Hanrahan和Jeffrey Heer两位可视化“大师”所率领的斯坦福可视化组的一篇论文,重点分享了图像的主题色提取算法。

浙江大学CAD&CG国家重点实验室可视化与可视分析小组特别将论文进行了整理,以下为文章摘要。

斯坦福可视化组非常有必要介绍一下,领头的两个大牛一个是Pat Hanrahan教授,横跨科学可视化信息可视化两个领域,即便不知道这个名字那今年红得发紫的数据可视化上市公司Tableau应该都是知道的,他就是联合创始人,Tableau原生于他的Polaris系统;另一个Jeffrey Heer信息可视化人机交互领域近几年的当红炸子鸡,论文兼顾创新性和实用性,惊才绝艳。

回到正题,这篇文章解决了图像的主题色提取的问题,属于颜色建模这个topic。论文的一作同一年在Eurovis、CHI和SIGGRAPH上都发表了颜色建模的文章(SIGGRAPH的论文现在处于conditionally accepted状态),Eurovis和CHI都是最佳论文之一,真可谓厚积厚发。

这次真的是回到正题,回到这篇论文。一般的主题色提取方法有k-means和fuzzy c-means的按像素颜色值聚类的方法和颜色直方图取峰值的方法。其实论文的思路并不复杂,对图像定义一系列的特征,套用多元线性回归模型LASSO,在众包平台亚马逊土耳其机器人上建立任务收集训练集,LASSO通过训练集的学习增加关键特征的权重减小冗余特征的影响,从而生成一个比较好的主题色提取模型。下面分别说明特征定义、回归模型和user study三个部分。

其实主题色这个概念真的是公说公有理,婆说婆有理,评判一张图像的主题色是哪些,一千个看官不可能得到同一个答案,但是他们的答案大多近似。因此本文以用户定义的主题色作为标准答案也算合理。对于每张图像,文章以k=40用k-means方法计算图像的40个颜色作为基准色。用户只能从这40个颜色中挑选5个颜色作为图像的主题色。

文章定义了以下6个方面的特征,提取计算出79个特征变量,这里作简单说明:

视觉显著性  saliency:文章以用户对图像的眼动跟踪数据取定义图像中每个像素的视觉显著性,定义某一套主题色在图像中的视觉显著性为所有主题色所在像素的视觉显著性的叠加,同时定义某颜色视觉显著性密度为叠加值对像素个数的比值。

覆盖误差  coverage error:覆盖误差定义为用主题色去覆盖整张图像所得到的图像和原图像的颜色误差,分硬误差和软误差两种,区别在于一个像素点是由单一主题色覆盖还是由多个主题色的线性叠加覆盖。相似地,还定义了像素在亮度、饱和度、红绿、蓝黄等颜色通道的覆盖误差,以及对图像进行分割后按区域计算的覆盖误差。

颜色多样性  color diversity:颜色多样性考虑颜色之间的平均、最大、最小距离。

颜色集中性  color impurity:颜色集中性考虑与主题色相近的前5%的像素之间的距离。

颜色可命名性  color nameability与颜色统计  color statistics:这两个听起来比较直观,实际上非常模糊,文中也没有详细介绍。

定义好这79个特征之后,就要轮到LASSO上场了。LASSO(least absolute shrinkage selection operator)是一种多元线性回归方法,在传统的多元线性回归式子之余,通过一个约束条件达到特征选择的目的(下图公式摘自于LASSO原文)。其中x是特征,β是特征的权重,如果约束t是一个无穷大的值,那么就跟一般多元线性回归没有差别,但是t逐渐减小的时候特征权重就收到挤压(shrinkage),从而达到去除冗余特征的选择(selection)作用。通过LASSO方法对训练集的学习,所定义的79个特征就被减少到非常有限个。


移步这里有对这个方法的思想和发展比较详细的介绍。

User study就是作者在这个众包平台上设置了40张图像,每个用户接受10张图像的任务,在基准色中找到图像的5个主题色。另外作为对比,作者又找了11个艺术系的学生执行相同的任务。

下图是一张图像的user study结果统计,可以看出用户所选的主题色和艺术系同学的还是差不多的,但是和自动方法选出来的颜色相差较大。


对于建模得到的主题色,作者又以user study去鉴定是否和图像真实主题相近,由用户以评分的方式判断,对给出主题给出1到5分,5分是非常接近而1分是非常不接近。从下图可以看出建模得到颜色和用户组的打分都广受好评(左上角标出平均分),而其它两种方法则稍显劣势。


最后来看下对新图像的建模情况对比:可以看出文章方法能够提取出一些像素覆盖度不是很高,但是在视觉上比较显著的区域,如蝴蝶的白色以及海上的红色太阳等等。


最后文章给出了这79个特征的权重,似乎就可以用于类似于基于主题色的图像检索一类的应用。但实际上,由于视觉显著性是通过用户的眼动跟踪数据得到的,所以无法对没有视觉显著性的图像进行建模,就大大降低了可用性。如果对这个特征进行改进的话,就能让这个方法得到更广泛的应用。

几点补充:

1.之前视物致知已经报道过这篇文章,本博文则是从学术角度重新审视这篇文章。

2.Eurovis的文章针对数据实体本身的颜色语义和设计图元所对应颜色的一致性的问题,比如是水果的数据,那蓝莓就用蓝色,香蕉就用黄色等,感兴趣的看官可以看原论文。(文/浙江大学可视化分析,编辑/郭雪梅)

原文链接:乱色渐欲迷人眼,学习才能得主题

用VB编写键盘拦截程序 用VB函数轻松访问系统注册表 用VB设计一个定时闹钟程序 用VB实现拖放功能 在VB中启动控制面板 在VB中异步执行程序 在Visual Basic中终止Windows 95 在关机或Logff前信息的拦截-VB资料 VB怎样捕捉窗体的鼠标? VB怎样存取注册表信息 VB怎样改变双击鼠标的时间间隔? VB怎样关闭一个正在运行的程序 VB怎样限制鼠标移动 ANI文件格式 -VB资料 AVI文件格式-VB资料 DBF文件转为MDB文件的方法 -VB资料 FLIC动画文件的播放程序设计-VB资料 MS Office 开发工具VBA TextBox 中英文输入方法切换-VB资料 TXT文件的读取-VB资料 VB 如何将dbgrid印出来 VB5.0调用Office97技巧 VB5如何把帮助文件加到设计的程序内? VB编程步步高-打印篇(二) VB编程的好帮手资源文件 VB的OPEN对话框控件图示功能扩充 VB通用数据表格输出程序的设计 VB网格中输入数据 VB应用程序中打印条形码的两种方法 VB与Windows资源管理器互拷文件 VB中DOS文件名与长文件名的转换 求救高手,如何使双硬盘同步写 请问怎样在用户点击(s)后将用户点击的软件自动安装到用户(c)的机器上 请问如何用网站提供的搜索引擎,知道查找关键字,我用的是WebBrowser1,100分呀 tomacat的配置问题?急 学过严蔚敏的〈数据结构(C语言版)〉的请进! 开发过nokia上运行程序的朋友,请进来,本人遇到一个非常麻烦的问题,欢迎各位赐教. 如何从字符串中提取单词? 谁知道那里有longhorn下载??? 100分请教实现播放列表的思路? 有关图形化公交车线路的问题!! 关于网站软件工程的问题 我的sqlserver 2000 在安装的时竟然说什么不支持??? 免费ASP空间申请 有关用Firework作网页模板的问题-急! 大虾请指点~~!!~~ 如何固定游戏中的分辨率? 今天见到了蓝心MM,估计她是CSDN有史以来最PL的MM。 也来贴一篇!!!送给大学毕业几年的哥们!(转) 急:关于weblogic的控制台 ? 请问各位:哪里有好的javascript的教程? 小问题 请问在哪里可以找到监控局域网的网络流量的工具,不够再加? 免费ASP空间申请 白羊座的进来领分,水园里白羊座好像很少。。。。 ie无法编译jsp? 300分!求《程序员增值合订本》上册中的"完全掌握TCppWebBrowser控件"内容! Google搜索从入门到精通(散分) 由于工作需要,将要转到Linux平台,请问那位知道有什么好的SQL Client在Linux下? 由于工作需要,将要转到Linux平台,请问那位知道有什么好的SQL Client在Linux下? 你是怎么过的?CSDN无高人?:( 找asp.net入门经典!一定是C#写的!!!在线等! 菜鸟的关于DataGrid的问题 资源管理器中选中的多个文件怎样传给我的程序 什么是“三层数据库”和“嵌入式软件系统”? 什么是“三层数据库”和“嵌入式软件系统”? 类似"hello world"的简单问题,求教 免费ASP空间申请,支持ACCESS 事件的终止? 数据追加求教:谢谢您!!!! 请问InputBox在framework 类库里面有没有代替的阿? 为什么我写到文件中的字符总长度比我实际应该要写的多? 如何使dbctrlgrid多选,并使鼠标右击相当于鼠标左击 关于静态IP地址,急!!! 如何将tomcat做为windows的一项服务启动? 请问各位大虾,哪有paradox(INPRISE 公司产品)数据库(*.DB)的资料? 非法操作的问题 请问各位大虾,哪有paradox(INPRISE 公司产品)数据库(*.DB)的资料? 各位大虾救命啊!请问怎么在一个DIALOG中使用RICHEDITVIEW,谢谢大家了 ACCESS的删除问题 我有“处女”情结,可.............. 发光强度(光度)的含义是什么? 求求你了,回答我吧 修(取下)门把手要注意哪些问题? 市场上什么样的纯牛奶最安全 Let me ___ it under water,put some medicine on it and put a bandage on it. 现有等质量的SO3与SO2气体,计算 1.SO3与SO2的物质的量之比为多少 2.SO3与SO2的分子数之比为多少 3.SO3与S现有等质量的SO3与SO2气体,计算1.SO3与SO2的物质的量之比为多少 2.SO3与SO2的分子数之比为多 请问b选项和d选项. 1+1=?, 聊天室 英文怎么说求求、各位哥哥姐姐. 高二生物D选项哪里错了 You should put some medicine on your cut.(变否定) 细菌耐药怎么办?别滥用抗生素 高二生物37的b选项为什么是错误的!无法理解T^T 3Q 已知2^a=3,2^b=6,2^c=9,求abc之间的关系. 世界上亮度最低的地方观赏星星最佳的地方,不受光污染,星星亮度最高 我要20篇400字的日记我想不出来这20篇400字的日记,所以想请你们帮帮忙 在▲ABC中,a:b:c=2:√6:(√3+1),求A、B、C. tired……need a nap 外国人会这样讲么,还是说have a nap 200字日记你今天发生的事拜托各位了 3Q i want to have 氧化镁和盐酸为什么不反应? 为什么顺式-Pt(NH3)2Cl2的水溶解度比反式大?请从配合物分子的结构本身说明. I want to have a gilefriend Why don't you have a afternoon nap? excel2010如何同时画折线柱形图 核内质子数为10的元素是什么 He used to have a nap.一般疑问句.为什么是Did he use to ……而不是did he used to ……?used 明明是形容词啊 门把手松了怎么修?我的卧室门的把手松了,关门时一拉就出来,很怕将来掉下来,开不了门,是不是螺丝松了,该怎么修呢补充:我的门把手不是球型的,是那种普通长把手,我看见把手根部有颗小 当SO2和SO3两种物质中硫元素的质量比是2:3时,这两种物质的质量比是____;氧元素的质量比是______可以吧过程给详细点吗 我理解的艺术是能给人带来美的享受的, 向氯化铝溶液中滴加氨水,为什么一开始就有沉淀了?铝离子不是要结合三个氢氧根才产生沉淀么? 硫元素的核内质子数是多少 懋字 怎么表达美的意思 玻璃地弹簧门拉手的高度怎么确定,有没有规范要求? 当SO2于SO3两种物质中的硫元素的质量比是2比3时,这两种物质的质量比是多少,氧元素的质量比是多少,要过程 some kids play soccer ————every weekendclean if live there open world park and turn hour come hungry选一个 有谁知道这些英文缩写是什么意思?CYLPCDRBTEA这些都是计量单位的缩写 元素与元素之间的核内质子数相同吗 求求你啊 这个结构怎样在计算机上画出一样的? 改变核内质子数可以使不同的元素相互转化 这句话对吗?为什么改变核外电子数可使原子与离子相互转化 这句话对吗?(原子和离子的转化不是改变的是最外层电子数吗?) 求求你,怎做 问一些英语缩写的意思1.IT 2.MTV 3.WTO 4.VCD 5.CEO 塑料袋子的条数乘以一条袋子的克重除以一千等于什么? 求求你了! 哪里有可以提高英语的聊天室,最好是国外的 英语聊天室我的英语不是很好,但是我真的很喜欢,想跟一些懂英语的人用英文聊天,想让大家帮我找一些好点的,适合我的聊天室, 求求你,告诉我吧 这段英文简写谁看得懂啊ur age is same like ma younger bro.my bro is sixteen.he is grt 11.wut std r u in? 前面几行还行,但最后一行就不行了,看不懂啊 化学与化工的前景如何?化学工程有什么可以研究的? 告诉我吧,求求你啦 镁和盐酸反应快还是氧化镁和盐酸反应快 新赛欧怎么样? 与电源正极相连的试管内产生的气体是氧气 这句话哪里错了? 如何修理防盗门的门把手?2000年安装的沈阳摩云牌防盗门,门把手螺丝松了,用着不方便,在里面没有一个小垫板就没法固定门把手,很别手,不知道哪有安装门把手的制式小垫板,或者谁知道哪有 雪佛兰新赛欧这个车怎么样? 英语翻译八年级下册英语第一单元句子翻译中文 Camfrog 进不了外国的聊天室了,只能进中国的了.现在怎么只能进中国的了,进不了欧洲了吗.上面显示只有一个CHINA了. 如题 李娜打入总决赛排名进Top3 创亚洲河南济源一路段7公里6个“收费站”专刘云山:教育实践活动整改工作要准、狠白岩松惋惜恒大未能锁定胜局:首尔死刑亚冠决赛首回合恒大2-2首尔 穆里奇中国科学家成功研发人感染H7N9禽流宗庆后语出惊人:中国不能再造房子了李克强在中南海紫光阁会见东盟十国经贸捅死医生的连恩青烦躁时砸东西打母亲 亚冠决赛首回合恒大2-2首尔 穆里奇美国“窃听门”持续发酵 欧洲各国一致德国品牌专家:中国品牌升级要品质更要浙江省委书记夏宝龙:希望天下浙商争做亚洲食学国际论坛登陆绍兴 中国大厨展杭州女装与国际女装相遇 传统丝绸碰撞淘宝店家支付宝“被贷款” 阿里服务热伊朗处死16名“恐怖分子”墨西哥革命制度党主席:墨中两国双边关阿富汗军事基地发生“内斗”致一死一伤贺一诚:浙商又迎新一轮挑战、改革和创阿里巴巴马云:金融业需要外行人的“搅长春一大学生向女同学求爱 近千人凑成内马尔伤势已基本无碍 巴西或弃最差9媒体助力 讲好丝路新故事《光明日报》拉萨印点受到西藏各界欢迎硕博生的婚恋窘境如何破解?丝一般的情谊和坚韧百位共产党人百篇小传如何让医学生“下得去、用得上、留得住高新技术亮相科展会成都儿童跳蚤市场:自小节约 点滴犹贵摸清种质资源“家底”迫在眉睫焦裕禄在洛阳事迹首次向公众展现杰拉德怀抱佳人海边度假 娇妻泳装性感一汽乘用车“悦驾盛典”本周末起航私人订制少女形体训练营花絮二围墙上画画 弃管小区变萌了珠宝店成巴西人学中文“实习基地”不要带着孩子的依赖心理在成人的世界中污水管网跨海连68幅西藏珍宝“唐卡”集中展出
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘