论文部分内容阅读
摘要 人类历史上，图画先于文字出现，但文字出现后，图画常常与文字一起，起到信息表达和认知世界的功用。而随着生活节奏的加快，超文本的普及，包含了大量的图像和文字的图话文也掀起潮流。对此，当代新传媒语境下的图像与文字关系也需要重新加以审视。本文试图利用系统功能语法理论从其相互关系和逻辑——语义关系视域对此作出阐释。
关键词：图像——文字关系 逻辑——语义关系 新传媒
中图分类号：G254 文献标识码：A
一 前言
随着生活节奏的加快，各种新传媒的涌现，尤其是超文本的普及，以及包含了大量图像和文字的图话文也掀起了一波新潮流，从而不断促发着学界关于新传媒时代语境下的图像和文字关系的再思考。
国内外学者对图文关系进行过各个角度地探讨，比如Bathes(2005)将报纸和其它所有使用照片的媒体视为“一种复杂而同时存在的讯息组合体，而照片是中心，周围被文本、标题、说明文字、排版方式、报刊的名称包围”。Bathes认为图文关系有两种形式，一是照片作为插图，照片增加文字的可信度；另一是用文字将意识形态加于照片，照片之外的讯息都会影响读者诠释照片。同时他认为文字的功能主要有两种：不平等关系，又分为“锚定”关系(anchorage)即文字支持图像（如新闻摄影）和广告或图像支持文字（illustration）；平等关系即“传递”(relay)关系，即言语和图像处于一种互补接替的关系之中，如幽默性连环画。
Martinec&Salway (2005)以Halliday系统功能语言学关于小句逻辑语义关系和地位，及Bathes的图文理论为基础，详细地探讨了新旧媒体中的图文二者之间的关系。Len(2006)对二者关系作了进一步详细的阐述。
国内，叶起昌（2005）就传统符号学对图文关系在进行一番全面细致的总结后，指出了后印刷时代话语中图像与文字的关系样式——超媒体和互动电视网络系统两种形式：其中前者指图像起着超文本链接的作用，后者指用图像代替文本直接交流，如网络视频聊天、网络会议及网络会诊等。本文认为上述这两者如其说是图文关系，不如说是图像在超文本情况下的功能。曾蕾和梁红艳（2007）认为多语式(multimodality)表现超链接及其内容通过文字接点下划线、图像、动态文字、剪辑等网站首页体现超链接，文字与所链接的内容之间是投射关系。
本文主要结合系统功能语言学中关于小句的逻辑——语义关系和Bathes(1961—1964)关于图文之间地位的理论，结合实例来探讨当代话语中图像与文字的关系，并认为图画和其他视觉成分与语言一样也具有符号的语法功能。
二 话语中的图文关系分析
从社会符号学角度来看，任何符号体系，不管是图像还是文字都必然具备三大元功能：必须具备概念功能，即符号体系要表征经验世界的方方面面；必须具备人际功能，即体现符号生产者、被表现的客体以及符号接收者三者之间的社会关系；必须具备语篇功能，即任何符号体系都应该有形成与外部语境相关联的内在连贯性语篇。
当考察图文关系时，图中既可出现零星的文字，再与另一语篇构成一个更大的系统；或者是单纯的文与图构成一个语篇。因此需区别对待：当一个完整的图像与一个完整的语篇相联，且其中一方并不修饰另一方，并不共同构成一个更大的系统，各自有各自的过程类型，二者是并列关系；如果两者平等但其中一方修饰另一方，则是互补关系，二者共同构成一个更大的系统，各自担当一个过程类型中的成分。当一个图像与一个语篇的部分相连，但如果图不是与全文相关，它们之间就是不平等关系。
Martinec&Salway (2005)认为，图文之间关系从地位上来说，可以分成平等关系和不平等关系两种类型；从逻辑语义关系上来说，可以分为扩展和投射两种类型，其中扩展又分为详述、延伸、增强；投射又分为报道、思想。其中又有一些细分。
平等关系相当于Bathes的传递关系，二者是平等的，因为二者都是完整且各自有独立的过程。而这种平等关系又可分为图像和文字相互独立和图像和文字相互依赖两种关系。而从逻辑—语义关系来说，平等关系的图像与文字又可分为：
详述(exposition)关系，这又可分为阐释(exposition)关系和例证（exemplification）关系。阐释关系指两者是同义词关系，如在一些地图中，阴影部分表示一个物种分布，二者是图像和文字相互独立的并列关系。例证关系又可分为文字大于图像或图像大于文字两种情况，在文字大于图像时，两者是上下义关系，即语篇是上义词，而图像是下义词关系，图像作为语篇的例子；而图像大于文字，图像中的某些元素是上义词与文字中的下义词相呼应。图像与文字延伸（extension）关系，则二者都增加了新的信息。如流程解释了发酵的过程。
图像与文字加强（enhancement）关系，则一方是作状语修饰另一方，必须与其中的意义相关。如在生物教科书中，关于一个生物的结构说明，文字增加说明，解释某结构的用途。图像与文字话语（locution）的并列关系不成立，因为二者不可能相等。图像与文字的思想(idea)关系，如一个圆圈表示一个范畴或想法，而圈中的文字则表示具体的内容，图表再次投射思想。
不平等关系又分为图像依附文字和文字依赖图像关系。从逻辑—语义关系来说，图像与文字是详述关系时，图像与语篇在关系身份过程中各自扮演相应的角色。当它们地位平等时，如图像作为被表征者(identified)，而文字则点明作为身份者(identifier)。图像大于文字的情况常出现在商标上，图像作为主体，文字进一步说明图像的意思。如一商标为关系属性过程（intensive attibutive relation），文字是载体，图像是属性。文字大于图像：如雀巢咖啡的广告“味道好极了！”图作为载体，文字作为属性。图像与文字延伸关系：如“I love you”，“love”情感过程用图形心来表示。图像与文字增强关系，判断图像和文字是否增强，主要从意义上从解释，如能否说明时间、地点、原因/目的。如在动画中，常出现表示地点的商店招牌。图像与文字话语关系：图中的人作为说话者（sayer），而说图中的说话符号作为说话过程，而文字作为被投射的说话内容（verbiage）。卡通、图像与文字思想关系：图中的人作为感觉者（senser），而对话泡是思考的内容，文字作为被投射的思想。在柜员机ATM中的屏幕上、地铁的购票上都有大量的这种模式。
Len(2005)在Martinec&Salway (2005)的基础上加以细化和补充，并区分了图文之间有矛盾关系、图文同形关系，即同现中的一种特殊形式，指图亦图亦文，在可口可乐的“可口可乐，畅爽开始”广告中找到了很有趣的例证：可口可乐瓶子喷出的液体巧妙地排成“北京2008”的图案，即是液体的图，也可读文。中国传统书法也讲字图同文。
三 话语中的图文关系辨析
如何区别图文地位关系，可以从下列来判断：
页面布置和格式、指示词。如在页面设计中，如左右代表旧新信息的区分，左边代表已知信息，已知信息也充当主题作用，右边代表新信息，上下是理想与现实之间的区别；中央/边缘位置分别排列主要信息和次要位置。在欧洲书写习惯中，左上方是主题、新信息和理想信息的交会处，是最重要的地区，如在网页中，此处常常是公司的商标所在之地和新闻标题、作者及图名称所在。突出度指各种成份在前景或背景中位置、大小、亮度级别等方面的差异, 从而引起读者不同程度的注意。如新闻的第一段常常在左上方并且用较粗的字体醒目标出，但在以图为主的网页中，图在网页中处于较上方并且比文字大。
词汇——语法的指代，指示语上如“此图”或“图X表明”表示文字是从属地位；当“看图X”，特别是它出现在文字后面常表示二者的平等地位。
语篇的语法特点：如时态，现在时态常表示文字附属于图，而过去时态常是图附属于文。过程类型较多的句子、数量是复数、带有完整句子的常表示两者关系并列；反之常表示二者是附属关系。在对图的描绘中，如新闻照片说明中，文字是附属于图的，因为物质过程或行为过程与现在进行时相结合，则表明文属于图像；反之如果文字中出现过去时，则表明图像附属于文字。
图像的情态指的是某种图画表达手段（色彩、再现的细节、深度、色调等）使用的程度，分为高、中、低三类。高感官情态指图像使用了高饱和度的色彩，中情态指色彩不太饱和，低情态指图像只是运用黑白色。
图像的取景：有一个中心或无中心，取景指用来切断或联接语篇的成份，取景手段的明用或暗用，表明这些成份是相连或不相连。
四 结论
通过以上的对比，Bathes认为图像与文字的“锚定”关系，其实是指文字与图像附属关系，“传递”关系指图文两者互相平等关系。但运用系统功能语言学小句之间的关系，可以对此做更详细的区分，并且能分清二者是平等关系还是不平等关系。因此可见，首先通过考察两者是否平等，再从逻辑语义关系去考察是否属于扩展或投射，能得到一个比较科学和清晰图文关系。
关于图文关系的分类，在多模态文本和超文本中有实际运用价值，如在对图片的搜索引擎中；在手势和演讲及电影中，动作和语言不同的模态之间也有实际作用，如电影中的字幕等；网页设计中，在网页中，常利用一些有下划线的关键字或一些图标进行超链接的投射，可以表达更多的思想，形成互文性和多线性阅读，如何安排好图像与文字的关系直接决定读者的识读。
对比《广州日报》、《南方都市报》和《新快报》的在线电子文本，《新快报》有导航，每页都有一个明确简单的标题内容；读者直接点击标题就能进入页面，这样方便读者多模态识读，甚至同一页的每一则新闻都分成不同的图块，有一个独立图标，读者可自由直接点击选择阅读；而《南方都市报》的导航仅标出页码，并没有给出该页内容，读者不能从中判断选择阅读；《广州日报》更加完善，既有标题导航，又有页码导航，但两者之间要转换。以版块为一级单位；每页为次级单位，每页中的各个内容为第三级单位。这样读者要经过三次投射链接，无形中加重了读者的阅读负担。并且也有语音阅读，利用声音模态方便有视力障碍或不识字的人阅读。
可见，利用图文关系可改进网页设计，提高读者的多媒体识读能力。在汶川大地震时期，各大报纸版块都是用黑白色，而没用彩色，从情态来说是低情态，显得严肃，传导出一种悲哀之情。在教育上，可以更好设计教科学，安排好如图表、插图等与文字的关系。
注：本文系广东商学院高校人文社会科学研究项目一部分成果。
参考文献：
[1] London: Edward Arnold. Beijing: Foreign Language Teaching and Research Press.
[2] Kress,Gunther & T,Van Leeuwen.Reading Images:the Grammar of Visual Design [M],London And Newyork:Routledge.1996.
[3] Martineca, R, & Salway, A.a System for Image-Text Relations in New and Old Media. Visual Communication,2005.
[4] 罗兰·巴特：《显义与晦义——批评文集之三》，百花文艺出版社，2005年。
[5] 叶起昌：《论后印刷时代话语中图像与文字的关系》，《北京交通大学学报》(社会科学版)，2005年第4期。
[6] 曾蕾、梁红艳：《学术话语中多模式投射“隐喻式”》，《西安外国语大学学报》，2007年第4期。
作者简介：李妙晴，女，1979—，广东乳源人，硕士，讲师，研究方向：话语分析，工作单位：广东商学院外国语学院。
关键词：图像——文字关系 逻辑——语义关系 新传媒
中图分类号：G254 文献标识码：A
一 前言
随着生活节奏的加快，各种新传媒的涌现，尤其是超文本的普及，以及包含了大量图像和文字的图话文也掀起了一波新潮流，从而不断促发着学界关于新传媒时代语境下的图像和文字关系的再思考。
国内外学者对图文关系进行过各个角度地探讨，比如Bathes(2005)将报纸和其它所有使用照片的媒体视为“一种复杂而同时存在的讯息组合体，而照片是中心，周围被文本、标题、说明文字、排版方式、报刊的名称包围”。Bathes认为图文关系有两种形式，一是照片作为插图，照片增加文字的可信度；另一是用文字将意识形态加于照片，照片之外的讯息都会影响读者诠释照片。同时他认为文字的功能主要有两种：不平等关系，又分为“锚定”关系(anchorage)即文字支持图像（如新闻摄影）和广告或图像支持文字（illustration）；平等关系即“传递”(relay)关系，即言语和图像处于一种互补接替的关系之中，如幽默性连环画。
Martinec&Salway (2005)以Halliday系统功能语言学关于小句逻辑语义关系和地位，及Bathes的图文理论为基础，详细地探讨了新旧媒体中的图文二者之间的关系。Len(2006)对二者关系作了进一步详细的阐述。
国内，叶起昌（2005）就传统符号学对图文关系在进行一番全面细致的总结后，指出了后印刷时代话语中图像与文字的关系样式——超媒体和互动电视网络系统两种形式：其中前者指图像起着超文本链接的作用，后者指用图像代替文本直接交流，如网络视频聊天、网络会议及网络会诊等。本文认为上述这两者如其说是图文关系，不如说是图像在超文本情况下的功能。曾蕾和梁红艳（2007）认为多语式(multimodality)表现超链接及其内容通过文字接点下划线、图像、动态文字、剪辑等网站首页体现超链接，文字与所链接的内容之间是投射关系。
本文主要结合系统功能语言学中关于小句的逻辑——语义关系和Bathes(1961—1964)关于图文之间地位的理论，结合实例来探讨当代话语中图像与文字的关系，并认为图画和其他视觉成分与语言一样也具有符号的语法功能。
二 话语中的图文关系分析
从社会符号学角度来看，任何符号体系，不管是图像还是文字都必然具备三大元功能：必须具备概念功能，即符号体系要表征经验世界的方方面面；必须具备人际功能，即体现符号生产者、被表现的客体以及符号接收者三者之间的社会关系；必须具备语篇功能，即任何符号体系都应该有形成与外部语境相关联的内在连贯性语篇。
当考察图文关系时，图中既可出现零星的文字，再与另一语篇构成一个更大的系统；或者是单纯的文与图构成一个语篇。因此需区别对待：当一个完整的图像与一个完整的语篇相联，且其中一方并不修饰另一方，并不共同构成一个更大的系统，各自有各自的过程类型，二者是并列关系；如果两者平等但其中一方修饰另一方，则是互补关系，二者共同构成一个更大的系统，各自担当一个过程类型中的成分。当一个图像与一个语篇的部分相连，但如果图不是与全文相关，它们之间就是不平等关系。
Martinec&Salway (2005)认为，图文之间关系从地位上来说，可以分成平等关系和不平等关系两种类型；从逻辑语义关系上来说，可以分为扩展和投射两种类型，其中扩展又分为详述、延伸、增强；投射又分为报道、思想。其中又有一些细分。
平等关系相当于Bathes的传递关系，二者是平等的，因为二者都是完整且各自有独立的过程。而这种平等关系又可分为图像和文字相互独立和图像和文字相互依赖两种关系。而从逻辑—语义关系来说，平等关系的图像与文字又可分为：
详述(exposition)关系，这又可分为阐释(exposition)关系和例证（exemplification）关系。阐释关系指两者是同义词关系，如在一些地图中，阴影部分表示一个物种分布，二者是图像和文字相互独立的并列关系。例证关系又可分为文字大于图像或图像大于文字两种情况，在文字大于图像时，两者是上下义关系，即语篇是上义词，而图像是下义词关系，图像作为语篇的例子；而图像大于文字，图像中的某些元素是上义词与文字中的下义词相呼应。图像与文字延伸（extension）关系，则二者都增加了新的信息。如流程解释了发酵的过程。
图像与文字加强（enhancement）关系，则一方是作状语修饰另一方，必须与其中的意义相关。如在生物教科书中，关于一个生物的结构说明，文字增加说明，解释某结构的用途。图像与文字话语（locution）的并列关系不成立，因为二者不可能相等。图像与文字的思想(idea)关系，如一个圆圈表示一个范畴或想法，而圈中的文字则表示具体的内容，图表再次投射思想。
不平等关系又分为图像依附文字和文字依赖图像关系。从逻辑—语义关系来说，图像与文字是详述关系时，图像与语篇在关系身份过程中各自扮演相应的角色。当它们地位平等时，如图像作为被表征者(identified)，而文字则点明作为身份者(identifier)。图像大于文字的情况常出现在商标上，图像作为主体，文字进一步说明图像的意思。如一商标为关系属性过程（intensive attibutive relation），文字是载体，图像是属性。文字大于图像：如雀巢咖啡的广告“味道好极了！”图作为载体，文字作为属性。图像与文字延伸关系：如“I love you”，“love”情感过程用图形心来表示。图像与文字增强关系，判断图像和文字是否增强，主要从意义上从解释，如能否说明时间、地点、原因/目的。如在动画中，常出现表示地点的商店招牌。图像与文字话语关系：图中的人作为说话者（sayer），而说图中的说话符号作为说话过程，而文字作为被投射的说话内容（verbiage）。卡通、图像与文字思想关系：图中的人作为感觉者（senser），而对话泡是思考的内容，文字作为被投射的思想。在柜员机ATM中的屏幕上、地铁的购票上都有大量的这种模式。
Len(2005)在Martinec&Salway (2005)的基础上加以细化和补充，并区分了图文之间有矛盾关系、图文同形关系，即同现中的一种特殊形式，指图亦图亦文，在可口可乐的“可口可乐，畅爽开始”广告中找到了很有趣的例证：可口可乐瓶子喷出的液体巧妙地排成“北京2008”的图案，即是液体的图，也可读文。中国传统书法也讲字图同文。
三 话语中的图文关系辨析
如何区别图文地位关系，可以从下列来判断：
页面布置和格式、指示词。如在页面设计中，如左右代表旧新信息的区分，左边代表已知信息，已知信息也充当主题作用，右边代表新信息，上下是理想与现实之间的区别；中央/边缘位置分别排列主要信息和次要位置。在欧洲书写习惯中，左上方是主题、新信息和理想信息的交会处，是最重要的地区，如在网页中，此处常常是公司的商标所在之地和新闻标题、作者及图名称所在。突出度指各种成份在前景或背景中位置、大小、亮度级别等方面的差异, 从而引起读者不同程度的注意。如新闻的第一段常常在左上方并且用较粗的字体醒目标出，但在以图为主的网页中，图在网页中处于较上方并且比文字大。
词汇——语法的指代，指示语上如“此图”或“图X表明”表示文字是从属地位；当“看图X”，特别是它出现在文字后面常表示二者的平等地位。
语篇的语法特点：如时态，现在时态常表示文字附属于图，而过去时态常是图附属于文。过程类型较多的句子、数量是复数、带有完整句子的常表示两者关系并列；反之常表示二者是附属关系。在对图的描绘中，如新闻照片说明中，文字是附属于图的，因为物质过程或行为过程与现在进行时相结合，则表明文属于图像；反之如果文字中出现过去时，则表明图像附属于文字。
图像的情态指的是某种图画表达手段（色彩、再现的细节、深度、色调等）使用的程度，分为高、中、低三类。高感官情态指图像使用了高饱和度的色彩，中情态指色彩不太饱和，低情态指图像只是运用黑白色。
图像的取景：有一个中心或无中心，取景指用来切断或联接语篇的成份，取景手段的明用或暗用，表明这些成份是相连或不相连。
四 结论
通过以上的对比，Bathes认为图像与文字的“锚定”关系，其实是指文字与图像附属关系，“传递”关系指图文两者互相平等关系。但运用系统功能语言学小句之间的关系，可以对此做更详细的区分，并且能分清二者是平等关系还是不平等关系。因此可见，首先通过考察两者是否平等，再从逻辑语义关系去考察是否属于扩展或投射，能得到一个比较科学和清晰图文关系。
关于图文关系的分类，在多模态文本和超文本中有实际运用价值，如在对图片的搜索引擎中；在手势和演讲及电影中，动作和语言不同的模态之间也有实际作用，如电影中的字幕等；网页设计中，在网页中，常利用一些有下划线的关键字或一些图标进行超链接的投射，可以表达更多的思想，形成互文性和多线性阅读，如何安排好图像与文字的关系直接决定读者的识读。
对比《广州日报》、《南方都市报》和《新快报》的在线电子文本，《新快报》有导航，每页都有一个明确简单的标题内容；读者直接点击标题就能进入页面，这样方便读者多模态识读，甚至同一页的每一则新闻都分成不同的图块，有一个独立图标，读者可自由直接点击选择阅读；而《南方都市报》的导航仅标出页码，并没有给出该页内容，读者不能从中判断选择阅读；《广州日报》更加完善，既有标题导航，又有页码导航，但两者之间要转换。以版块为一级单位；每页为次级单位，每页中的各个内容为第三级单位。这样读者要经过三次投射链接，无形中加重了读者的阅读负担。并且也有语音阅读，利用声音模态方便有视力障碍或不识字的人阅读。
可见，利用图文关系可改进网页设计，提高读者的多媒体识读能力。在汶川大地震时期，各大报纸版块都是用黑白色，而没用彩色，从情态来说是低情态，显得严肃，传导出一种悲哀之情。在教育上，可以更好设计教科学，安排好如图表、插图等与文字的关系。
注：本文系广东商学院高校人文社会科学研究项目一部分成果。
参考文献：
[1] London: Edward Arnold. Beijing: Foreign Language Teaching and Research Press.
[2] Kress,Gunther & T,Van Leeuwen.Reading Images:the Grammar of Visual Design [M],London And Newyork:Routledge.1996.
[3] Martineca, R, & Salway, A.a System for Image-Text Relations in New and Old Media. Visual Communication,2005.
[4] 罗兰·巴特：《显义与晦义——批评文集之三》，百花文艺出版社，2005年。
[5] 叶起昌：《论后印刷时代话语中图像与文字的关系》，《北京交通大学学报》(社会科学版)，2005年第4期。
[6] 曾蕾、梁红艳：《学术话语中多模式投射“隐喻式”》，《西安外国语大学学报》，2007年第4期。
作者简介：李妙晴，女，1979—，广东乳源人，硕士，讲师，研究方向：话语分析，工作单位：广东商学院外国语学院。