如何“听”形状

心理学专业的学生沉浸在令人费解的感官替代世界中。

oretis Papaioannou ' 15拿了一根棉签，把它穿过网眼织物帽上的一个洞，轻轻地在他的实验对象——一个名叫Dan的英语专业学生——的头皮上按摩一点生理盐水凝胶。

奥瑞蒂斯一边调整帽子上的电极，一边把实验规程从头到尾看了一遍。奥瑞蒂斯留着修剪整齐的胡子，穿着人字拖和一件写着“心灵的生命”的t恤。“我们将向你展示一些形状，同时播放一些声音，”他解释说。“你将学习如何把声音转换成形状。”

丹喝了一口红茶柠檬水，在椅子上坐了下来，戴上了一副耳机，奥雷斯提斯和15岁的克里斯·格拉蒂挤在一台电脑显示器前，显示器上显示着受试者的脑电波，这些脑电波以一系列波动的形式在屏幕上滚动，当受试者眨眼时，它们会一起跳动。

学生们正在研究大脑从一种感知领域（如声音）获取信息并将其转移到另一种感知领域（如视觉）的能力。这种现象——被称为感官替代——可能看起来仅仅是科学上的好奇。但事实上，它在帮助人们克服感官缺陷方面有着巨大的潜力，并且对我们关于感知到底是什么的想法有着深远的影响。

我们正坐在里德的感觉、认知、注意力、语言和知觉实验室——也就是头皮实验室——这次我是实验对象。我口干舌燥，手心出汗。奥雷斯提斯尽力帮我放松。“别担心，”他笑着说。“这是一个非常简单的任务。”奥雷斯提斯会在电脑屏幕上威博体育我展示一些形状，并通过耳机播放一些声音。在第一个小时，每个形状将与一个声音配对。然后他会威博体育我播放一些新的声音，我的工作就是猜测它们的形状。我走进隔音隔间，坐在键盘前，戴上耳机，点击“开始”。

第一个形状看起来像外星字母表的字母。这里有一个0夹在一对反向的凹槽之间。与此同时，从左到右，我听到了一种奇怪的声音，就像R2-D2被一段带刺的铁丝网勒死了一样。接下来是一个细长的U形，手臂是等腰的：我听到一只哀鸣的鸽子在奈奎尔的感冒药上飞过东京。现在，三个三角形像一群在水下游泳的变异蟋蟀一样嚎叫。

称这些声音令人困惑是一种极其轻描淡写的说法。它们是声音上的胡言乱语，就像贝多芬倒放音乐一样让人难以理解。但在听了一个小时的声音，看着屏幕上的形状经过后，奇怪的事情开始发生了。声音开始有了某种特征。自卸卡车猛踩刹车时，一只发疯的鹦鹉发出的叫声？虽然看起来很奇怪，但有些事，弯弯曲曲地关于那个声音。被一对啤酒瓶撞到的马林巴琴？我不知道为什么，但是squareish．

现在，实验正式开始了。我听到一个声音；我的工作是从五张图片中选出最合适的一张。首先是一个布谷鸟钟滚下楼梯——那是一个方形加上一些歪歪扭扭的图案还是水银的符号？一秒一秒地过去了。我猜错了。接着是下一个声音：嗡嗡锯在切割三片镀锌锡。是火箭吗？是的，奇怪的是，它是。事情就是这样。一个小时后，我的额头因汗水和注意力而变得光滑。这感觉就像听我七岁的儿子大声朗读——听他一次又一次结结巴巴地念着同一个单词，除了现在我那个在欧几里得式的杂音中跌跌撞撞的人。然而（一群蟋蟀，三个三角形）我的猜测正在慢慢变得更好。我的大脑发生了奇怪的变化。这些声音是有道理的。

我正在学习听形状。

几千年来，感觉和知觉的相互关联的问题一直让哲学家们着迷。德谟克利特认为，只有一种感觉——触觉——所有其他的感觉都是它的改良形式（例如，视觉是由看不见的粒子对眼睛的物理影响引起的）。柏拉图认为人有多种感官，包括视觉、嗅觉、热、冷、快乐、痛苦和恐惧。亚里士多德,在论灵魂他认为人类有五种感觉，这一学说自此主宰了西方对这一问题的思考。在乔叟的坎特伯雷故事集例如，牧师谈到了“视觉、触觉、嗅觉、味觉和触觉”的“五种写作”。即使在今天，粗略地在互联网上搜索一下，就会发现许多旨在教孩子们五种感官的网站。

五感理论得到了心理学研究的支持，该研究将感觉映射到大脑的特定区域。例如，我们现在知道，视觉处理主要发生在枕叶，有特定的子区域负责检测运动、颜色和形状。甚至还有一个专门负责识别人脸的区域——例如，如果大脑的这个部分被子弹打伤，受试者将失去识别人脸的能力，甚至是自己的脸。

但是，根据Enriqueta Canseco-Gonzalez教授（心理学1992 -）的观点，亚里士多德的感觉是不同的和独立的，就像电视频道一样，每个频道都有自己的“观众”坐在大脑的某个沙发上，这是有严重缺陷的。

首先，它不能解释我们的味觉在很大程度上依赖于嗅觉的事实（试着在鼻塞的情况下吃哈密瓜）。更重要的是，它并不能解释为什么有感觉缺陷的人经常能够通过感觉替代来弥补他们的损失——用一个感觉系统来代替另一个。例如，盲文系统依赖于一个人用手指“阅读”页面上的一系列凸点的能力。

此外，心理学家和神经科学家还发现了一些亚里士多德没有考虑到的感觉，比如平衡感（前庭系统）和本体感觉，它能告诉你胳膊和腿的位置，而不需要你去看。

坎塞科-冈萨雷斯教授说，事实上，我们的感官更像是短波电台，信号相互干扰，有时放大，有时干扰。他们经历了隐喻性的滑脱。这种感官上的串扰反映在用一种情态的词语来描述另一种情态的现象的表达中。我们唱着忧郁，水平冰冷的目光,使咸的评论,做模糊数学,穿炎热的粉红色,和 抱怨这部电影威博体育我留下了不好的印象。它还会出现在一种有趣的神经系统疾病中，即联觉，即某些刺激会在多个感觉通道中引起感觉。（例如，弗拉基米尔·纳博科夫（Vladimir Nabokov）将字母表中的每个字母与不同的颜色联系起来。）

坎塞科-冈萨雷斯说话声音温暖，带有西班牙口音。她在墨西哥城长大，在墨西哥国立自治大学（National Autonomous University of Mexico）获得心理学学士学位和心理生物学硕士学位，并在布兰迪斯大学（Brandeis）获得了关于词汇获取的博士学位。她精通英语、西班牙语、葡萄牙语和俄语，撰写了许多关于认知神经科学的论文，现在专注于神经可塑性——大脑在环境、行为或伤害的变化下进行自我重组的能力。

她还从个人经历中了解了一些关于心理弹性的知识。1985年，她在墨西哥城读研究生时，Michoacán海岸附近发生了8.1级地震，她的公寓楼倒塌，600多名邻居丧生。至少有一万人在这场灾难中丧生。

为了演示另一个感官替代的例子，她从桌子上站起来，站在我身后，用手指在我背上画了一个图案。“也许你小时候玩过这个游戏，”她说。“我在写什么信？”虽然我对字母表中的字母相当熟悉，但要认出它们却出奇地困难，因为它们是在我的背上画出来的。（我猜是“R”——实际上是“a”）

令人难以置信的是，这个游戏为1969年的一项重大突破奠定了基础，当时神经科学家保罗·巴赫-伊-丽塔利用感官替代来帮助先天失明的受试者识别字母。他使用一台固定的电视摄像机将信号传输到一个特殊的椅子上，椅子上有400个振动板组成的矩阵，这些振动板靠在受试者的背上。当摄像头对准一个“X”时，系统激活了“X”形状的底片。实验对象学会了通过背部的触觉来阅读字母——本质上是用触觉来代替视觉。

巴赫-丽塔的实验——尽管在今天看来很粗糙——为一系列帮助人们克服感官缺陷的新方法铺平了道路。但这条研究路线也提出了关于感知的基本问题。受试者只是感觉到字母还是他们真的“看到”了字母？

这个问题与爱尔兰哲学家William Molyneux在1688年向John Locke提出的问题相呼应。假设一个天生失明的人有能力通过触觉区分立方体和球体。突然奇迹般地，她恢复了视力。她能仅仅通过观察就分辨出哪个是立方体哪个是球体吗？

哲学上的赌注很高，这个问题引发了激烈的辩论。洛克和其他经验主义哲学家认为，视觉和感觉是独立的，只有通过经验，一个人才能学会将球体的“圆”感觉与其“圆”外观联系起来。另一方面，理性主义者则认为，在球体的本质和它的外表之间存在着逻辑上的对应关系——一个掌握了它的本质的人可以通过推理和观察来识别它。

(最近的证据表明，至少洛克在这一点上是正确的。2011年，《科学》杂志发表了一项研究自然神经科学报告说，五名通过手术恢复视力的先天性失明患者在手术后并不能立即用视力匹配乐高积木的形状。然而，五天后，他们的表现有了显著提高。)

在实际层面上，感觉替代提出了关于大脑工作方式的基本问题。这是只有感觉缺陷的人才能学会的东西吗？那成年人呢？那么脑损伤的人呢？

随着更快的计算机使感官替代技术越来越容易获得，坎塞科-冈萨雷斯意识到她可以在威博体育威博体育探索这些问题。她说：“我心想，这些问题对威博体育的学生来说很好。”“这是研究大脑功能的好方法。我们正在重新思考大脑是如何连接的。”

她找到了一位智力上的合作伙伴Michael Pitts教授[心理学2011 -]，他在新罕布什尔大学获得心理学学士学位，在科罗拉多州立大学获得硕士和博士学位，并在加州大学圣地亚哥分校神经科学系做博士后，然后来到里德。他们与奥雷斯提斯、克里斯和菲比·鲍尔（Phoebe Bauer）一起，围绕各种想法进行调查。威博体育的学生们决定解决一个看似简单的问题。能教普通人如何做感官替代吗？

为了回答这个问题，他们设计了一个由三部分组成的实验。在第一阶段，他们让实验对象接触奇怪的形状和声音，并监测他们的脑电波。在第二阶段，他们教受试者将特定的形状与特定的声音联系起来，并测试受试者将它们匹配起来的能力。他们还测试了受试者将从未听过的声音与从未见过的形状相匹配的能力。最后，他们重复了第一阶段，看看训练是否对受试者的脑电波有任何影响。

“一开始我是持怀疑态度的，”皮茨教授承认。“我真的不认为这行得通。”

试验在2013年和2014年的夏天进行，初步结果令人震惊。仅仅经过两个小时的训练，实验对象匹配新声音的正确率高达80%。“这是一个惊人的发现，”皮茨说。更重要的是，威博体育的研究小组发现，两小时的训练有深远的影响。一年后接受测试的受试者仍然保留了一些将声音与形状相匹配的能力。

同样重要的是，实验对象的脑电波在训练后显示出不同的模式，这表明大脑的形状处理部分被激活了——即使他们正在处理的信息是通过耳机输入的。坎塞科-冈萨雷斯说：“这就是关键所在。“大脑中有一部分处理形状。通常以视觉或触觉的形式出现。但如果你发出声音，它仍然可以提取信息。”

里德团队希望在明年发表的研究结果表明，大脑的感知回路并没有那么多是由神经网络连接的感觉通过任务.有些任务，比如识别形状的能力，对人类的生存非常重要，以至于大脑实际上可以自我重组以完成这些任务。

这是否意味着人们真的可以听到形状和看到声音，或者这是否意味着视觉和听觉之间的区别比我们想象的要模糊？不管怎样，这个实验表明，大脑在中年时仍然保持着惊人的神经可塑性，而我们才刚刚开始掌握它的潜力。

工作原理：

从形状到声音

里德大学使用的系统依赖于1992年由荷兰工程师彼得·梅杰（Peter Meijer）开发的将图像转换为声音的梅杰算法。图像的垂直维度被编码为500 Hz-5000 Hz之间的频率，其中更高的空间位置对应更高的音调。水平尺寸被编码为500毫秒的从左到右平移效果。产生的声音——理论上——包含了图像中包含的所有信息，但对于未经训练的耳朵来说是没有意义的。

标签：学者，酷项目，研究，学生，编辑的选择