IJCAI2023 LLM多模态推理研讨会

摘要：人工智能已经成为医疗领域的一种新的计算范式，人工智能应用取得的重大进展得益于对海量、高质量、多中心数据资源的分析和挖掘。然而，数据隐私和共享使用之间的矛盾已成为智能医疗发展的主要瓶颈。联合学习采用“数据固定和模型移动”的思想，在“原始数据不离开域、数据可用但不可见”的条件下，实现多中心数据的集成分析和协同建模。本报告将从多中心协作医疗面临的挑战入手，介绍基本原理、前沿进展以及基于联合学习的医疗研究平台和应用。简介：陈毅强博士是中国科学院计算技术研究所教授。目前，他是北京移动计算与普及设备重点实验室主任、CCF研究员、IEEE高级成员。被评为“千人科技创新领军人才”、科技部中青年领军创新人才、北京都市圈科技新星。他从事人工智能和普适计算的研究，特别是多模式学习、联合学习以及在疾病辅助诊断领域的应用。他在一些顶级期刊和会议上发表了约200篇论文，包括《TKDE》、《IJHCS》、《AAAI》和《IMWUT》。他在可穿戴和转移学习方面的工作获得了IJCAI-FL2020、2022、GameNets 2014、PlatCon 2015和ICCSE 2018的最佳论文奖。此外，他的研究成果还获得了国家科学技术进步奖二等奖和2017年中国计算机联合会技术发明奖一等奖，并先后获得北京市科学技术进步二等奖。他的研究成果产生了显著的经济和社会效益：1）开发的数字人类手语系统已应用于3000多所聋校和2022年冬季奥运会。2） 开发的基于联合学习的帕金森病早期预警系统已应用于中国帕金森病联盟。

摘要：跨越安全、环境可持续性、粮食安全和运输的社会挑战往往涉及多个利己主体的复杂决策。在我们的研究中，我们深入研究了博弈论和基于机器学习的方法和工具的发展，以应对这些挑战，并将重点放在为社会利益做出贡献上。在这次演讲中，我将介绍我们在渡轮保护、环境保护和粮食救援方面取得成功的工作。此外，我将涵盖我们在逆向博弈理论、可扩展博弈求解和可解释多智能体强化学习方面的基础研究。这些进步是由我们一直致力于解决的现实问题推动的，并使我们能够在未来处理更复杂的决策场景。简介：费芳是卡内基梅隆大学计算机科学学院软件与社会系统系副教授。在加入CMU之前，她是哈佛大学的博士后研究员。她获得了南加州大学计算机科学系的博士学位。她的研究领域是人工智能和多智能体系统，专注于将机器学习与博弈论相结合。

简介：Richard Tong是卡内基学习公司的首席架构师，也是一位经验丰富的技术专家、研究员和人工智能和学习技术领域标准化的传播者。他是业界公认的R&D是人工智能产品和服务的领导者，构建了世界上最大的自适应学习平台之一。他的研究和开发工作专注于人工智能系统的神经-符号认知架构、人机交互人工智能、可信人工智能、软件工程的基于代理的架构，以及多模式推理和多任务持续学习。他还担任IEEE人工智能标准委员会主席。他将共同主持2024年IEEE人工智能会议-教育垂直轨道(https://ieeecai.org/2024/verticals网站/)2024年6月25日至27日在新加坡举行。

简介：梁乔琳博士，松鼠爱学习联合创始人，澳门科技大学智能科学与系统博士。教育创新与技术研究所（UNIR iTED）客座教授。AI+适应性教育国际会议（AIAED）创始人/主任。Joleen与Yoshua Bengio和联合国教科文组织负责教育的助理总干事Stefania Giannini在AI世界峰会上发表了讲话。Joleen还应邀在IJCAI、ACM KDD、ACM UMAP、清华大学、上海纽约大学、哈佛大学教育部、Slush、TechCrunch、瑞银投资者大会、SFT、全球智能教育峰会、BETT等国内外峰会上发表演讲，并接受彭博社等媒体采访。Joleen在人工智能自适应学习、LLM智能教育、多模态学习分析等领域进行了研究，并在不同的会议和期刊上发表了论文。她领导了智能教育公立学校项目和AI智能硬件的推广工作，为全国60000多所全日制中小学提供了服务。Squirrel Ai公司为2000多万用户带来了Ai智能学习系统/硬件。2020年，Joleen和Squirrel Ai被联合国教科文组织授予“人工智能教育创新奖”。松鼠艾的在线学习案例研究发表在联合国教科文组织的报告中。

简历：胡香根博士是孟菲斯大学（UofM）心理学系、电子与计算机工程系和计算机科学系的教授，也是智能系统研究所（IIS）的高级研究员现任华中师范大学心理学院教授和院长。胡博士拥有华中科技大学应用数学硕士学位、加州大学欧文分校社会科学硕士学位和认知科学博士学位。胡博士是密歇根州立大学高级分布式学习（ADL）合作实验室主任，也是中国教育部青少年网络心理与行为重点实验室的高级研究员。胡博士的主要研究领域包括数学心理学、研究设计与统计以及认知心理学。更具体的研究兴趣包括通用处理树（GPT）模型、分类数据分析、知识表示、计算机教学和高级分布式学习。胡博士获得了美国国家科学基金会（NSF）、美国教育科学研究院（IES）、美国国防部ADL、美国陆军医学研究采办机构（USAMRAA）、美国陆军研究实验室（ARL）、美国海军研究办公室（ONR）、UofM和CCNU的上述研究资助。

摘要：在本次演讲中，我们将讨论我们在文本建模、图像建模以及如何在视觉问答和视觉对话中建模相互关系方面的一系列工作。在文本和图像建模中，图形神经网络用于融合来自学习和知识图形的信息。使用图神经网络和交叉模型注意可以捕获对象关系。提出了几个模型，并使用基准数据证明了其有效性。简介：秦增昌是北京航空航天大学自动化科学与电气工程学院的教授。他的研究兴趣是机器学习、自然语言理解和多模态推理。他在布里斯托尔大学获得了理学硕士和博士学位。他与加州大学伯克利分校的洛特菲·扎德教授一起进行了后期研究。他是牛津大学的客座研究员，也是卡内基·梅隆大学的访问学者。他在AI期刊和会议上发表了两本Springers的著作和120多篇论文，包括IJCAI、AAAI、ICML、ICCV、CVPR、EMNLP和ICASSP。

摘要：在大型语言模型（LLM）的快速发展过程中，它们的能力显著提高，从而提高了对世界和自身的认识。LLM是否获得了情感、情绪、自我意识和自由意志？他们会考虑自杀吗？他们有对人类撒谎甚至毁灭人类的意图吗？许多LLM都接受过培训，他们会像人类一样患上不同的精神疾病吗？这些担忧超出了计算机科学的范围，给LLM社区带来了新的挑战，需要对LLM的智力和心理健康治疗进行全面评估。简介：刘全英博士自2019年起担任南方科技大学神经计算与控制实验室（NCC实验室）生物医学工程系PI助理教授。她于2010年获得中国兰州大学电气工程学士学位，2013年获得兰州大学计算机科学硕士学位。2017年，她在苏黎世理工学院获得生物医学工程博士学位后，前往美国加州理工学院担任博士后研究员。全英的研究兴趣是连接人类智能和人工智能，并应用先进的神经成像工具、人工智能模型和控制理论来解决神经科学领域的基本问题。

摘要：目前，LLM受到了广泛关注，其中包括汽车行业的LLM。本演示文稿将探讨将LLM应用于汽车服务场景的创新，特别关注长安汽车的面向服务架构。我们将基于LLM强大的泛化能力，为车内使用创建多意图服务模型。除了长安的可重构概念外，我们还将讨论如何利用车辆场景的优化LLM来实现端到端服务协调和执行。此外，我们将强调一种即时学习，它集成传感器信号，为汽车功能相关服务提供智能建议。最后，将介绍由接口标准统一的面向服务的大规模模型生态系统的构建。演讲最后将概述标准化服务型生态系统的愿景，以及大规模多模式模式的潜在发展方向。简历：山东大学学士学位。普渡大学博士学位。长安汽车人工智能实验室主任。

摘要：人工智能正在改变世界！当前的人工智能，无论是面部识别还是语音识别，都是基于人类的一种智能/感官。然而，我们人类用五种感官感知世界。在这次演讲中，我将介绍我们在UCSD和NEEM Scientific，Inc.进行的一些与触摸相关的研究，包括重放触摸元素的录制，例如力/压力。我还将说明触摸人工智能的潜在发展。简介：王德利于1990年获得中国科技大学高分子化学学士学位。1990年至1996年，Deli在中国科学院长春应用化学研究所（CIAC）研究有机非线性光学和电光聚合物。2001年，在加州大学圣巴巴拉分校（UCSB）材料系Alan Heeger教授的指导下，他获得了博士学位，并发表了关于使用有机发光聚合物制造新型生物传感器的论文。随后，他与哈佛大学的Charles Lieber教授一起进行了基于半导体纳米线的纳米电子学的博士后研究。2004年至2014年，王德利在加州大学圣地亚哥分校（UCSD）担任电子与计算机工程系助理教授和终身副教授。他的研究兴趣是纳米电子学、光电子学、传感器、离子电子学接口、可再生能源、人类传感、，自2014年以来，Deli一直致力于NEEM Scientific Inc.数字健康、触摸传感和重放技术、假肢、触摸人工智能等可穿戴传感器的研究和产品开发。