这是2024年1月7号最新发布的一项研究，由Stanford University的Zane Durante， Bidipta Sarkar和Rohan Taori，以及Microsoft Research， Redmond的Qiuyuan Huang， Naoki Wake和Jianfeng Gao，University of California， Los Angeles的Ran Gong和 Demetri Terzopoulos，University of Washington的Jae Sung Park和Yejin Choi，以及Microsoft Gaming的Yusuke Noda和Hoi Vo共同完成。多模态AI系统很可能将在咱们的日常糊口中无处不在。一个有前程的方法是让这些系统在物理和假造环境中动作代理体进行互动。面前，研究者们利用现有的基础模子动作创造代理体的基本构建块。将代理体镶嵌这么的环境有助于模子处理妥协释视觉和情境数据，这对于创建愈加复杂和具多情境感知的AI系统至关重要。举个例子，一个不错感知用户步履、东说念主类步履、环境对象、音频抒发和场景的集体情谊的系统，不错用来引导和指导代理体在给定环境中的反应。为了加速基于代理体的多模态智能的研究，研究者们界说AI Agent动作一类或者感知视觉刺激、谈话输入和其他以环境为基础的数据，并能生成具有无穷代理体的有风趣的实体行动的交互系统。荒谬地，研究者们探索的是着眼于通过整合外部知识、多感官输入和东说念主类反馈来改善代理体的系统，这些都基于下一步的实体行动预测。研究者们合计，通过在践诺环境中开发AI Agent系统文爱 剧情，也不错减少大型基础模子的产生诞妄输出的倾向。新兴的AI Agent范畴涵盖了多模态交互的更平淡的实体化和代感性方面。除了代理体在物理宇宙中行动和互动外，研究者们料预料一个改日，东说念主们不错轻佻地创造任何假造现实或模拟场景，并与镶嵌在假造环境中的代理体互动。
图片
这是一个不错在不同范畴和应用中感知和行动的AI Agent系统的概述。AI Agent正在成为通向东说念主工通用智能（AGI）的有但愿的阶梯。AI Agent西宾还是展示了在物理宇宙中进行多模态领略的技艺。通过利用生成AI以及多个寂然的数据源，它提供了一个对现实无关的西宾框架。针对代理和行动干系任务进行西宾的大型基础模子不错应用于物理和假造宇宙，当在跨现实数据上进行西宾时。咱们在这里先容了一个不错在好多不同范畴和应用中感知和行动的AI Agent系统的总体概览，可能动作使用代理范例向AGI前进的阶梯。通盘调研答复绝顶丰富，包含多量图例，看络续对完的，不错跳读只看图。论文目次如下，需要源文献可在后台回复：1024 即可获取
图片
图片
图片
1.1 Motivation1956年的达特茅斯会议上界说了AI系统为不错从环境中汇集信息并以有用的格式与之相互作用的东说念主工人命形态。受此界说的饱读舞，1970年Minsky的麻省理工学院小组建造了一个名为“复印演示”的机器东说念主系统，该系统不雅察了积木宇宙的场景，并奏效的重构了不雅察到的多面体积木结构。该系统包括不雅察，辩论和主管模块，揭示了这些子问题都具有很高的挑战性，需要进一步的研究。从而，AI范畴分化为专门的子范畴，这些子范畴在处理这些问题以过头它问题上取得了很大的寂然进展，然而过度的规复主义污秽了AI研究的总体办法。
要超越近况，需要回来到由亚里士多德的合座主义所引发的AI基础。红运的是，最近大型谈话模子(LLMs)和视觉谈话模子（VLMs）的创新使得创建与合座联想一致的新式AI代理成为可能。收拢这个契机，本文探索了集成谈话熟练度，视觉解析，情境纪念，直观推理及适当性的模子。利用LLMs和VLMs可能完成这种合座综合。同期，咱们也重温了基于亚里士多德的目的原因的系统遐想，这可能在先前的AI发展中被疏远。
跟着建壮的预西宾LLMs和VLMs的出现，催生了天然谈话处理和狡计机视觉的复兴。LLMs当今展示了解密现实宇宙谈话数据微小之处的令东说念主印象深远的技艺，经常罢了与东说念主类大家平行以致超越的技艺。近期，研究者还是标明，LLMs不错扩展为在各式环境中动作代理东说念主，当与特定范畴的知识和模块相称对时，不错实践复杂的行动和任务。这些场景需要代理东说念主领略其变装和环境，进行多步辩论，测试了代理东说念主在其环境管理中作念出机要和复杂决策的技艺。
基于这些初步服务，AI社区正处于一个重要的典范转变的边际，从为被迫，结构化的任务创建AI模子，转变为或者在各式复杂环境中演搬动态变装的模子。在这个布景下，本文侦查了使用LLMs和VLMs动作代理东说念主的广博后劲，强调了具有谈话熟练度，视觉解析，情景纪念，直观推理和适当性的模子。以游戏，机器东说念主，医疗保健等范畴的代理东说念主荒谬是利用LLMs和VLMs，不仅首肯了对最先进AI系统的严格评估平台，还预示了以代理为中心的AI将对社会和行业产生的变革性影响。现代理模子被充分利用时，不错从新界说东说念主类的体验并擢升运营法式。
1.2 Background研究者们在本部分先容了提拔Agent AI见地、表面布景和现代罢了的干系研究论文。
大型基础模子（Large Foundation Models）：
大型谈话模子（LLMs）和巨型谈话模子（VLMs）一直在推动开发通用智能机器的努力。尽管它们是通过大范围文本语料进行西宾的，但其超卓的问题管理技艺并不局限于传统的谈话处理范畴。LLMs潜在地不错应酬从东说念主类大家或范畴特定算法专有的复杂任务，包括数学推理[imani2023mathprompter， wei2022chain， zhu2022solving]到回答专科法律问题[blair2023can， choi2023chatgpt， nay2022law]。近期的研究还是夸耀出使用LLMs为机器东说念主和游戏AI生成复杂辩论的可能性[codeaspolicies2022， wang2023describe， wang2023voyager， yao2023react， huang2023ark]，这标志着LLMs动作通用智能代理的重要里程碑。
具体化的AI（Embodied AI）：
好多服务利用LLMs进行任务经营[pmlr-v162-huang22a， wang2023voyager， yao2023react， li2023camel]，尤其是利用LLMs的WWW级别的范畴知识和进击的零射击具体化技艺实践复杂任务经营和推理。近期的机器东说念主研究也利用LLMs进行任务经营[saycan2022arxiv， huang2022inner， codeaspolicies2022]，通过将天然谈话指示阐明为子任务序列，岂论是天然谈话样式如故Python代码样式，然后使用初级适度器实践这些子任务。此外，它们还结合了环境反馈以提高任务性能[huang2022inner， codeaspolicies2022， wang2023describe， ikeuchi2023applying]。
交互式学习（Interactive Learning）：
为交互式学习遐想的AI代理领受机器学习时期和用户交互的组合运作。起先，AI代理在大型数据集上进行西宾。这个数据集包含各式类型的信息，取决于代理的预期功能。举例，为谈话任务遐想的AI将在多量文本数据上进行西宾。西宾波及使用机器学习算法，这可能包括深度学习模子如神经汇集。这些西宾模子使AI或者识别模式、进行预测，并根据其西宾的数据生成响应。AI代理还不错从与用户的实时互动中学习。这种交互式学习不错通过各式格式进行：1）基于反馈的学习：AI根据用户径直反馈调整其响应。举例，如果用户纠正了AI的响应，AI不错使用这个信息来改进改日的响应。2）不雅察学习：AI不雅察用户交互并隐性学习。举例，如果用户经常发问相雷同的问题或特定格式与AI进行交互，AI可能会调整其响应以更好地适当这些模式。它允许AI代理领略和处理东说念主类谈话、多模式成就，解释跨现实高下文，并生成东说念主类用户的响应。跟着更多的用户交互和反馈，AI代理的性能通俗会持续改进。这个过程通俗由东说念主类操作员或开发者监督，确保AI正在适当地学习，而不是发展出偏见或诞妄的模式。
1.3 Overview多模态智能体AI（Multimodal Agent AI: MAA）是一类基于领略多模态感知输入在特定环境中生成灵验步履的系统。跟着大型谈话模子（LLMs）和视觉谈话模子（VLMs）的出现，好多不同范畴的MAA系统还是被开发出来，这些范畴包括基础研究和应用。天然这些研究范畴通过与各自范畴的传统时期（举例，视觉问题回答和视觉谈话导航）整合，飞快发展，但它们都饶恕如数据汇集、基准测试和说念德视角等共同的问题。本文将重心饶恕几个代表性的MAA研究范畴，包括多模态、游戏（VR/AR/MR）、机器东说念主时期和医疗保健，并对这些范畴商议的共同问题提供全面的知识。咱们但愿通过这次研究，领略MAA的基础旨趣，并推动研究者进一步发展他们的研究。具体的学习恶果包括：
1. MAA概述：深入了解其旨趣和在现代应用中的作用，为研究者提供全面领略其重要性和用途。
2. 方法论：通过在游戏、机器东说念主时期和医疗保健等范畴的案例研究，详确说明LLMs和VLMs何如擢升MAAs的技艺。
3. 性能评估：对干统共据集进行MAAs的评估指导，重心饶恕其效果和泛化性。
4. 伦理问题：商议部署智能体AI的社会影响和说念德名次榜，强调稳健任的开发实践。
5. 新兴趋势和改日场地：对每个范畴的最新发展进行分类，并商议改日的发展场地。
岂论是狡计机系统中的普适代理（GA），或是专科性代理，他们在好多任务中都绝顶灵验。果然有价值的GA，不错天然地与用户进行交互，并泛化至各式情境和模态。咱们的办法是莳植一个活跃的研究生态系统，营造出通盘智能体AI社区的分享身份和办法感。MAA具有平淡应用于各式情境和模态的后劲，包括东说念主类输入。因此，咱们信托这个智能体AI范畴不错诱导各式研究东说念主员的参与，促成一个充满活力的智能体AI社区和分享的办法。由学界和业界的大家率领，咱们盼望本文能为整个研究者提供一个包含智能体指导、案例研究、任务会议和实验商议的互动丰富的学习体验。
本文旨在对智能体AI范畴确面前研究提供全面和深入的知识。为此，本文的剩余部分将按照如下步履组织：起先先容智能体AI何如从与干系新兴时期的整合中受益，尤其是大型基础模子。接着形容咱们建议的西宾智能体AI的新范式和框架。然后概述在西宾智能体AI中平淡使用的方法。分析和商议了各式类型的代理。之后先容智能体AI在游戏、机器东说念主时期和医疗保健中的应用。探讨研究社区开发或者应用于各式模态、范畴的多功能智能体AI的努力，并弥合模拟到真实的舛错。然后探讨智能体AI的后劲，它不仅依赖预西宾的基础模子，还不错通过与环境和用户的交互进行持续的学习和自我擢升。接着先容咱们为西宾多模态智能体AI遐想的新数据集。终末，商议智能体AI的伦理问题、适度和咱们的论文对社会的影响。
2 Agent AI Integration在以前的研究中，基于LLMs和VLMs的基础模子在具象化AI范畴的发达依然有限，荒谬是对未知环境或场景的领略、生成、编著和交互方面。因此，这些适度导致AI代理的产出不尽如东说念主意。
现有以代理为中心的AI建模方法主要饶恕径直可获取且界说清醒的数据（如宇宙状态的文本或字符串清晰），并通俗使用从大范围预西宾中学习到的、与范畴和环境无关的模式来预测每个环境的行动输出。
在huang2023ark的研究中，咱们通过结合大型基础模子，探索了知识引导的团结和交互式场景生成任务，收尾显奉告识依赖型LLM代理或者改进2D和3D场景领略、生成和编著的发达，以过头他东说念主类-代理交互（huang2023ark）。通过整合一个AI Agent框架，大型基础模子或者更深入地领略用户输入，形成一个复杂的、自适当的HCI系统。LLM和VLM的出现技艺在生成型AI、具象化AI、多模子学习的知识扩张、夹杂现实生成、文本视觉编著，以及游戏或机器东说念主任务中的2D/3D模拟的东说念主类交互中都阐述了作用。AI Agent在基础模子的最新进展为解锁具象化代理中的一般智能提供了行将发生的催化剂。大型行动模子，或代理-视觉-谈话模子为通用性的具象化系统如在复杂环境中的经营、问题管理和学习提供了新的可能性。AI Agent在元六合中的测试进一步迈向AGI的早期版块。
终末，研究者们在元六合中进一步测试了AI Agent，并建议了早期AGI版块的念念路。
如图所示，这是一个多模子AI Agent，用于跨现实环境中的2D/3D具象化生成和编著交互。
图片
多模子代理东说念主工智能用于二维/三维实体生成和编著交互的跨现实体验。2.1 Infinite AI agent研究者们一直在探索AI代理机制的底层功能和局限性。AI代理机器具备以下功能：
1）预测建模：依靠历史数据和趋势，AI代理不错预测可能的收尾或建议下一步的建议。比如，它们不错预测文本的不时，问题的谜底，机器东说念主的下一步碾儿动，或者情境的管理决策。
2）决策制定：AI代理在一些应用中不错根据所得出的推理进行决策。大多数情况下，代搭理根据最有可能完成指定办法的选项进行决策。在像保举系统这么的AI应用中，代理不错根据对用户喜好的推断来决定保举哪些产品或内容。
3）处理污秽性：AI代理通俗通过基于高下文和西宾数据推断最可能的解释来处理污秽的输入。关联词，这种技艺受到西宾数据和算法应用范围的适度。
4）持续改进：天然一些AI代理具有再行数据和交互中学习的技艺，但好多大型谈话模子在西宾后不会持续更新他们的知识库或里面清晰。他们的推理通俗仅基于到终末一次西宾更新时点的可用数据。
研究者们不才图中展示了增强交互代理与多模态和跨现实和会的新兴机制。一个AI代理需要为每一项新任务汇集多量的西宾数据，这在好多范畴可能会郁勃以致无法罢了。在这项研究中，研究者们开发了一个无限代理，它或者从通用基础模子（如GPT-X，DALL-E）中传递纪念信息到新的范畴或情境，以领略，生成，以及在物理或假造宇宙提供交互编著。
无限代理在机器东说念主学中的一个应用案例是RoboGen。在这项研究中，作家建议了一个自动实践任务提议，环境生成，和技巧学习周期的经由。RoboGen是一个努力将大型模子中镶嵌的知识应用到机器东说念主学的技俩。
2.2 Agent AI with Large Foundation Models近期的研究标明大型基础模子在生成动作基准数据方面阐述了枢纽作用，这些数据用于决定在环境制约下代理步履。举例，用基础模子进行机器东说念主操作、学习和导航等应用。具体来说，Black等东说念主利用一种图像编著模子动作高等经营器，生成改日子办法的图像，从而引导初级政策。对于机器东说念主导航，Shah等东说念主建议了一个系统，该系统使用LLM从文本中识别地标，使用VLM将这些地标与视觉输入关联起来，通过天然谈话指示提高导航技艺。
东说念主们对生成有条件的东说念主类训诫产生了日益浓厚的敬爱敬爱，这些训诫是对谈话和环境身分的反应。已有几种AI系统被建议，生成的训诫和动作被特定的谈话指示定制，适当各式3D场景。这些研究强调了生成模子在增强AI代理在平淡情境下适当性和反应性方面的技艺。
在这些具体的研究实例中，基础模子起着珍重力引导的作用。看作是狡计机的'念念想'，他们阅读输入的信息(举例图像或者文本)，筹划法式然青年景出一系列的子办法。这些子办法就像是一种行动蓝图，指引着机器或者AI代理实践任务。以机器东说念主导航为例，先由LLM读取天然谈话指示，从中索求出有的放矢的地标信息。然后，这些地标信息被VLM与获取到的视觉输入相结合，进行识别和定位，从而使得机器东说念主或者更精确地行动。如果将这个过程类比为驾车旅行，那么基础模子就是GPS导航，指示出一条清醒的前进旅途。
对于生成有条件的东说念主类训诫，研究者们还是建议了一些AI系统。这些系统或者根据特定的谈话指示，生成适当不同环境的东说念主类训诫。这个过程就像AI系统是一个超卓的跳舞指导者，它听取谈话指示，然后创作出一系列适合于特定环境的动作，比如在梅林公园跳舞，然后挑选合适的动作和决策，指导东说念主类完成演出。
2.3 Hallucinations文本生成的代理法式时时容易产生幻觉，这种情况下，生成的文本可能毫无风趣，或者对原始内容的诚意度不及。幻觉不错分为内在性幻觉和外皮性幻觉两种类型。内在性幻觉是指生成的文本与原始内容矛盾，而外皮性幻觉是指生成的文本包含了原始内容中莫得的额外信息。
为了裁减谈话生成中产生幻觉的频率，有一些有前程的方法，包括使用检索增强生成或者其他通过外部知识检索将天然谈话输出接地的方法。总的来说，这些方法试图通过获取更多的原始材料来增强谈话生成，并提供机制来搜检生成的回答和原始材料之间是否存在矛盾。
在多模态代理系统的布景下，视觉谈话模子（VLMs）也被发现有在幻觉的气候。对于基于视觉的谈话生成，幻觉产生的一个常见原因是过度依赖西宾数据中的物体和视觉教唆的共现。那些绝对依赖预西宾的谈话模子或视觉谈话模子，况且只使用有限的特定环境微调的AI代理，尤其容易产生幻觉，因为它们依赖预西宾模子的里面知识库来生成步履，可能无法准确领略他们所部署的宇宙状态的动态。
2.4 Biases and Inclusivity基于大型谈话模子（LLMs）或大型多模态模子（LMMs）的东说念主工智能代理存在偏见，这是由于它们的遐想和西宾过程中固有的多个身分所形成的。在遐想这些东说念主工智能代理时，咱们必须珍重包容整个的最终用户和利益干系者，并领略他们的需求。在东说念主工智能代理的布景下，包容性是指采纳的措施和旨在确保代理的响应和交互包容、尊重，并对来自各式布景的多量用户敏锐的原则。
1. 西宾数据：基础模子是基于从互联网汇集的多量文本数据进行西宾的，包括竹素、著作、网站和其他文蓝本源。这些数据时时反馈了东说念主类社会中存在的偏见，模子也可能无坚决地学习并复制这些偏见。这包括与种族、性别、种族、宗教和其他个东说念主特征干系的刻板印象、偏见和歪斜不雅点。荒谬是，通过在互联网数据和通俗仅为英文文本上的西宾，模子隐式地学习了西方、受过说明注解、工业化、富饶和民主（WEIRD）社会的文化范例，而这些社会在互联网上具有极大的影响力。
2. 历史和文化偏见：东说念主工智能模子是通过从各式内容中采集的大型数据集进行西宾的。因此，西宾数据经常包含来自各式文化的历史文本或材料。荒谬是，来自历史来源的西宾数据可能包含代表某一特定社会文化范例、立场和偏见的冒犯性或贬损性谈话。这可能导致模子延续落伍的刻板印象，或者莫得充分领略现代文化的变迁和机要之处。
3. 谈话和高下文适度：谈话模子可能在领略和准确抒发谈话的机要之处，如挖苦、幽默或文化参照，等方面存在困难。这可能导致在某些情境中诬陷或产生偏见的回答。此外，纯文本数据未能捕捉到白话的好多方面，可能导致东说念主类对谈话的领略和模子对谈话的领略之间存在潜在的脱节。
4. 政策和指导准则：东说念主工智能代理撤职严格的政策和指导准则，以确保公慈祥包容性。举例，在生成图移时，有规则使东说念主物的形容种种化，幸免与种族、性别和其他特征干系的刻板印象。
5. 过度泛化：这些模子时时基于在西宾数据中看到的模式来生成回答。这可能导致过度泛化，其中模子可能会产生看似刻板印象或对某些群体作念出很大假定的回答。
6. 持续监控和更新：东说念主工智能系统被持续地监控和更新，以管理任何新出现的偏见或包容性问题。用户的反馈和在东说念主工智能伦理学方面的持续研究在这个过程中起着枢纽的作用。
7. 主导不雅点的放大：由于西宾数据通俗包含更多来自主导文化或群体的内容，模子可能更倾向于这些不雅点，可能会低估或误报少数群体的不雅点。
8. 伦理和包容的遐想：东说念主工智能器具应以伦理探讨和包容性为中枢原则进行遐想。这包括尊重文化互异，擢升种种性，确保AI不会延续无益的刻板印象。
9. 用户指导：用户也被指导何如与AI以一种增进包容性和尊重的格式进行互动。这包括幸免可能导致偏见或不适当输出的苦求。此外，它不错匡助缓解模子从用户交互中学习无益材料的情况。
尽管采纳了这些措施，东说念主工智能代理仍然发达出偏见。东说念主工智能代理的研究和开发的服务正在不时，以进一步减少这些偏见，并增强代理东说念主工智能系统的包容性和平允性。
2.5 Interpretability and Explainability师法学习与解耦
在强化学习（RL）或师法学习（IL）中，智能体通俗会经过一语气的反馈轮回进行西宾，开端的数据策略都由速即运行化得到。关联词，这种方法在面对不老练环境下获取运行奖励时受到贫瘠，尤其是在奖励调度或需要耐久交互才能取得的情况下。因此，一个更好的管理决策是使用通过IL西宾的无限纪念智能体，这么的智能体不错从大家数据中学习策略，擢升探索未知环境的技艺，并利用新出现的基础设施更好地享用这些以前看不见的环境空间。这种具有大家秉性的智能体不错更好地进行探索，并利用看不见的环境空间。这种AI智能体，不错径直从大家数据中学习策略和新的范式经由。
图片
使用代理识别与图片干系的翰墨的交互机制示例。这项任务波及使用汇集上的多模式AI代理和东说念主类注释的知识交互样本，以整合外部宇宙的信息。传统的师法学习方法是让智能体师法大家示范的步履来学习策略。关联词，径直学习大家策略可能并不老是最好的方法，智能体可能无法很好地扩张到未见过的情况。为了管理这个问题，咱们建议一个新的学习策略，该策略领受了内在情境教唆或一个隐含的奖励函数，这个函数不错捕捉到大家步履的枢纽特色。这种策略赋予无限纪念智能体一种物理宇宙步履数据的学习技艺，这种数据来自于大家的示范，不错匡助智能体克服现有的师法学习方法的错误，如需要多量的大家数据，以及在复杂任务中可能出现的诞妄。Agent AI的枢纽念念路有两个部分：1) 汇集物理宇宙大家示范的状态-行动对的无限智能体；2) 师法智能体生成器的假造环境。师法的智能体不错产生雷同于大家步履的动作，同期，通过减少大家步履与由学习策略产生的步履之间的差距这一亏蚀函数，智能体学习了一个从状态映射到动作的策略。
解耦与泛化
智能体不依赖于特定任务的奖励函数，而是从大家示范中学习，这为其提供了包含各式任务方面的状态-动作对的种种性麇集。智能体通过师法大家步履来学习一个将状态映射到动作的策略。在师法学习中，解耦指的是将学习过程与特定任务的奖励函数相分离，使策略或者在不同的任务中进行泛化，而无需显式依赖于特定的任务奖励函数。通过解耦，智能体不错从大家示范中学习，并学习一个或者适当各式情况的策略。解耦使得智能体有技艺进行转移学习，在一个范畴中学到的策略不错以最小的调整适当到其他范畴。通过学习一个不与特定奖励函数绑定的通用策略，智能体不错利用在一个任务中取得的知识在其他干系任务中发达精深。智能体由于不依赖于特定的奖励函数，因此不错在奖励函数或环境发生变化时，不需要大范围的再西宾即可进行适当。这使得学习到的策略在不同环境中更具有强韧性和泛化技艺。本文中的解耦泛指学习过程中的两项任务：学习奖励函数和学习最优策略。
泛化与出现性步履
泛化解释了何如从更浅显的组件或规则中产生出现性属性或步履。枢纽想法在于识别适度系统步履的基本元素或规则，如单个神经元或基本算法。然后，通过不雅察这些浅显组件或规则是何如相互交互的。这些组件的交互通俗会导致复杂步履的出现，这些步履无法通过单独搜检单个组件来预测。在不同复杂性级别上进行泛化，不错使系统学习适用于这些级别的一般原则，从而产生出现性质。这使得系统或者适当新的情况，展示出由更浅显的规则产生的更复杂的步履。此外，跨不同复杂性级别进行泛化的技艺有助于知识从一个范畴转移到另一个范畴，这种转移促成在系统适当新环境时出现复杂步履的产生。
2.6 Inference Augmentation东说念主工智能代理的推理技艺在于其解释、预测和基于其西宾及输入数据进行响应的技艺。天然这些技艺在不休改进和提高，但如故需要珍重其局限性以及它们所依赖的西宾数据的影响。尤其在大型谈话模子的布景下，援用它们根据其西宾数据和汲取的输入数据进行推理、预测和生成回答的技艺。东说念主工智能的推理增强是指使用其他器具、时期或数据来增强AI的天然推理技艺，以提高其性能、准确性和实用性。在复杂的决策制定场景或处理微小或专科内容时，这至笨重要。底下将荒谬珍重推理调增强的主要来源：
数据丰富化。引入额外的，经常是外部的，数据源不错提供更多的高下文或布景信息，匡助AI代理作念出更有根据的推断，尤其是其西宾数据可能有限的范畴。举例，AI代理不错从对话或文本的高下文中推断出含义。它们分析给定信息，并用其领略用户查询的意图和干系细节。这些模子擅长于识别数据中的模式。他们利用这种技艺，基于西宾中学到的模式，对谈话、用户步履或其他干系气候进行推断。
算法增强。改进AI的底层算法以作念出更好的推析。这可能波及到使用更先进的机器学习模子，整合不同类型的AI（如结合天然谈话处理和图像识别），或者更新算法以更好地处理复杂任务。谈话模子的推理包括领略和生成东说念主类谈话，包括掌持像语气、意图和不同谈话结构的机要之处。
Human-in-the-Loop（HITL）。加入东说念主的输入来增强AI的推断在某些范畴荒谬有用，如伦理探讨、创造性任务或污秽的场景。东说念主不错提供指导，纠正诞妄或提供代理可能无法自行推断出的见解。
实时反馈集成。使用用户或环境的实时反馈来增强推断是另一种在推断过程中提高性能的有前程的方法。举例，AI可能会根据使用者的实时反馈或在动态系统中改变的条件调整其保举。或者，如果代理在模拟环境中采纳的行动违背了某些规则，不错动态地给以代理反馈以匡助其纠正自己。
跨范畴知识转移。利用一个范畴的知识或模子来改进另一个范畴的推断在生成专科化范畴的输出时荒谬有匡助。举例，为谈话翻译开发的时期可能会应用于代码生成，或者从医学会诊中得到的见解不错增强机器的预测性襄理。
针对特定用例的定制。根据特定应用或产业来调整AI的推理技艺可能包括对AI在专科化的数据集上的西宾，或者微调其模子以更好地适当特定任务，如法律分析、医学会诊或金融预测。由于一个范畴内的特殊谈话或信息与其他范畴的谈话有很大的对比，因此对代理进行范畴特定信息的微调可能有益。
伦理和偏见的探讨。咱们应确保增强过程不引入新的偏见或伦理问题。这需要仔细探讨额外数据的来源，或者新的推理增强算法对平允性和透明度的影响。在进行推理，尤其是对于敏锐话题时，AI代理必须有时避让伦理探讨，这波及到幸免伤害性的刻板印象，尊重秘籍，和确保平允。
持续的学习和适当。如期更新和优化AI的技艺，以跟上新的发展、变化的数据环境和演变的用户需求。
总的来说，东说念主工智能代理的推理增强波及不错通过额外的数据、改进的算法、东说念主的输入和其他时期增强其天然推理技艺的方法。根据使用情况，这种增强对处理复杂任务和保证代理输出的准确性经常至关重要。
图片
一个在开发中的机器东说念主训诫系统。(左) 系统服务经由。这个过程包括三个法式：任务辩论，其中ChatGPT根据指示和环境信息辩论机器东说念主任务; 演示，用户将动作序列在视觉上展示出来。整个的法式都由用户进行复查，如果任何法式失败或者发达出不及，之前的法式不错根据需要从新稽查。(右) 一个网页应用法式，它允许上传演示数据以及用户与ChatGPT之间的互动。2.7 Regulation近期，Agent AI（智能体AI）时期取得了显赫进展，况且其应用于实体系统中开启了以更千里浸式、动态且迷恋不舍的体验与代理东说念主进行交互的新可能性。为了加速程度并简化Agent AI开发中的繁琐服务，研究者们正在辩论开发下一代AI赋能的智能体交互经由。研究者们正在开发一个东说念主机团结系统，东说念主和机器不错在其中有风趣地交流和互动。该系统不错利用LLM（谈话模子）或VLM（视觉谈话模子）的对话技艺和平淡的应酬步履，与东说念主类玩家进行交谈并识别东说念主类的需求。然后，它将根据苦求来实践适当的行动以匡助东说念主工玩家。
当为东说念主机团结系统服务时，LLM/VLM时时演出一个黑匣子的变装，并产生无法预测的输出。这种不细目性在实体开导，如践诺操作机器东说念主的情况下可能变得至笨重要。管理这个问题的一种方法是通过教唆工程把LLM/VLM的焦点适度在一定范围内。举例，在从指示进行机器东说念主任务辩论时，将环境信息包含在内的教唆已被报说念能比仅依赖文本产生更雄厚的输出。这个不雅点得到了Minsky的AI框架表面的提拔，该表面合计LLM/VLM需要管理的问题空间是由所给的教唆界说的。另一种方法是遐想出能让LLM/VLM包含解释性文本的教唆，以让用户领略模子的饶恕焦点或识别内容。此外，在东说念主类的指导下加入一个能用于实践前的考证和修改的更高眉目，不错使得在此类指导下服务的系统的操作更为便利。
在以ChatGPT开发的机器东说念主训诫系统中，这种方法显得尤为灵验（如下图所示）。该系统的服务经由包括了三个法式：任务经营，其中ChatGPT从指示和环境信息上钩划机器东说念主的任务；示范，用户将动作序列以视觉样式展示出来。整个法式都要经过用户审查，如果有任何法式失败或有不及，都不错根据需要追念前边的法式。此外，还有一个汇集应用，用户不错上传演示数据，且不错罢了用户与ChatGPT间的互动。
2.8 Agent AI for Emergent Abilities尽管交互式东说念主工智能代理系统的应用越来越平淡，但大多数建议的方法在面对未始碰见过的环境或情景时，其泛化性能仍面对挑战。面前的建模实践需要开发者为每个范畴准备多量数据集以微调/预西宾模子，关联词这个过程既郁勃又复杂，如果范畴是全新的，这以致可能是不可能的。为了管理这个问题，研究者们构建了不错利用通用基础模子（如ChatGPT、Dall-E、GPT-4等）知识存储的交互式代理，以生成一个新的应用场景，专门为东说念主和代理之间的团结空间遐想。
研究者们发现了一种新的机制，咱们称之为'夹杂现实与知识推理交互'，它能在处理现实宇宙中的复杂任务时，和东说念主进行灵验的团结，同期还能探索未知环境以适当假造现实。在这种机制下，代理学习到：
i) 横跨多种模态的微不雅反应：为每个交互任务汇集干系个体知识（如领略未见过的场景），这些知识既不错从明确的汇集来源获取，也不错通过隐式地从预西宾模子的输出中推断出来。
ii) 对现实无知识管理的宏不雅步履：改进谈话和多模态范畴中的交互维度和模式，并根据明确界说的变装、特定办法变量、夹杂现实息兵话模子中团结信息的种种性影响，进行操作。
研究者们研究了将各式OpenAI模子组合起来，通过知识引导完成协同场景生成的任务，并展示了交互式代理系统何如能进一步擢升咱们环境中的大型基础模子的性能。它集成并提高了泛化的深度、坚决和可解释性的复杂自适当AI系统。
图片
咱们建议的新的多模态万能代理东说念主范型。如图所示，主要有五大模块：1)环境和感知，包括任务经营和技巧不雅察；2)代理学习；3)纪念；4)代理行动；5)解析。3 Agent AI Paradigm本节中，研究者们商议了一种新的东说念主工智能代理（Agent AI）西宾模式和框架。该新框架主要包含以下几个办法：
1. 利用现有的预西宾模子和预西宾策略，使咱们的代理或者灵验地领略重要的模式，举例文本或视觉输入。
2. 提供饱胀的耐久任务经营技艺。
3. 结合一种或者将学到的知识编码并在后续进行检索的内存框架。
4. 允许利用环境反馈灵验地西宾代理，使其学会采纳哪些行动。
图片
咱们展示了通过结合大型谈话模子（LLM）和大型视觉模子（LVM）来创建多模态AI代理确面前范例。通俗情况下，这些模子汲取视觉或谈话输入，并使用预西宾和固定的视觉息兵话模子，学习联结和桥接各式模态的较小子汇集。示例包括 Flamingo，BLIP-2，InstructBLIP以及LLaVA。3.1 LLMs and VLMs研究者们利用LLM（大型谈话模子）或者VLM（视觉谈话模子）为智能体（Agent）构建组件如图fig:AgentParadigm所示。尤其是文爱 剧情，LLMs还是在职务经营上发达出色，包含了多量的宇宙知识，并能展示出深厚的逻辑推理技艺。另外，像CLIP这种VLM提供了一个与谈话对皆的通用视觉编码器，况且领有零样本视觉识别技艺。举例，最先进的开源多模态模子如LLaVA和InstructBLIP，它们依赖冻结的CLIP模子动作视觉编码器。
图片
归并的多模态变压器模子。咱们建议了一种用于代理系统的归并的、端到端的西宾范式，而不是领悟冻结的子模块和使用现有的基础模子动作构建块。咱们仍然不错使用LLM和LVM运行化子模块，如图所示，但也不错利用代理令牌，这是专门用于西宾模子在特定范畴（举例，机器东说念主时期）实践代理步履的令牌。接洽代理令牌的详确信息，请参阅第 节。3.2 Agent Transformer Definition在AI代理方面，研究者们不再只是使用冻结的LLMs和VLMs（谈话和视觉模子），他们尝试领受一个综合的改革模子，这个模子不错收受视觉令牌息兵话令牌动作输入，这种格式雷同于Gato reed2022generalist的服务。除了视觉息兵话，模子的输入还增多了第三种类型——代理令牌。从见地上来讲，代理令牌被用来在模子的输入和输出空间中保留一个特定的子空间，用以展示代理步履。在机器东说念主或者游戏玩家的步履中，这不错被视为适度器的输入动作空间。在西宾代理使用特定器具，如图像生成或图像编著模子，或其他API调用时，也会使用到代理令牌。
研究者们不错将代理令牌与视觉息兵话令牌进行结合，这么就能为西宾多模态AI代理创建一个归并的接口。比拟使用大型私有谈话模子动作代理，使用代理改革器有以下几个上风：起先，模子不错被轻佻地定制到特定的代理任务，这些任务可能通过天然谈话难以形容（如适度器输入或其他特定动作）。因此，代理不错通过学习环境互动和范畴特定的数据来提高性能。其次，通过获取代理令牌的可能性，更容易领略模子为何采纳特定行动或为何不采纳。第三，有些范畴，如医疗和法律，有严格的数据秘籍要求。终末，相对较小的代理改革器可能比大型专有谈话模子更为经济。
研究者们建议的代理多模态改革模子，不再是联结冻结的子模块和使用存在的基础模子动作构建块，而是为代理系统建议了一个归并的、端到端的西宾范式。天然在运行化子模块时，研究者们不错像在图fig:LLMAgent中那样使用LLMs和LVMs，然而他们也会利用代理令牌，这是一种专门用于西宾模子在特定范畴。
3.3 Agent Transformer Creation研究者们不错领受新的代理东说念主范例，欺骗LLM和VLM引导代理东说念主，同期利用大型基础模子生成的数据来西宾代理东说念主变压器模子，使其学会实践特定办法。在这个过程中，代理东说念主模子被西宾为对特定任务和范畴有专科和精细的配备。这种方法允许你利用现有的基础模子的学习特征和知识。咱们不才面简化了这个过程的概述，分为两个法式：
界说范畴内的办法。为了西宾代理东说念主变压器，需要明确界说代理东说念主在每个特定环境中的办法和行动空间。这包括细目代理东说念主需要实践哪些特定任务或动作，并为每个任务或动作分派独一的代理东说念主标记。此外，不错用来标志任务奏效完成的任何自动规则或法式都不错显赫增多可用于西宾的数据量。不然，将需要用基础模子生成的数据或东说念主类注释的数据来西宾模子。在汇集到数据并或者评估代理东说念主的性能后，就不错滥觞持续改进的过程。
持续改进。持续监测模子的性能和汇集反馈是这个过程中的枢纽法式。反馈应该用于进一步的微长入更新。也很重要的是要确保模子不会不时传播偏见或不说念德的收尾。这需要对西宾数据进行仔细的搜检，如期搜检输出中的偏见，如果需要的话，西宾模子识别和幸免偏见。一朝模子达到欢乐的性能，就不错将其部署到预期的应用中。持续监测仍然很重要，以确保模子如预期那样实践，并进行必要的调整。
4 Agent AI Learning4.1 Strategy and Mechanism这一策略所以一种主动汇集用户反馈、行动信息、用于生成和交互的有用知识的西宾过的代理，来扩展在不同范畴的交互式AI的范式。有时候，不需要再次西宾LLM/VLM模子，只需在测试时为代理提供改进的高下文教唆，就能提高它们的性能。
另一方面，这一策略老是波及到借助三重系统的知识/推理/学问/推断的交互式建模，其中一个系统稳健从多模子查询中获取知识，第二个系统稳健从干系代理中进行交互式生成，终末一个系统则稳健以改进格式进行有益的自我监督西宾或强化学习或师法学习的预西宾。
这里的三重系统就像三个大家团队，每个团队都有我方的专长和任务：一个团队稳健从海量的信息中寻找并索求有用的知识，这就像是在不休更新的藏书楼里找到咱们需要的书；第二个团队稳健根据第一个团队找到的知识进行产品的创建和优化，就像是用找到的书写一篇论文；终末一个团队则稳健让AI系统通过学习逾越，就像是用论文获取好得益，然后反过来优化写稿技巧和知识。
4.1.1 Reinforcement Learning (RL)领受强化学习（RL）来西宾具备智能步履的交互式代理者有着丰富的历史。强化学习是一种根据其行动产生的奖励（或处分）学习状态和行动之间最优关系的方法。其最中枢的应用平淡，如机器东说念主时期等，但要克服几个困难：奖励遐想，数据汇集与效率以及耐久法式。
奖励遐想是政策学习效率的一个重要身分。遐想奖励函数不仅需要了解RL算法，更需要深入了解任务的实质，因此通俗需要根据大家的训戒来调整函数。近期的一些研究滥觞探索了使用LLM/VLM模子遐想奖励函数。
在数据汇集和效率方面，由于RL基于策略学习具有探索性，需要多量的数据。荒谬是在对长序列或复杂动作进行处理时，这种需求尤其显明，因为这些场景要求愈加精采的决策和从更平淡情况中学习。因此，新近的研究死力于增强数据生成以提拔策略学习，同期，将这些模子整合到奖励函数中可提高策略学习方面，有些研究还是提拔应用。
色吧影院对于长程法式来说，跟着动作序列长度增多，RL将变得更具挑战性。这是由于动作和奖励之间关系的污秽性（即信用分派问题）以及要探索的状态数目增多，需要多量的时分和数据。管理长程和复杂任务的一个典型方法是将它们拆分为一系列子办法，并应用预西宾的策略来管理每个子办法。
最近的研究越来越多地领受一种方法，即使用LLM实践高等任务经营，而将初级适度用RL-based政策略管理。LLM的先进功能使它们或者灵验地将以致是抽象的指示阐明为子办法，从而增强了机器东说念主系统中的谈话领略技艺。
4.1.2 Imitation Learning (IL)强化学习（RL）的办法是基于探索性步履和通过与环境互动来最大化奖励来西宾一个策略，而师法学习（IL）则寻求利用大家数据来师法训戒丰富的代理或大家的行动。以机器东说念主时期为例，基于IL的主要框架之一就是步履克隆（BC）。BC是一种让机器东说念主通过径直复制来师法大家行动的方法。在这个方法中，记载了大家在实践特定任务时的行动，然后西宾机器东说念主在雷同的情况下复制这些行动。最近基于BC的方法时时结合LLM/VLM时期，从而或者罢了更进阶的端对端模子。举例，Brohan等东说念主建议了RT-1brohan2022rt和RT-2brohan2023rt，这些以图像息兵话为输入，输出基座和臂部动作序列的变压器模子。据报说念，这些模子由于在多量西宾数据上的西宾，夸耀出了高度的泛化性能。
要以第一性旨趣来总结，RL和IL的区别在于RL是通过与环境交互，并以奖励为导向进行学习。而IL则是通过不雅察和复制大家的步履来学习。这就像RL是一个东说念主寂然完成任务并从诞妄中学习，而IL像是复制大家的步履模式进行学习。BC是IL的一种顶点样式，通过复制大家的精确动作来学习，这就像一个手工艺制作家复制一个精采的工艺经由一样。最新的BC方律例更进一步地引入了LLM/VLM时期，以此罢了更先进的端对端模子，就像是一个艺术家不仅复制行家的画作，还复制了他们的创作过程。
4.1.3 Traditional RGB研究者们于多年来一直对利用图像输入来学习智能代理步履发达出广博敬爱敬爱。关联词，使用RGB输入的固有挑战在于'维度的追悼'。为了管理这个问题，研究者们或者领受更多的数据，或者引入归纳偏差到模子遐想中以提高样本效率。荒谬是，作家将3D结构融入到模子架构中进行操作。对于机器东说念主导航，作家使用舆图动作清晰。舆图不错通过一个团聚整个之前RGB输入的神经汇集或通过3D重建方法如神经辐照场来学习得到。
为了取得更多的数据，研究者们合成了使用图形模拟器的合成数据，试图关闭模拟到真实的差距。最近，有一些一心一力死力于筹划大范围数据集，目的是管理数据稀缺问题。另一方面，为了提高样本复杂性，数据增强时期也得到了平淡的研究。
起先，让咱们领略'维度的追悼'，这个见地是指，当咱们探讨一个问题的维度（特征）数目增多时，数据的量需要以指数级增长，才能灵验地遮盖整个的可能性。不错联想，对于一款以RGB输入的游戏来说，尝试遍历整个可能的图像输入将辱骂常耗时和低效的。
在此基础上，研究者们的一种管理决策是取得更多的数据。举例，他们使用图形模拟器生成合成数据，并尝试收缩模拟器生成的数据与真实宇宙数据之间的差距，这个过程被称为'模拟到真实的差距'。同期，他们也在奋勉筹划大范围数据集，以管理数据稀缺问题。
另一种管理决策是改进样本的复杂性。他们通过引入归纳偏差到模子遐想中以提高样本效率，如将3D结构融入到模子架构中进行操作。同期，数据增强动作另一种提高样本复杂性的方法也得到了平淡的研究。
4.1.4 In-context Learning在大型谈话模子如GPT-3（brown2020language， min2022rethinking）的推动下，情境学习被诠释是管理天然谈话处理（NLP）任务的灵验方法。将少量示例融入到谈话模子的教唆中，即使用少量语境教唆，被视为是让模子在天然谈话处理任务中具备情境化输出的灵验格式。举例，对于情境示范，研究者们发现，示例的种种性和质料可能会提高模子输出的质料（an2023context， dong2022survey）。
在多模态基础模子的情境中，像Flamingo和BLIP-2（alayrac2022flamingo， li2023blip）这么的模子被证实在只给以少量示例的情况下，能灵验地完成各式视觉领略任务。这不错类比为，就像东说念主类在只看过几次的情况下，就或者领略和识别物体一样。
而且，当采纳某些行动时，通过将环境特定的反馈融入其中，不错进一步改善环境中的实体的情境学习（gong2023mindagent）。这不错领略为，当某个行动产生某个收尾时，环境会给出反馈。实体记取这个反馈，从而改善自己步履，这就是情境学习的一种改进格式。
4.1.5 Optimization in the Agent System优化智能体系统可分为空间优化和时分优化两个方面。空间优化饶恕的是智能体如安在实体空间中操作以实践任务，包括机器东说念主之间的调和、资源分派和保持有序空间。
为了灵验地优化多量并行操作的智能体AI系统，研究者们之前的服务东要聚首在使用多量量强化学习。由于针对特定任务的多主体互动数据集很少，自我对弈强化学习使得一组智能体得以跟着时分推移而逾越。然而，这也可能导致产生绝顶脆弱的智能体，这些智能体只可在自我对弈的环境下服务，不成与东说念主类或其他寂然的智能体沿途服务，因为它们过度适当了自我对弈的西宾模式。为了管理这个问题，研究者们不错采用发现一个种种化的商定集和西宾一个或者领略各式商定的智能体。基础模子不错进一步匡助智能体建立与东说念主类或其他寂然智能体的商定，使得新的智能体或者获胜地调和。
另一方面，时分优化饶恕的是智能体何如跟着时分的推移实践任务。这涵盖了任务辩论、序列和时分线效率。举例，优化机器东说念主手臂的轨迹就是一语气任务间高效优化训诫的一个例子。在职务调度层面，如LLM-DP和ReAct这么的方法被建议来通过互动式地探讨环境身分来管理高效任务辩论的问题。
4.2 Agent Systems (zero-shot and few-shot level)4.2.1 Agent Modules研究者们深入探索了代理东说念主范例，发展了以LLMs或VLMs为基础的Agent AI '模块'，它是交互式多模态代理东说念主的体现。他们起先的Agent模块易于西宾和在高下文中学习，并领受了极简主义的遐想，以夸耀代理东说念主灵验地安排和调和的技艺。他们还探索了起先基于教唆的纪念技巧，这种技巧不错更好地进行经营，并指导范畴内改日的行动方法。
以“MindAgent'基础设施为例，它主要包括五个模块:1)环境感知和任务经营，2)代理学习，3)纪念，4)一般代理步履预测，以及5)解析（如图fig:AgentParadigm所示）。这就好像是一个东说念主的大脑，每个模块都演出着特定的变装，环境感知和任务经营就是东说念主的眼睛，匡助咱们不雅察环境和设定办法，代理学习就是学习过程，纪念储存了咱们的知识，步履预测就像是咱们基于知识和训戒对改日的预测，而解析则是对整个输入和输出的全面领略。
4.2.2 Agent Infrastructure基于代理东说念主的东说念主工智能（Agent-based AI）在文娱、研究和工业等范畴飞快发展，如同好多种类的生物群落在各自的范畴中闹热壮大。大型基础模子的开发显赫地擢升了代理东说念主AI系统的性能，然而，高质料数据集的创建以及用度的增长还是适度了在这个范畴中的创新。如同郁勃的襄理用度制约了生物种群数目的增长。
在微软，通过使用先进的硬件、多元的数据源和建壮的软件库，高质料代理东说念主基础设施的缔造，使得多模态代理东说念主副驾驶（multi-modal agent copilots）受益颇多。跟着微软不时推动代理东说念主时期的界限，AI代理东说念主平台有望在改日几年不时在多模态智能范畴占据主导地位。
关联词，代理东说念主AI的交互仍然是一个需要结合多项技巧的复杂过程，如同高水平的烹调需要掌持各式烹调技法。大型生成AI模子的先进时期有可能大大裁减面前互动内容的郁勃资本和所需时分，这不仅对大型服务室有益，也能赋能更多的寂然内容创作家遐想出越过面前技艺的高质料体验。
面前，多模态代理东说念主中的东说念主机交互系统主淌若基于规则的，它们对东说念主类/用户的反应有一定的智能化步履，也一定程度上掌持了汇集知识，如同宠物狗对主东说念主指示的反应和纪念。关联词，它们的交互时时受到制定系统特定步履的软件开发资本的适度。此外，现有模子并未遐想为在用户无法完成特定任务时匡助其罢了办法。因此，咱们需要一个或者分析用户步履并在需要时提供得当提拔的代理东说念主AI系统基础设施。如同咱们需要一个能随时匡助咱们管理难题的通知或私东说念主助理。
4.3 Agentic Foundation Models (pretraining and finetune level)预西宾的基础模子平淡适用于各式不同的用例，为各式应用开发定制管理决策提供了广博的上风，绕过了针对每个特定任务需求多量标签数据集的问题。
在导航范畴，一个值得珍重的例子是LM-Nav系统，该系统带受了一种新颖的方法，结合了GPT-3和CLIP。该方法灵验地使用谈话模子生成的文土产货标，并将其锚定在用于导航的机器东说念主获取的图像中。这种方法展示了文本与视觉数据的无缝和会，大大提高了机器东说念主导航的技艺，同期保持了平淡的适用性。
在机器东说念主操作中，一些研究建议使用现成的LLM（举例ChatGPT）并使用怒放词汇的对象检测器。LLM和先进的对象检测器（举例Detic）的结合有助于领略东说念主类的指示，并将文本信息在践诺场景中定位。此外，最新的进展夸耀出了使用教唆工程与像GPT-4V（ision）这么的先进多模态模子的后劲。这种时期为多模态任务经营大开了新的说念路，凸起了预西宾模子在各式情况下的种种性和适当性。
以一种类比的格式来领略，预西宾模子就像是一个训戒丰富的'万能工东说念主'，他们不错适当各式服务环境，不同的任务只需要给出相应的指示，就或者利用他们的训戒来完成。恰是由于这种平淡的适用性和种种性，预西宾模子在践诺应用中展现出了极大的上风和价值。
5 Agent AI Categorization此章节属于分类先容，不太重要，暂不赘述，不错径直看原文
6 Agent AI Application Tasks对于这段文本的领略，主要形容的是一种基于GPT-4V的游戏步履预测与多交互编著的实体代理，在《我的宇宙：地牢（Minecraft Dungeons）》游戏中模拟和生成游戏感知。
图片
这是一个用于用户交互式游戏动作预测以及与Minecraft Dungeons游戏情景模拟和生成交互编著的实体代理，通过GPT-4V进行操作。在这个场景中，研究者们将GPT-4V引入到游戏的动作预测和交互式编著上。他们这么作念的办法是使游戏的体验愈加真实。
这里的'GPT-4V'不错领略为是一种建壮的东说念主工智能算法，就像是一个超等智能的“棋手”，不错预测玩家的下一步动作，况且进行互动。《我的宇宙：地牢》则是一款知名的电子游戏，不错联想为这个“棋盘”。
'实体代理'则是一种代表玩家在假造游戏宇宙中行动和交互的变装。雷同于适度“棋子”的手，在游戏宇宙中为玩家提供操作场景。
'游戏感知模拟和生成'，则是通过GPT-4V这个“棋手”对游戏环境和动作进行分析，模拟发滋事情的可能性，并试图生成最有可能的游戏旅途。雷同于预测“棋盘”上可能发生的情况，并试图找到最好的走法。
总的来说，研究者们在这项研究中，通过结合GPT-4V和假造游戏环境，在游戏行动预测和交互编著方进取进行研究和尝试，最终完成一种在《我的宇宙：地牢》游戏中感知生成和模拟的实体代理。
6.1 Agents for Gaming游戏为测试LLMs（低眉目模子）和VLMs（高眉目模子）的主体步履提供了一个迥殊的沙盒环境，这挑战了他们在合作和决策技艺方面的界限。研究者们荒谬形容了三个方面，凸起了代理东说念主与东说念主类玩家以过头他代理东说念主的交互技艺，以及他们在环境中采纳有风趣行动的技艺。
起先，代理东说念主与东说念主类玩家和其他代理东说念主的互动。这里的'代理东说念主'不错领略为游戏中的东说念主工智能变装，与东说念主类玩家或其他AI变装的互动就像是两个东说念主在棋盘上相互出招，互动的格式和规则都被预设在了游戏之中。
其次，代理东说念主的决策技艺。就像棋战的东说念主需要评估每一步的是非，采用最好的行动决策一样，代理东说念主的决策技艺是揣度其智能程度的重要法式。这不仅需要领略其面前的环境状态，还需要预测可能的改日趋势，以致需要对其他玩家的步履有一定的预判。
终末，代理东说念主在环境中采纳有风趣的行动的技艺。这意味着，代理东说念主不仅需要作念出决策，还需要将决策滚动为践诺的行动。这种行动不仅需要在面前环境中可行，还需对通盘游戏环境产生积极的影响。
总的来说，游戏为研究者们提供了一个联想的平台，不仅不错测试代理东说念主的互动技艺，还不错不雅察他们的决策过程和行动收尾，为东说念主工智能范畴带来了新的研究视角和方法。
6.1.1 NPC Behavior在现代游戏系统中，非玩家变装（NPCs）的步履主要由开发东说念主员悉心编写的预界说剧本适度。这些剧本包含了基于各式触发器或玩家在游戏环境中的步履所产生的各式反应和互动。关联词，这种剧本化的性质时时会导致NPC的步履变得不错预测或者重叠，无法根据玩家的步履或游戏的动态环境进行适当性变化。这种刻板性适度了游戏环境的千里浸式体验。因此，东说念主们对于利用大型谈话模子（LLMs）来赋予NPC步履自主性和适当性，使互动愈加细腻和迷恋不舍的需求日益增强。由AI驱动的NPC不错学习玩家的步履，适当不同的策略，并提供更具挑战性和不可预料性的游戏体验。
大型谈话模子（LLMs）不错大大促进游戏中NPC步履的发展。通过处理多量的文本，LLMs或者学习模式，并生成更种种的、雷同东说念主类的反应。不错利用它们来创建动态的对话系统，使得与NPC的互动变得更令东说念主参加，更不可预料。此外，LLMs还不错针对玩家反馈和游戏数据进行西宾，不休优化NPC的步履，使其更相宜玩家的盼望和游戏的动态。
这就好比，NPC是安装了预设法式的机器东说念主，原先岂论环境何如变化，都按照预设的法式行动。当今，LLMs就如同给NPC装上了一个能学习和领略环境变化的'大脑'，让NPC或者调整步履，显得愈加天然，也更风趣。
图片
GPT-4V或者在汲取到动作历史和游戏办法的教唆后，灵验预测下一高等动作。更进一步来说，GPT-4V能准确识别玩家手中正持有木头，并能将这种感知信息融入到其改日步履的辩论中。尽管GPT-4V看起来或者预测一些初级动作（比如按`E`大开物品栏），但这种模子的输出并不适合原生地预测初级动作（包括鼠标挪动），并可能需要补充模块来适度初级动作。6.1.2 Human-NPC Interaction在游戏体验中，东说念主类玩家与非玩家变装（NPC）的互动是至关重要的一部分。传统的互动范式主淌若一种单向的互动样式，NPC对玩家的输入采纳预设的响应。这种适度贫瘠了更天然且丰富的互动后劲的罢了，这种互动雷同于假造范畴内的东说念主与东说念主的互动。长短纪念（LLM）和视觉LM（VLM）时期的出现有可能改变这么的范式。通过应用这些时期，游戏系统不错分析并从东说念主类步履中学习，以提供更像东说念主类的互动。这不仅增强了游戏的真实性和参与感，也为探索和领略东说念主机交互提供了一个在受控而复杂的环境下进行的平台。
GPT-4V在给定“动作历史”和“游戏办法”时，不错灵验地预测改日的高等动作。此外，GPT-4V能准确识别出玩家正在手中持有木头原料，并能将这些被感知到的信息纳入到改日的动作辩论中。尽管GPT-4V看起来能预测一些初级动作（举例按'E'键大开背包），但模子的输出并不固有地适用于预测原生的初级动作（包括鼠标挪动），并可能需要额外的模块来进行辅助，以适度初级别的动作。
6.1.3 Agent-based Analysis of Gaming游戏是日常糊口的重要组成部分，据计算，全球一半的东说念主口都参与其中。此外，它对精神健康也有积极影响。关联词，现代游戏系统在与东说念主玩家的互动方面存在颓势，因为他们的步履主要由游戏开发者手动遐想。这些预设定的步履时时无法适当玩家的需求。因此，有必要在游戏中使用新的AI系统来分析玩家步履，然后在需要时提供适当的提拔。智能互动系统有可能绝对改变玩家与游戏系统的互动格式。NPC（游戏中的非玩家变装）与玩家的互动不再局限于游戏开发者遐想的局限性规则。NPC有后劲无缝适当玩家的体验，提供实时的反馈，以丰富游戏体验，擢升东说念主机交互的协同效应。
长距离谈话模子(LLMs)不错动作分析游戏内文本数据（包括聊天记载、玩家反馈和叙述内容）的建壮器具。它们不错匡助识别玩家步履、偏好和互动的模式，这对游戏开发者改进游戏机制和叙述是无价的。此外，视觉谈话模子(VLMs)可解析来自游戏会话的多量图像和视频数据，有助于分析游戏宇宙内用户的意图和行动。而且，LLMs和VLMs不错便于开发能以复杂而类东说念主的格式与玩家和其他智能代理交流的游戏代理，从而擢升合座的游戏体验。除了LLMs和VLMs，用户输入数据提供了一个有前程的阶梯，通过师法东说念主类玩家对游戏的感知、玩游戏和领略游戏，不错创建演出游戏变装的代理。通过集成玩家互动和反馈的组合、像素输入以及天然谈话辩论和领略等方面，代理模子不错协助持续改进游戏动态，推动更以玩家为中心的游戏环境演进。
6.1.4 Scene Synthesis for Gaming场景合成是游戏环境创建和增强的重要组成部分，涵盖了游戏内三维场景和环境的自动生成或半自动生成。这个过程包括地形生成、物体扬弃、真实光照的创建，以致包括动态天气系统的生成。
图片
在未见过的Minecraft视频上进行的遮罩视频预测。从左到右差别是：原始帧、被遮罩的帧、重建的帧，以及带有补丁的重建帧。现代游戏通俗具有普遍的怒放宇宙环境，手动遐想这些景不雅既耗时又耗资源。自动地形生成时期，时时借助法式化或东说念主工智能驱动的时期，不错减少东说念主工努力，分娩出复杂、真实的景不雅。言语模子（LLMs）和视觉言语模子（VLMs）不错利用互联网的大范围知识，生陈规则，遐想出既迥殊又视觉颤动的非重叠性景不雅。此外，LLMs和VLMs还不错确保生成钞票的语义一致性和可变性。将建筑、植被和其他元素传神而宽裕好意思感地扬弃在一个场景中，对于千里浸感至关重要。
LLMs和VLMs在物体扬弃方面不错匡助，它们撤职预界说或学习的规则和好意思学，从而加速了关卡遐想的经由。经过进一步西宾后，这些模子能领略遐想和好意思学的旨趣，辅助法式化生成内容。它们不错匡助制定例则指南，以便法式算法生成既视觉诱导力又相宜高下文的物体和场景。
图片
在游戏Minecraft场景中，使用袖珍代理预西宾模子进行初级别的下一步碾儿动预测。真实的光照和大气效果对于创建宽裕诱导力的游戏环境至关重要。先进的算法不错模拟天然光照条件和动态天气效果，提高场景的真实性和情谊氛围。LLMs不错匡助以创新格式开发系统，罢了更真实的光照和大气效果。VLMs不错分析来自现实宇宙光照和大气条件的大范围数据集，匡助开发更真实的游戏模拟效果算法。通过领略天然光照和天气的模式和复杂性，这些模子不错为开发更接近现实的算法作念出孝顺。LLMs和VLMs还不错用于开发基于玩家动作、游戏状态或外部输入实时调整光照和大气效果的系统。它们不错处理来自玩家的天然谈话呐喊，修改游戏环境，提供更互动和千里浸的体验。
图片
处于高下文体习游戏基础设施中的MindAgent。游戏环境需要各式种种化的辩论技巧和器具使用来完成任务。它生成干系的游戏信息，并将游戏数据滚动为LLMs或者处理的结构化文本样式。咱们基础设施的主力决策者，因此充任多代理系统的调度员。一个存储干系信息的器具。从文本输入中索求动作，并将其滚动为特定范畴的谈话，并考证这些DSLs在实践过程中不会产生诞妄。6.1.5 Experiments and Results研究者们使用了GPT-4V模子，用来生成与游戏视频相对应的高等形容和动作预测（如图：GPT4Vgamediog和GPT4Vminecraft）。佳能增强文本始创了一种新的方法，用游戏动作先验生成3D场景，以匡助改善场景的天然性。在这种情况下，GPT-4V能生成与视频游戏干系的适当高等形容。
极简Agent预西宾模子
为了展示视觉-谈话架构，研究者们起先研究了预西宾Minecraft数据中其应用的效果。如图：AMT所示，给定动作Agent、视频枢纽帧和对应的文本，不错用法式的编码器-解码器将Agent动作和图像滚动为动作文本token和图像patch token，然后使用视觉-谈话解码器将其滚动为预测动作的句子。合座架构如图：AMT所示。他们使用了几个Minecraft演示来评估方法的效果。Minecraft的视频数据包括5分钟的编著，预西宾所用的包含78K个视频，第一轮预西宾使用了5K视频（占预西宾数据的6%）。在16个NVIDIA v100 GPUs上西宾了一个250M参数的模子一整天，并在图：Unseen和图：Actionperdiction可视化模子输出。图：Unseen夸耀，相对较小的agent架构不错为西宾中未见过的Minecraft场景生成合理的输出。图：Actionperdiction展示了模子预测与东说念主类玩家真实动作的对比，标明咱们的袖珍agent模子对游戏场景有一定的底层领略。多智能体基础设施 研究者们遐想了一个新的基础设施，用于一个新的名为'餐饮宇宙'的游戏场景（如图：AgentParadigm和图：mindagentmodel）。基础设施或者利用GPT-4动作中心境划者，罢了多Agent间的团结，并能跨游戏范畴服务。他们研究了系统的多智能体经营技艺，并将基础设施部署到真实的视频游戏中，以诠释其多智能体和东说念主工智能的团结效劳。此外，他们还展示了'餐饮宇宙'，这是一个基于文本的多智能体团结基准，提供了一个新的自动度量团结分数（CoS）以量化团结的效率。
6.2 Robotics机器东说念主是需要与环境灵验交互的代表性代理。这个部分，研究者们将先容对于高效机器东说念主操作至关重要的枢纽元素，追念最新的LLM/VLM时期被应用到的研究范畴，并分享咱们最近的研究恶果。
图片
机器东说念主训诫系统概述，该系统整合了一个由ChatGPT驱动的任务经营器。过程波及两个法式：任务经营，在这个法式中，用户使用任务经营器创建一个动作序列，并通过反馈调整收尾（如有必要）；演示，用户视觉上演示动作序列，以提供机器东说念主操作所需的信息。视觉系统将汇集用于机器东说念主实践的视觉参数。视觉训诫适度。视觉训诫适度指的是视觉感知和训诫步履在机器东说念主系统中的整合，以灵验地实践任务。这个整合至关重要，因为它让机器东说念主或者解读来自环境的视觉数据，并相应地调整它们的训诫步履，以准确地与环境交互。举例，在安装线上，一个配备有视觉训诫适度的机器东说念主不错感知对象的位置和场地，并精确地调整其操作器与这些对象交互。这个技艺对于保证机器东说念主在从工业自动化到协助老年东说念主作念日常服务等各式应用中的精度和效率至关重要。此外，视觉训诫适度不错匡助机器东说念主适当动态环境，这里环境的状态可能会飞快变化，需要根据视觉反馈进行实时的训诫步履调整。
此外，在安全操作的场所中，视觉信息对于检测实践诞妄和阐述每个机器东说念主动作的前后条件至关重要。在无法适度的环境中，比如未知的家庭环境，机器东说念主更有可能因为不可预测的身分，比如变化的产物样式、多变的光泽和滑动，而面对不预期的收尾。在这些情况下，只是通过前馈格式实践预测划的动作可能带来显明的风险。因此，使用视觉反馈在每个法式中持续考证收尾，是保证机器东说念主系统的稳健和可靠操作的枢纽。
基于谈话的操作。基于谈话的操作意味着机器东说念主系统或者依据谈话指示解读和实践任务。这一丝对于创建直不雅的、用户友好的东说念主机交互界面荒谬重要。通过天然谈话呐喊，用户不错给机器东说念主指定办法和任务，这种格式雷同于东说念主与东说念主之间的交流，从而裁减了操作机器东说念主系统的难度。在践诺场景中，举例，用户不错指示服务机器东说念主从桌子上提起红苹果，机器东说念主就会解析这个指示，识别所述的对象，并实践提起它的任务。中枢的挑战在于开发鲁棒的天然谈话处理和领略算法，或者准确解读各式各样的指示，从径直的呐喊到更抽象的指示，并让机器东说念主不错将这些指示滚动为可行的任务。此外，确保机器东说念主不错将这些指示扩张到各式不同的任务和环境，是提高其在现实宇宙应用中的通用性和实用性的枢纽。
图片
通过自动生成的反馈调整输出序列的示例。咱们在实验中使用了一个开源模拟器，名为VirtualHome。假定给出一个指示，从桌子上取走馅饼，然后用炉子加热。任务经营器管帐齐整系列在VirtualHome中提供的功能。如果检测到实践中的诞妄，任务经营器会根据自动生成的诞妄音书调整其输出。在被称为任务和训诫经营的机器东说念主框架中，使用谈话输入来指导机器东说念主任务经营还是引起了东说念主们的饶恕。
技巧优化 最新的研究标明，LLMs在机器东说念主任务经营中的效果显赫。关联词，灵验的实践任务，荒谬是那些波及到物理交互的任务，比如抓持，需要对环境有深度的领略，而这越过了单纯的解读东说念主类指示的范围。举例，机器东说念主抓取需要精确的战斗点和手臂姿势，以便高效实践后续动作。而这些元素——精确的战斗点和手臂姿势——对东说念主来说是直不雅的，但通过谈话形容它们却是有挑战性的。尽管在互联网范围的VLMs方面取得了进展，但从场景中捕捉这些机要的迤逦陈迹，并灵验地将它们滚动为机器东说念主技巧，仍然是一个重要的挑战。为了应酬这个挑战，机器东说念主学社区越来越多地聚首在汇集增强数据集，或者从东说念主类示范中径直获取技巧的方法论的开发上。这些包括从示范学习和仿真学习的框架，它们在优化物理技巧中起着枢纽的作用。
6.2.1 LLM/VLM Agent for Robotics.近期的研究标明，波及机器东说念主与环境中的东说念主类互动的LLM/VLM有广博的后劲。试图利用最新LLM/VLM时期的研究主题包括：
多模态系统：近期的研究热门在于开发将最新的LLM和VLM时期动作输入信息编码器的端到端系统。荒谬的，修改这些基础模子以处理多模态信息的趋势绝顶显明。这种改适旨在基于谈话指示和视觉陈迹引导机器东说念主行动，从而罢了灵验的实体化。
图片
概述使用GPT-4V和GPT-4的多模式任务经营器。该系统处理视频演示和文本指示，为机器东说念主实践生成任务辩论。任务经营和技巧西宾：与端到端系统相悖，任务和动作经营（TAMP）基础系统起先狡计高眉目的任务辩论，然后使用被称为技巧的低眉目机器东说念主适度来罢了它们。LLM的先进谈话处理技艺还是诠释了或者解释指示并将其阐明为机器东说念主的行动法式的技艺，极地面推动了任务经营时期。在技巧西宾方面，有一些研究探索了将LLM/VLM用于遐想奖励功能，生成数据以促进政策学习，或动作奖励函数的一部分。这些努力将促进高效机器东说念主适度器的开发。
图片
视频分析器输出的示例。这五帧以一定断绝索求并输入到GPT-4V中。咱们在第几节中形容了通盘经由。现场优化：在机器东说念主范畴实践耐久任务法式可能会绝顶困难，因为环境条件可能会出现未必和不可预测的情况。因此，在机器东说念主范畴的一个重要挑战波及通过将任务辩论与实时环境数据集成，动态地调整和优化机器东说念主技巧。举例，有一种方法建议了狡计行动（即，便利性）的可行性的方法，并将其与已辩论的任务进行比较。此外，也有一些方法专注于使LLM或者输出任务辩论的前提条件和后续情况（举例，对象的状态和它们之间的关系），以优化任务法式的实践，和检测预设条件诞妄，从而对任务辩论进行必要的改造。这些策略试图通过整合环境信息以及调整任务辩论或适度器水平的机器东说念主行动来罢了环境基础的机器东说念主实施。
图片
这些是利用GPT-4V的场景分析器输出的示例。咱们在第几节中详确形容了咱们的通盘经由。交谈代理：在创建对话机器东说念主时，LLM不错为机器东说念主与东说念主类的天然、环境敏锐的互动作念出孝顺。这些模子处理和生成仿照东说念主类对话的回答，使机器东说念主或者参与有风趣的对话。此外，LLM在计算见地和情谊秉性的表述方面阐述预防要的作用。这些属性有助于领略东说念主类意图和产生有风趣的姿势，因此有助于提妙手机交流的天然度和灵验性。
导航代理：机器东说念主导航有着悠久的研究历史，主要饶恕诸如基于舆图的旅途经营和同期定位和画图（SLAM）等中枢研究，以用于创建环境舆图。这些功能还是成为ROS等平淡使用的机器东说念主中间件的法式功能。关联词，尽管经典的导航时期在好多机器东说念主应用中仍然普遍存在，然而它们通俗依赖于静态或预创建的舆图。最近，东说念主们越来越感敬爱敬爱的是或者使机器东说念主在更具挑战性的环境中导航的先进时期，这些环境利用了狡计机视觉和天然谈话处理等范畴的壅塞性恶果。一个代表性的任务是对象导航，其中机器东说念主使用对象称呼进行导航，而不是舆图坐标，这需要对环境中的对象称呼进行视觉基础定位。此外，最近还饶恕了利用视觉谈话导航（VLN）时期引导机器东说念主在绝对生分的新环境中进行即时导航的时期，这被称为零射击对象导航。此外，视觉谈话导航（VLN）是一项典型的任务，任务波及到在以前未见过的践诺环境中通过天然谈话指示导航代理。VLN解读句子而非对象称呼，如'去你左边的浴室'，因此需要一个更高功能的解析输入文本。基础模子的出现有助于通过增强对东说念主类谈话指示的领略以及环境信息的视觉解释来发展这种适当性的、即时的导航时期。更详确的代表性VLN研究说明将在导航中给出。
图片
演示体现VLN任务的智能体。图示中夸耀了指示、土产货视觉场景以及在顶视图中的全局轨迹。智能体不成拜谒顶视图。旅途A是按照指示实践的演示旅途。旅途B和C是智能体实践的两条不同旅途。6.2.2 Experiments and Results.研究者们建议了一个集成了ChatGPT的机器东说念主训诫系统，办法是通过多模态输入罢了更灵验和精确的实践任务辩论。该系统包括两个法式：任务辩论和演示。在职务辩论枢纽，用户使用任务辩论器来创建一个动作序列，并可通过反馈进行相应调整；然后，在演示枢纽，用户通过视觉格式演示动作序列，以提供机器东说念主运行所需的信息。然后，视觉系统汇集这些会在机器东说念主实践时使用的视觉参数。
尽管最近的VLMs和LLMs在象征任务辩论方面发达出了后劲，但每个任务都需要初级的适度策略，何如通过强化学习和师法学习等数据驱动的格式进行策略学风尚待探索。两者均需要东说念主在现场径直演示以便机器东说念主获取策略。这种方法称为Learning-from-Observation。系统将谈话指示和服务环境的形容输入到ChatGPT，它会生成一个任务序列和相应的文本形容。咱们使用少量示例的格式，这意味着并莫得针对此任务西宾ChatGPT，从而在适用性上具有一定的上风，因为它撤废了对硬件干系的数据汇集和模子西宾的需要。此外，收尾中的文本形容使用户或者搜检和调整收尾，这对于确保操作的安全性和稳健性至关重要。
天然，任务辩论员不错保证任务序列的连贯性，但在现实中奏效操作则需要详确的参数。举例，持取类型对于幸免倾倒箱子中的内容至关重要，此类参数时时在仿真器中被疏远。因此，在咱们的机器东说念主系统中，用户需要视觉地演示每个动作，任务上预界说了实践所必需的参数，咱们的视觉系统从视频中索求出这些参数。需要明确的我，咱们的机器东说念主系统并非遐想用来精确复制东说念主类的动作，而是为了应酬真实宇宙条件的变化，如物体位置的变化。因此，从东说念主类演示中索求的参数并不包括精确的训诫旅途，而包括指导环境训诫的可供性信息、用于幸免碰撞的旅途点、持取类型和上肢姿势。
同期，研究者们还将GPT-4V的任务辩论器扩展到罢了多模输入语境下的机器东说念主系统。在这个见地示例中，用户会实践需要机器东说念主复制的动作。系统获取演示视频和文本，然后输出一系列机器东说念主动作。视觉分析器旨在领略视频中东说念主类实践的动作。咱们使用GPT-4V并提供一个教唆，以生成典型的东说念主对东说念主交流作风的文本指示。然后，场景分析器将预期的服务环境编译成文本信息，这些信息包括由GPT-4V识别的物体称呼列表、对象的可抓取属性以及对象之间的空间关系。咱们用一个教唆告诉GPT-4V解释对象采用过程的收尾以及这些采用背后的旨趣。实践中，咱们发现这种方法产生了合理的输出。终末，基于给定的文本指示和环境信息，任务辩论器输出一系列任务。
此外，研究者们也探索了视觉谈话导航（VLN）的问题，即在真实3D环境中，导航一个具象代理以实践天然谈话指示。研究者们建议了一个新的增强跨模态匹配方法。这种方法通过强化学习在土产货和全局强化跨模态基础上，举例，通过使用匹配品评家来提供内在奖励饱读舞指示与轨迹的全局匹配，并通过使用推理导航器在土产货视觉场景中实践跨模态基础。在VLN基准数据集的评估中，咱们的RCM模子显明优于以前的方法，并在SPL上提高了10分，罢了了新的最好性能。通过自我监督师法学习的方法，不错更好地探索未见到的环境，这将奏效豪爽能在看到的环境和未见到的环境之间的差距尽可能地收缩从30.7到11.7。同期，咱们初度建议探索用于VLN任务的未战斗环境。
6.3 Healthcare在医疗范畴，谈话模子（LLM）和视觉谈话模子（VLM）不错充任会诊代理、病东说念主照顾助手，以致是调治辅助器具，关联词这些器具在具备潜在的上风的同期，也带来了迥殊的挑战和责任。跟着AI代理在改善病东说念主照顾和救援人命上的广博后劲，其误用或仓促部署的风险也随之夸耀，可能会危及全球数以千万计的东说念主。研究者们在医疗布景下商议了AI代理的一些有前程的应用旅途，同期也分析了面对的主要挑战。
会诊代理。近期，由于医疗大家的高需求，以及LLM匡助分诊和会诊病东说念主的后劲，利用LLM动作病东说念主会诊的医疗聊天机器东说念主受到了多量饶恕。能灵验传达重要医疗信息给来自各式病东说念主群体的对话代理，有可能为历史上处于劣势或被边际化的群体提供平允的医疗服务。此外，全球的大夫和医疗系统在很大程度上都承受着过重的服务背负，而资源却不及，导致全球数亿东说念主无法取得饱胀的医疗照顾。会诊代理为百万东说念主提供了改善医疗照顾的上风阶梯，因为它们不错建立起领略各式谈话、文化和健康情景的技艺。初步收尾标明，利用大范围汇集数据进行西宾不错使得医疗知识丰富的LMM得以罢了。尽管这是一个令东说念主兴奋的场地，但会诊代理的但愿并非莫得风险。研究者们在以下部分中凸起了在医疗语境中的诞妄浑浊风险，以及可能的管理旅途。
知识检索代理。在医疗布景下，模子的诞妄浑浊荒谬危境，可能会导致病东说念主严重受伤或以致弃世，具体取决于诞妄的严重程度。举例，如果一个病东说念主错收到一个会诊，暗意他们莫得他们践诺上患有的情况，这可能导致糟糕性的收尾。如，延误或不适当的调治，或在某些情况下，绝对穷乏必要的医疗干豫。未被会诊或误诊的疾病可能导致医疗用度增多，调治期延长引发进一步的躯壳背负，并在顶点情况下，形成严重的伤害以致弃世。因此，能利用代理更可靠地检索知识或以检索为基础生成文本的方法，是有前程的场地。将会诊代理与医疗知识检索代理配对有可能显赫减少诞妄浑浊，同期提高会诊对话代理的回答质料和准确性。
辛苦医学和辛苦监测。基于AI的代理在辛苦医疗和辛苦监控范畴也有广博的后劲，不错提高医疗服务的可取得性，改善医疗服务提供者和患者之间的疏通，同期提高大夫和病东说念主频繁互动的效率，裁减资本。基础照顾医师挥霍多量的时分来筛选病东说念主的音书、答复和电子邮件，这些大多数对他们来说是不关紧要或不消要的。为照顾代理开启筛选大夫、病东说念主和其他医疗服务提供者的信息，并凸起重要音书的后劲是存在的。通过赋予AI系统与患者、临床大夫和其他AI代理的团结技艺，有广博后劲来改革辛苦医疗和数字健康行业。
图片
在使用GPT-4V领略医疗图像的范畴中的示例教唆和响应。从左到右：（1）看守和大夫正在进行CT扫描的图像，（2）不规则EKG扫描的合成图像，以及（3）来自ISIC皮肤病变数据集的图像。咱们不错看到，GPT-4V具有重要的医学知识，并或者对医学图像进行推理。关联词，由于安全西宾，它无法对某些医学图像进行会诊。Current Healthcare Capabilities在健康和医疗影像领略范畴，当使用像GPT-4V这么的多模态智能体，如图fig:gpt4v-medical-image所示，研究者们进行了一些用例和响应示例。起先，研究者们展示了一个看守和大夫正在进行CT扫描的图像，其次，一个合成的不规则的EKG扫描图像，以及一个来自ISIC isic肤病图像数据集的图像。从这些例子中不错看出，GPT-4V具备了不少医疗知识，或者对医疗图片进行合理推理。关联词，由于安全性培训的原因，对于某些医疗图像，GPT-4V无法作念出会诊。
图片
在医疗视频领略范畴内使用GPT-4V时的示例教唆和响应。咱们将示例视频动作2x2的网格输入，遮盖的文本指出了帧的步履。在前两个示例中，咱们教唆GPT-4V搜检视频中的帧，以便发当今志愿病东说念主身上进行的临床床边行为。对于终末一个示例，咱们试图教唆GPT-4V评估一个腹黑超声视频，关联词由于GPT-4V的安全培训，它莫得提供详确的回答。为了清醒起见，咱们使用粗体清晰需要饶恕的行为，不详不消要的模子响应。为了保护他们的秘籍，咱们将个东说念主的脸部污秽处理。在健康和医疗视频领略范畴，对于GPT-4V这么的多模态智能体，如图fig:healthcare_videos所示，研究者们提供了一些例子和响应。研究者们将需要分析的视频以2x2的网格布局并有字幕标注帧步履。在前两个例子中，研究者们引导GPT-4V不雅察视频中的帧来检测志愿者患者收受的临床病床行为。对于终末一个例子，研究者们尝试引导GPT-4V评估腹黑超声波视频，但由于GPT-4V的安全西宾，它莫得提供详确的反馈。为了保证清醒度，研究者们用粗体清晰感敬爱敬爱的行为，并简化不消要的模子反馈。同期，他们对个体的脸部进行了灰度处理以保护他们的秘籍。
总的来说，天然这些多模态智能体如GPT-4V在识别医疗开导和经由方面具有高显赫度的里面知识，但对于用户更具指导性或会诊性的查询，它并不老是回答。而且，尽管在医疗视频领略上具备了一定的技艺，比如识别临床环境中的重要患者照顾行为，或者分析更时期性的视频如超声图像，但仍然存在一定的局限性。
6.4 Multimodal Agents多模态代理主要包括四大撑持：交互、语音、视觉息兵话。这四个部分不错类比成东说念主类的四种基础技艺，交互代表着自主决策，彷如大脑的决策中心；语音则可比作听觉和白话抒发技艺；视觉好似东说念主的眼睛，有识别和分析图像、视屏和数字墨迹的功能；而谈话则代表领略和抽象出来的含义，雷同东说念主的谈话领略和翰墨抒发技艺。
图片
交互式多模态代理主要包含四个主要撑持：交互、语音、视觉息兵话。副驾驶代旨趣不同的服务组成。1）交互服务匡助构建一个归并的平台，用于自动化行动、解析和决策制定。2）音频服务将音频和语音处理集成到应用和服务中。3）视觉服务识别并分析图像、视频和数码字迹中的内容。4）谈话服务从结构化和非结构化文本中索求含义。复杂的多模态AI代理的开发，其枢纽在于视觉息兵话领略的整合。这其中包括了像图像字幕、视觉问题谜底、视频谈话生成和视频领略等任务。就好比咱们东说念主类在拿到一幅画或者一段视频时，或者通过不雅察领略其代表的含义，以致作念出回答。
这些任务不错看作是挑战和契机并存的范畴，在AI代理的语境中，科技主编们则将这些视为改日的发展场地和探索空间。
6.4.1 Image-Language Understanding and Generation图像谈话领略是一项波及对给定图像中的视觉内容进行解释，并生成干系谈话形容的任务。这项任务对于开发能以更东说念主性化的格式与宇宙互动的AI代理至关重要。一些最受宽待的任务包括图像标注（如 mscoco、conceptual-caption、flckr30、krishnavisualgenome等），指代抒发（如 yu2016modeling、karpathy2014deep等）以及视觉问题回答（如 antol2015vqa、ren2015exploring、singh2019towards等）。
最近，研究者们引入了一些愈加知识密集的视觉问题回答任务，举例 OKVQA (marino2019ok)、KB-VQA (wang2015explicit)、FVQA (wang2017fvqa) 以及 WebQA (chang2021webqa)。多模态代理当具备识别图像中物体、领略它们的空间关系、生成对于场景的准确形容句子，并使用推理技巧处理知识密集视觉推理的技艺。这不仅需要物体识别技艺，还需要对空间关系、视觉语义的深入领略，以及将这些视觉元素映射到谈话结构并整合宇宙知识的技艺。
类比地，这就好像是要求一个东说念主不但要能相识物体，还要能准确形容物体之间的关系，领略它们在通盘场景中的风趣，以致不错根据已有的知识对物体进行深入的推理。
6.4.2 Video and Language Understanding and Generation视频-谈话生成. 在一系列视频帧中生成连贯的句子序列的任务被称为视频字幕或视频叙述。受到在视频息兵话任务中大型基础模子的奏效欺骗启发，一些派生的、由代理驱动的强化模子在视频-谈话生成任务上夸耀出了有前程的收尾。然而，神经编码-解码模子发达苍劲的的挑战在视频叙述中并莫得得到精深的扩张，因为这项任务需要对每幅图片的内容以及不同帧之间的关系有全面领略。这个范畴的一项重要办法就是创建一个或者灵验地编码帧序列并生成主题连贯的多句段落的代理感知文本合成模子。
视频领略. 视频领略将图像领略的范围扩展到动态视觉内容，波及对视频序列的解释和推理，同期时时与陪伴的音频或文本信息结合。代理当该或者与视觉、文本，以及音频多模态交互，以展示他们对视频内容的深度领略。此范畴任务包括视频字幕，视频问题回答，和行为识别等等。视频领略的前沿范畴则包括视觉息兵话内容的时分对皆，处理长的帧序列，以及解释跟着时分张开的复杂行为等。对于音频方面，代理不错处理语音，布景杂音，音乐，以及声息的调子，通过这些来领略视频内容的情愫，环境，以及机要之处。
图片
这是一个使用知识来从一组文本候选项中识别与图像干系文本的密集神经知识（INK）任务的例子。咱们的任务波及利用从汇集和东说念主类注释知识中获取的视觉和文本信息。之前的研究主要聚首在使用在线现有的视频-谈话西宾数据来创建视频基础模子，如li2020hero，li2021value，fu2022violet，bain2021frozen，zellers2021merlot，zellers2022merlot，fu2023empirical。关联词，这么的西宾经由和功能提拔由于数据集的有限性和通俗的不一致性，变得十分困难。视频基础模子遐想为具有屏蔽和对比性的预西宾办法，并在各自的任务上进行调优。尽管在多模态基准上夸耀出了显赫的收尾，但这些模子在仅依赖视频任务如动作识别上遭受了困难，因为它们依赖于从噪声息频转录生成的有限的视频-文本数据。这个适度也导致了大谈话模子可能领有的建壮和细腻的推理技巧的缺失。
其他方法鉴戒大型谈话模子建壮的推理技巧和普遍的知识，来改善视频解释的不同方面。视频领略的任务通过只需要谈话的模子如ChatGPT和GPT4或需要图像-谈话模子GPT4-V来简化，这些模子将音频，视频，息兵话模态视为单独不错解析的输入数据类型，将代理定位为建壮的开源模子。举例，dolphin，2023videochat将视频领略滚动为天然谈话处理（NLP）问题回答的样式，通过开源的视觉分类/侦测/字幕模子对视频内容进行文本化。lin2023mmvid将GPT4-V和视觉，音频，和语音的专科器具整合，以匡助复杂的视频领略任务，如在长视频中编排变装的动作和行为。
同期进行的研究查验了从大型模子生成的大极少据集，然后将视觉指示调整liu2023llava，li2023blip，zhu2023minigpt4应用于生成的数据。探讨到音频、语音、和视觉大家感知模子随后被用来谈话化视频。语音被自动语音识别器具转录，况且使用各式标签，定位，和字幕模子，生成视频形容和干统共据2023videochat，maaz2023videochatgpt，chen2023videollm，wang2023internvid。这些技巧展示了如安在生成的数据集上对指示调整视频-谈话模子，可能导致增强视频推理和疏通技艺。
图片
该模子使用基于对比学习的模块从显性知识库中检索知识要求，并使用GPT-3检索带有提拔凭证的隐性知识。知识的整合由各自的编码器变压器进行处理，并通过端到端的西宾与推理模块妥协码器变压器共同进行以生成谜底。图片
VLC模子的总体架构。咱们的模子由三个模块组成：(1) 模态特定的投影。咱们使用浅显的线性投影来镶嵌分块图像，并使用单词镶嵌层镶嵌分词文本；(2) 多模态编码器。咱们使用一个12层的ViT（从MAE（无标签的ImageNet-1K）运行化）动作咱们的骨干；(3) 任务特定的解码器。咱们通过阻止图像/谈话建模和图像-文本匹配学习咱们的多模态清晰，这些只在预西宾期间使用。咱们使用一个2层的MLP来微调咱们的多模态编码器以用于卑鄙任务。重要的是，咱们发现阻止图像建模办法在第二阶段预西宾中遥远很重要，不单是是用于视觉变压器的运行化。6.4.3 Experiments and Results知识强化模子：正如INK模子（Intensive Neural Knowledge）和KAT模子（Knowledge Augmented Transformer）在park2022ink和gui2022kat中所先容，这是一项需要东说念主类注释所需知识进行提拔的知识强化检索任务。
多模态代理：如lu2023chameleon和yang2023mmreact所示，对多模态谈话模子（如Chameleon和MM-React）的敬爱敬爱正在渐渐增长。
视觉指导调整：VCL gui2022vlc、Mini-GPT4 zhu2023minigpt4、MPLUG-OWL ye2023mplugowl和LSKD park2023localized都不错生成图像级别的指导调整数据集。
示例展示了INK任务是何如利用知识从一组文本候选者中识别出与图像干系的文本的。咱们的任务就是利用从网页上以及东说念主类注释的知识中拿获的视觉和文本知识。
知识强化代理：如图fig:INK-knowledge和fig:KATframework所示，基于视觉的问题回答和视觉-谈话检索任务是多模态机器学习中具有挑战性的任务，它们需要去除图像内容除外的知识。最近对大范围变压器的研究主要聚首在最大限制地提高模子参数存储信息的效率上。这一研究场地探讨了不同的问题：多模态变压器是否不错在其决策过程中使用显式知识。基于变压器的预西宾方法还是在隐式地学习跨多种模态的知识清晰方面取得了显赫的奏效。关联词，传统的主淌若单模态的方法还是研究了知识检索和接下来的谜底预测，这使东说念主们对检索出的知识的质料和干系性以及使用隐式和显式知识进行推理的过程的整合产生了疑问。为了管理这些问题，咱们引入了知识增强变压器（KAT）。在查询模态怒放范畴任务中，KAT是领受了编码器-解码器结构的模子，它击败了其他整个的模子，使得精度提高了6。KAT将来自GPT3的隐式知识与来自网站的显式知知趣结合，并在谜底生成过程中同期推理这两种知识类型。此外，引入显式知识不错增强模子预测的可解释性。
视觉-谈话变压器代理：接下来，咱们将先容VLC模子（Vision-Language Transformer）gui2022vlc，这是一个绝对只使用图像-标题对进行预西宾的变压器模子。尽管VLC只使用一个浅显的线性投影层进行图像镶嵌，然而，对于各式视觉-谈话任务，它的发达和其他依赖于对象检测器或有监督的CNN/ViT汇集的方法一样出色。通过多量的分析，咱们探讨了VLC动作视觉-谈话变压器代理的后劲。举例，咱们展示了VLC的视觉表征对于ImageNet-1K分类任务绝顶灵验，咱们的可视化收尾证实了VLC不错准确地将图像块匹配到相应的文本记号。性能随西宾数据量的增多而扩展的可能性，突显了开发大范围、弱监督、怒放范畴视觉-谈话模子的后劲。
图片
使用经过精细调整的InstructBLIP视频版块时的示例教唆和响应（方法在第一部分中形容）。咱们的模子或者生成形容场景的长篇翰墨响应，并或者回答与视频中事件时分性干系的问题。图片
在文中所述的音频-多模态代理。幻想出的内容用红色高亮夸耀。咱们使用GPT-4V生成1)带有视频帧的视频聊天撮要；2)带有帧标题的视频撮要；3)带有帧标题和音频信息的视频撮要。6.5 Video-language Experiments为了领略预西宾图像谈话模子(InstructBLIP)应用于视频领略的实用性，研究者们对其进行了拓展和微调，以罢了视频字幕生成。更具体地说，他们扩展了InstructBLIP的视觉编码器，使用了与'冻结的时光'通常的分割时空珍重力决策，以及在西宾中固化了Q-former和LLM (Flan-T5-XL) 。研究者们在字幕生成西宾时，固定了视觉编码器的整个空间层，同期保持时分层处于未冻结状态，使得模子或者收受图片和视频动作输入，从而罢了与InstructBLIP在图片级别的性能匹配。该模子在WebVid10M的500万部视频字幕子集上进行培训。
关联词，现有的模子无法绝对领略视频内容中精确、微小的视觉细节。视觉指示调整方法也存在雷同的适度，它们穷乏东说念主类水平的通用知觉技艺，这仍然需要通过多模态模子和智能体来管理。尽管指示调谐模子奏效地摘录了视频中的行动，并灵验地识别出如'东说念主坐在长凳上'的行动，但他们有时会添加诞妄的细节，比如'东说念主向录像头含笑'，这夸耀出尚未收拢对话话题或视频氛围的微小之处，这些元素对东说念主类不雅察者来说是不言而喻的。这种不及突显出另一项枢纽的适度：模子不详了丰富视觉领略的音频和语音模态，更准确的解释和重视诬陷需要整合整个可用模态，使多模态智能体接近东说念主类的感知水平，确保罢了全场地的视频解释。
图片
一个结合了视觉、音频和文本模态的互动多模态代理，用于视频领略。咱们的经由开采了硬负面幻觉，以产生针对VideoAnalytica挑战的困难查询。互动音频-视频-谈话代理数据集的干系详确信息在第一部分形容。之后，研究者们使用GPT-4V动作一个能整合视觉、音频和语音的多模态智能体来准确和详确地领略视频。他们发现，仅有视觉模态的视频总结可能会产生虚构的事件，举例，在莫得音频输入的情况下，智能体误以为东说念主正在咬棍子。关联词，当咱们对智能体提供音频转写时，智能体就能准确描绘内容，都能拿获详确的物理动作，如'将扫帚垂直于躯壳并向下旋转'。这种详确程度显明更具信息性，让不雅众更领略地了解视频的目的和枢纽细节。这些发现突显了整合音频、视频息兵话交互以开发高质料多模态智能体的重要性。红运的是，GPT-4V恰是这种先进的多模态领略和交互的有劲基础。
终末，研究者们使用了名为GPT-4V的机器东说念主，该机器东说念主领有堆栈的视听模态，并能从堆栈中获取运行问题，随后利用Bing搜索API检索与问题干系的视频和音频，然后主要使用GPT-4V获取干系的文本信息和高等视频形容。另一方面，他们通过ASR将枢纽帧音频滚动为枢纽帧的初级分段形容。终末，使用GPT-4V生成令东说念主信服的'错觉'，动作视频问题和回答任务的艰苦负面查询。他们在推理过程中，还结合了通过汇集搜索取得的外部知识信息，以提高问题回答技艺。
6.6 Agent for NLP6.6.1 LLM agent在东说念主工智能和天然谈话处理的交互中，识别任务指示并采纳动作一直是一个根人道的挑战，存在于这个范畴几十年的时分。关联词，跟着深度学习的最新发展，学者们对于联结研究这些区域以改善东说念主机团结的敬爱敬爱越来越浓厚。研究者们建议了三个特定的场地，以改善与谈话相结合的AI代理：
1. 利用器具和从知识库中查询。 这个场地强调的是将外部知识库、汇集搜索或其他有用器具整合到AI代理的推理过程中的重要性。通过利用各式来源的结构化和非结构化的数据，AI代理不错增强它们的领略，况且提供更精确和具有高下文坚决的应答。此外，迎面对生分情况或者查询时，这还不错擢升AI代理主动寻找信息的技艺，从而确保应酬从而确保应酬能更全面和深入。举例Toolformer（schick2023toolformer）和Retrieve What You Need（wang2023retrieve）就是典型的实例。
2. 提高AI代理的推理和经营技艺。 增强AI代理的推理和经营技艺对于灵验的东说念主机团结至关重要。这波及到开发或者领略复杂指示、推断用户意图，并预测改日可能的场景的模子。这不错通过让AI代理反念念以前的行动和失败，如ReAct（yao2023react）所作念的，或者像yao2023tree那样将AI代理的念念维过程框架化为搜索的样式。通过模拟不同的收尾和评估各式行动的后果，AI代理能作念出更有观点、更具有高下文风趣的决定。
3. 综合系统反馈和东说念主类反馈。 AI代理通俗在两类主要的环境中操作：一种是能提供对于它们步履效果的明确信号的系统反馈环境，另一种是他们不错与不错提供表面品评的东说念主类进行团结的环境。这个场地强调的是需要适当性的学习机制，它们不错让AI代理完善其策略并纠正诞妄，比如AutoGen（wu2023autogen）所作念的。或者从各式反馈源不休学习和适当，确保AI代理能遥远对用户的需求保持有用且一致。
6.6.2 General LLM agent在以前的几十年里，识别和领略代理内容与天然谈话一直是交互式东说念主工智能和天然谈话处理的基本挑战。跟着深度学习的最近逾越，东说念主们越来越饶恕同期研究这两个范畴，以深入领略代理经营或东说念主类反馈对知识推理和天然谈话生成的影响。这两个部分是好多东说念主机交互代理的枢纽组成部分，如AutoGen'wu2023autogen和Retrieve What You Need'wang2023retrieve。
从第一性旨趣开拔，研究者们通过深度学习这个建壮的器具，深入挖掘代理经营、东说念主机交互反馈、天然谈话领略与生成等复杂问题的内在接洽和规矩。这就好比研究者们手中拿着一把小巧的钥匙，大开明晰解东说念主类和机器之间高效交互的大门。
代理经营和东说念主类反馈不错匡助领略知识推理的过程。譬如说，别称商店的伴计（代理）需要领略顾主的需求（东说念主类反馈），并根据库存（知识库）提供相应的商品保举。而这个过程就雷同于知识推理的过程。
天然谈话生成则是这个过程的延迟和输出。如同伴计需要以清醒易懂的谈话将商品保举传达给顾主，东说念主工智能系统也需要以天然、流通的谈话呈现其推理收尾，才能更好地罢了东说念主机交互。
这些元素都被欺骗在AutoGen和Retrieve What You Need等东说念主机交互系统中，以提高系统的交互效率和用户体验。
总的来说，面前的研究饶恕于何如联结利用深度学习，以罢了更深入的领略代理经营或东说念主类反馈对知识推理和天然谈话生成的影响，从而推动东说念主工智能和东说念主类交互的发展。
图片
用于西宾羊驼模子的西宾配方。在高眉目上，现有的LLMs被用来从一小部分种子任务中生成多量的指示实践实例。然后，这些生成的指示实践实例被用来对其底层模子权重可获取的LLM进行指示调优。6.6.3 Instruction-following LLM agents在东说念主工智能研究中，创建能灵验撤职东说念主类指示的谈话模子代理（Language Model Agents，简称LLM代理）已成为一个重要的研究范畴。早期模子领受东说念主类反馈西宾代理奖励模子以模拟东说念主类偏好，该过程被称为基于东说念主类反馈的强化学习（Reinforcement Learning with Human Feedback，简称RLHF）[1]。
此过程产生了像InstructGPT和ChatGPT这么的模子。为了能更高效地西宾指示撤职的LLM代理，而无需东说念主力标记，研究者们开发了一种更灵验的指示调谐方法，径直基于指示/响应酬西宾LLM代理。这些对不错由东说念主类产生，如Dolly 2.0[2]，也不错由LLM自动生成，如Alpaca[3]。
图片
逻辑变压器代理模子。咱们将逻辑推理模块整合到基于变压器的撮要生成模子中，以赋予逻辑代理处理文本和对话逻辑的推理技艺，使其或者生成更高质料的撮要，并减少事实诞妄。研究者们轻便展示了Alpaca西宾经由图。浅显来说，现有的LLM用于从少量种子任务生成多量的撤职指示的示例，然后将生成的撤职指示示例用于调节具有底层模子权重的LLM。
研究者们还整合了逻辑推理模块到基于Transformer的抽象概述模子中，以使逻辑智能代理具备了逻辑推理技艺，不错通过摆脱文本和对话逻辑进行推理，从而能产生更好的抽象概述并减少事实性诞妄。
图片
建议的一种NLP代理相互学习框架的架构。在每个迭代周期，阶段1和阶段2会瓜代实践。在阶段1期间，阅读器模子的参数保持不变，只更新知识采用器的权重。相悖，在阶段2期间，调整阅读器模子的参数，而知识采用器的权重保持不变。6.6.4 Experiments and Results在日益平淡使用的对话反馈系统中，这种 AI 样式对于从自己的隐性知识生成事实性正确的响应的性能还不及，因此它们在推理时时时借助诸如网页搜索和知识检索机制的外部器具来增强其响应。应酬这一问题将有助于在好多践诺应用中为用户创造更多迷恋不舍的体验。在外交对话中（如 Instagram 和 Facebook 等外交媒体平台上的对话），或者在问答网站上（如 Ask 或 Quora），东说念主们通俗通过一系列驳斥和网页搜索与他东说念主进行交互，并搜索与商议干系的信息和知识。因此，在这种环境下生成对话交换的任务并非只是基于传统的 NLP 模子和任务，而是需要用智能体通过反馈知识搜索和获取的智能步履来生成对话。这种格式的智能 NLP 任务智能体扩展了任务形容，并通过在对话过程中增多一个明确的知识搜索和检索法式，提高了响应的可解释性。将这些网页搜索和检索智能体动作对话过程中的反馈，将有助于进一步增强东说念主与智能体之间的外交互动。
研究者们在论文 wang2023logical 中建议了一种新颖的模子，这种模子对变换器谈话模子建议了新的建模范式，它不错检测和索求输入文本中的重要逻辑结构和信息，然后通过悉心遐想的多眉目逻辑映射，将这些信息整合到输入镶嵌中，从而将逻辑结构融入到预西宾的谈话模子中，动作一种 NLP 智能体。然后他们开发出一种新的建模范式，不错将整个现有的变换器谈话模子升级为逻辑变换器，以持续擢升他们的性能。这种逻辑变换器智能体通过对文本逻辑结构的更深入领略，遥远在其基线变换器模子上取得超越的性能。
对于东说念主类用户来说，通过智能主体对话和信息检索的调和，使对话更有风趣和风趣的方面时时更为重要。
在深入研究天然谈话处理的过程中，这个话题将探讨何如使谈话模子(LoLM)智能体，使其更适合进行各式谈话中心任务。
怒放范畴的问题回答(QA)系统通俗撤职'先检索后阅读'的模式，即使用检索器从大型语料库中检索干系著作，然青年景器根据检索到的著作和原始问题生成谜底。在wang2023retrieve中，咱们建议了一个浅显而新颖的相互学习框架，通过引入中间模块——知识采用器智能体，并使用强化学习进行西宾，以此改进'先检索后阅读'式模子的性能。知识采用器的办法是构建一个包含与问题干系信息的袖珍著作子集。如Figurefig:TACLknowledge 所示，知识采用器智能体动作咱们新颖的相互学习框架的一个组成部分收受西宾，该框架瓜代西宾知识采用器和阅读器。咱们领受了一种新颖的策略，使用策略梯度来优化知识采用器智能体，通过反馈阅读器来进行西宾，以采用一个小而有用的著作集。这种方法幸免了蛮力搜索或东说念主工遐想的启发式方法，无需任何标注的查询-文档对数据进行西宾。咱们发现，迭代西宾阅读器和知识采用器智能体不错在某些公开的怒放范畴问题回答基准上得到更好的预测性能。
在如下的框架结构图中，每个周期内，实践阶段1与阶段2互为瓜代。在阶段1期间，阅读模子的参数保持不变，只更新知识采用器的权重。相悖，阶段2期间，调整阅读模子的参数，而知识采用器的权重保持不变。
9 Agent Dataset and Leaderboard为了推动这一范畴的研究，研究者们差别建议了多代理游戏和能动视觉谈话任务的两项基准。他们将发布两个新的数据集 - 'CuisineWorld'和'VideoAnalytica'，以及一套基线模子，饱读舞参与者探索新的模子和系统，并提交其在名次榜测试集的收尾。
譬如，咱们不错将“多代理游戏”比作一个家庭里的成员，每个东说念主都有不同的变装和任务，他们需要通过互动和合作达成共同办法。这与多代理系统在複杂环境中的步履绝顶相似。
而“能动视觉谈话任务”则不错领略为，像看电视新闻那样，不雅众不错通过不雅看视觉元素和听取谈话形容，来领略正在发生的事件。能动视觉谈话任务就是让狡计机模子学会这么的技艺，识别视觉元素并领略其含义。
数据集'CuisineWorld'和'VideoAnalytica'，则雷同于研究者们为这两类任务份别准备的“试卷”或“锻真金不怕火册”。这些数据集包含了丰富的情境和问题，用以测试和西宾新的模子和系统。
研究者们也提供了一套基线模子，这就像是一位资深的教师，为参与者们提供了一套已训戒证过的解题方法。参与者们不错从这些基线模子学习，也不错尝试开发出超越它们的新模子和系统。
终末，参与者们的恶果不错被提交到一个名次榜，也就是“试卷”的批改系统。通过这个系统，参与者们不错看到他们的模子和系统在各种任务上的发达，并与其他参与者比较。
Appendix研究者们正在扫视AI代理模子在各式范畴的适当性，实质上展现了各式名次榜、不雅点和管理决策的种种性。在此布景下，他们的技俩旨在通过探索多模态和智能AI的平淡主题来建构一个多元化的社群。
探讨到这些原则，技俩专注于研究或者在实体及假造环境中灵验交互，并促进东说念主与机器的灵验疏通的先进多模态系统。因此，他们蓄意邀请一批时期专科东说念主员，来自各式文化、国度、学术范畴的大家和实践者，商议包括但不限于以下重要主题：
1. 基础模子的应用：开发具有集成模式（音频，图像，文本，传感器输入）的代理东说念主，旨在提高其对各式应用的识别和响应技艺。
2. 通用的端到端系统：开发西宾多量数据的端到端模子，寻求创建天真和可适当的AI管理决策。
3. 为模式建立基础的方法：整合各式模式的信息，提高数据处理的一致性和灵验性。
4. 直不雅的东说念主机界面：开发灵验且有风趣的东说念主机交互。
5. 驯顺LLM/VLMs：探索应酬大范围模子常见问题的新方法，如他们的输出中的幻觉和偏见。
他们但愿通过利用自己迥殊且多元的视角，进一步拓宽对智能AI后劲和适度的集体领略。他们肯定，这种格式不仅不错丰富各自的视线，还能擢升社区的集体知识，促进对于多模态AI代理面对的平淡名次榜的更多元、更全面的领略。
图片
咱们提供代码片断来展示调用GPT-4V进行Minecraft视频的齐备教唆过程。起先，咱们对视频的帧进行编码，然后调用GPT-4V端点。模子的响应夸耀在屏幕底部。图片
GPT-4V或者为像Bleeding Edge这么具有第三东说念主称视角和视觉复杂场景的游戏生成有风趣的内容。为了向GPT-4V输入多量的帧（48帧），咱们将帧输入为一个网格，每个帧上都遮盖着帧编号（如上图所示）。图片
GPT-4V或者为微软航行模拟器游戏产生有风趣的内容形容。GPT-4V智能体不错提供高等别的行动形容，当玩家在航行模拟器中驾驶飞机时，通过驾驶舱视角和飞机外部视图展示，管理各式航行适度和姿色，以保持适当的航行速率和高度，同期在假造空域中导航。为了输入大型视频，咱们采用了一些枢纽帧(6)发送给GPT-4V。咱们差别输入每个枢纽帧，不使用网格(如上所示)。图片
GPT-4V或者为游戏《刺客信条：奥德赛》产生有风趣的内容形容。基于GPT-4V的智能体还不错提供高等别的动作形容，如'图像中的变装在历史战役的夜晚战斗，挥舞着长矛，并利用诸如冲锋牛这么的特殊技艺，造反标有品级辩论的多个敌东说念主，同期在第三东说念主称动作变装演出游戏中管理他们的健康和技艺表'。为了输入多量的视频，咱们采用了一些枢纽帧（8帧）发送给GPT-4V。咱们差别输入每个枢纽帧，不使用网格（如上图所示）。图片
GPT-4V或者为《斗殴机器4》游戏生成有风趣的内容形容。GPT-4V代理提供了玩家在视觉丰富的改日环境中参与战斗场景的高等步履形容，这个环境让东说念主想起工业或军事设施。变装装备了防弹装甲和武器，在这个区域中导航，利用阻止物和对准系统与敌东说念主交战。拿获的行动包括玩家变装从掩护后对准，向敌东说念主开火，通过屏幕上的视觉教唆收受伤害，并进行近战。环境以夜晚照明为标志，东说念主造光源凸起夸耀感敬爱敬爱或动作的区域。也有一些时刻，玩家的变装以透明的，轮廓形态出现，这可能清晰一种特殊技艺或临时状态，如无敌或隐身。为了输入大的视频，咱们采用了一些枢纽帧（10个）发送给GPT-4V。咱们对每个枢纽帧单独输入，不使用网格（如上图所示）。参考文献Agent AI: Surveying the Horizons of Multimodal Interaction Zane Durante^1Equal Contribution. ^ Project Lead. ^ Work done while interning at Microsoft Research， Redmond.， Qiuyuan Huang^2*， Naoki Wake^2*， Ran Gong^3， Jae Sung Park^4， Bidipta Sarkar^1， Rohan Taori^1， Yusuke Noda^5， Demetri Terzopoulos^3， Yejin Choi^4， Katsushi Ikeuchi^2， Hoi Vo^5， Li Fei-Fei^1， Jianfeng Gao^210pt ^1Stanford University; ^2Microsoft Research， Redmond; ^3University of California， Los Angeles; ^4University of Washington; ^5Microsoft Gaming
对于NatureAI宽待来到 NatureAI，一个由科技醉心者共同打造的平台。咱们的服务是为群众提供一个平允、怒放的环境，让每个东说念主都能轻佻战斗到最新的科技进展。
在这里，咱们相持原汁原味的内容传播。咱们信托，在科技的宇宙里，真实和深度是最宝贵的。因此，咱们首肯不会进行过度修饰或删改信息，奋勉保持内容的真实性和专科性。
NatureAI 将不休分享最特地念念和最有价值的前沿科技进展。咱们信托，通过群众的一心一力和提拔，NatureAI 不仅能成为科技信息的宝库，更能成为启发念念考、引发创新的平台。
期待和你沿途文爱 剧情，探索科技的无限可能！
本站仅提供存储服务，整个内容均由用户发布，如发现无益或侵权内容，请点击举报。