Transformer速查宝典：模型、架构、训练方法的论文都在这里了论文大合集，一篇文章就搞定。AI 发展迅速，这对于刚刚入门或是正想跟上「潮流」的新手们来说并不友好。如果有一份详细全面的知识列表可能会帮助他们更快走上「正途」。今天给大家带来一篇 Transformer 的综述文章，供大家了解 Transformer 的来龙去脉及相关技术。本篇综述涵盖了2

　　本文由站长之家合作伙伴自媒体作者“ 机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情澳门威斯尼斯wns675入口。

　　11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

　　Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。对于使用ReLU的S/8模型，这种门控机制会将实验所需的核心时间增多大约9.3%。

　　视觉Transformer成为各类视觉任务如物体识别和图片分类的有效架构。这是因为自注意力可以从图片中提取全局信息卷积核大小限制了卷积神经网络只能提取局部信息。他们的贡献有:1）提出了紧凑高效的视觉Transformer模型DualToken-ViT，通过卷积和自注意力的优势实现有效的注意力结构;2)提出位置感知全局令牌，通过图像位置信息来增强全局信息;3)DualToken-ViT在相同FLOPs下在多个视觉任务上表现最好澳门威斯尼斯wns675入口。

　　Transformers成为了人工智能领域最重要的创新之一。这种神经网络架构于2017年推出，彻底改变了机器理解和生类语言的方式。这有望推动人工智能在多模态智能应用中的发展。

　　阿里巴巴达摩院模型开源社区ModelScope宣布开源法国人工智能初创公司MistralAI旗下新模型Mistral7B，可免费商用。Mistral7B在公开提供的指令数据集上进行了微调后的模型Mistral7BInstruct，在MT-Bench上超越了其他7B模型，并可与13B聊天模型相媲美。

　　MistralAI，一家法国人工智能初创公司，最近发布了一款性能优越的语言模型Mistral7B，并免费向所有人提供使用。图片来源:米斯特拉尔人工智能该模型基于Apache2.0许可证发布，除了归属之外，没有任何使用或复制的限制。对于对Mistral7B模型的开放性以及未来发布计划的一些疑问，我们已经联系了Mistral，并等待他们的回复。

　　StableSR是一种创新性的AI方法，旨在通过利用预训练扩散模型的威力来增强超分辨率任务。传统的SR方法通常需要大量的计算资源来从头开始训练扩散模型，这可能会损害它们的生成先验知识。通过利用预训练的扩散模型并结合创新技术，如时间感知编码器、可控特征包装模块和渐进聚合采样策略，StableSR为将扩散先验知识应用于图像恢复任务的未来研究提供了坚实的基础。

　　Meta、麻省理工学院和卡内基梅隆大学的研究人员最近发表的一篇新论文介绍了一项名为StreamingLLM的创新技术，旨在解决大型语言模型在长时间对话中性能下降的问题。LLMs如OpenAI的ChatGPT和Meta的Llama2在当今的人工智能领域备受关注，但它们都面临一个共同的挑战，即在与用户的对话中始终提供高质量的响应，无论对话持续多长时间或交换的对话数量如何。StreamingLLM技术为LLMs在长时间对话中保持高性能提供了创新的解决方案，有望在许多领域，特别是需要持续不断地与用户交互的应用中得到广泛应用。

　　OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。

　　研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。

　　计算机视觉巅峰大会ICCV2023，在法国巴黎正式“开奖”!今年的最佳论文奖，简直是“神仙打架”。获得最佳论文奖的两篇论文中，就包括颠覆文生图AI领域的著作——ControlNet。来自MIT的TedAdelson教授则获得了终身成就奖。

　　NSFWLover是一个能与虚拟女友和虚拟男友进行AI爱情聊天的最佳AI站点，可以进行角色扮演，与浪漫的聊天机器人和AI女孩交谈，无限制，没有过滤。该产品提供多种虚拟人物供用户选择，每个人物都有自己独特的故事和特点。用户可以根据自己的喜好和需求选择合适的虚拟伴侣。

　　如果您需要一个快速准确的AI检测工具，您来对地方了。我们的AI内容检测器可以准确地显示出文本中是否有任何部分是由AI生成的。使用它并自行检查！

　　Reference Finder是一个帮助学生快速找到可靠引用来源的工具。它可以提供一系列与您的论文主题相关的可靠来源，帮助您快速完成论文。使用我们的引用查找工具，轻松快捷地撰写论文。

　　Fast HW是一款AI写作助手，帮助你轻松引用科学文献并组织你的文章。它能够提供写作建议、自动引用文献、优化语言表达等功能，让你的写作更加高效和专业。定价灵活多样，适用于大学生和专业写作人士。

　　CoGrader 是一款教师评分助手，通过 AI 技术帮助教师高效评分，提供即时和全面的反馈，节省 80% 的评分时间。支持 Google Classroom 集成，可以导入和导出作业。通过分析学生数据，提供班级分析和挑战点，支持多语言评分。

　　Rex.fit是一个由AI驱动的营养和健身教练，旨在根据个人的独特目标（如长寿、减肥或增肌）量身定制健康转型方案。通过WhatsApp与Rex交流，用户可以记录餐食、获取个性化的锻炼建议、查看日常报告和反馈，从而在减重、健身或提高生活质量方面取得显著进展。

　　Aha Vector Search是一个高性能、低成本的端到端向量搜索服务。它提供了一种快速构建端到端向量搜索的方法，帮助用户以更低的成本实现高效的搜索体验。

　　SparkSocial是一款AI驱动的社交媒体营销工具，通过监控关键词、实时追踪、情感分析和全面报告，帮助用户更接近受众。它提供自动生成回复、竞争分析、受众发现等功能，帮助用户发现潜在客户、提升品牌曝光、进行大规模冷外联等，同时提供数据驱动的报告和分析。定价灵活，适用于企业、代理机构、SaaS以及创作者。

　　News Minimalist是一个AI策展的新闻摘要服务，它从海量新闻中筛选出线%的故事。这个服务提供了一个没有垃圾新闻、点击诱饵或广告的纯净新闻阅读体验，用户可以通过每日通讯获得新闻摘要。

　　Creately VIZ是一款AI视觉智能工具，能够快速生成可视化内容，自动化任务，并帮助用户发现新的视角。它提供多种功能，包括AI模板生成、自动化工作流程、与团队协作等。适用于各种场景，如白板协作、业务流程管理、战略规划等。产品定位于提高团队工作效率，提供创新视角。

　　GeminiProChat是GeminiPro的最小化Web界面，提供简洁有效的聊天体验。它支持通过环境变量来控制网站，允许使用者通过Docker部署，并提供易于部署的Vercel和Railway选项。GeminiProChat是一个灵活的工具，适用于需要简单、高效聊天界面的用户。

　　AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

　　Reply Boy是一款Chrome浏览器插件，旨在帮助您增加Twitter账号的曝光。您可以选择不同类型的回复（问题、肯定），并选择不同的情绪（浪漫、有趣、聪明等），从而轻松产生优质的推文。Reply Boy注重安全和隐私，不追踪用户数据，不记录消息，遵守Twitter规则，无需您的密码。您可以免费尝试，无需任何设置。

　　DeepSwapper是一款免费高质量的换脸服务。用户可以通过上传图片进行换脸操作，DeepSwapper提供无水印、无广告、高质量、无限次数的换脸服务。DeepSwapper使用AI技术实现真实的脸部交换效果。DeepSwapper支持多种图片格式上传，同时也提供API服务。

　　Animos是一款面向儿童的对话玩具，也是家长的辅助工具。它通过AI技术回答孩子的各种问题，提供逻辑思维游戏，引入早期双语环境，并帮助孩子理解和处理情感。Animos旨在将屏幕时间转化为互动学习冒险，提高儿童的语言发展，识别孩子的兴趣并激发好奇心。此外，Animos注重隐私保护和内容安全，为家长提供日常总结和反馈功能。

　　使用Resume，在短短 5 分钟内创建一份能帮助你获得工作的简历。选择超过 20 个专业、现代和创意的简历模板。

　　Slay School是一款AI闪卡制作器，能够帮助学生将笔记转化为简洁易记的闪卡，节省时间并专注于学习。用户可以上传讲座资料、粘贴笔记或提交链接，Slay School能在几秒钟内自动生成闪卡。支持自测或导出至Anki/Quizlet。产品定位于学生群体，特别适合医学生。

　　Steerable Motion是一个用于批量创意插值的ComfyUI节点。我们的目标是展示在图像作为视频模型演变时，如何以最佳方式驱动运动。

　　EasyTranslator是一个基于OpenAI API的命令行工具，支持多种文件格式（包括.txt、.pdf、.docx、.md、.mobi和.epub）的翻译。它可以轻松地翻译文本文件，消除语言障碍。

　　Google Gemini是由DeepMind开发的多模态AI模型，可以处理文本、音频、图像等多种信息。它包括三个版本：Ultra澳门威斯尼斯wns675入口、Pro和Nano，分别针对不同的任务复杂度。Gemini在AI基准测试中表现出色，针对各种设备进行了优化，并已经过安全和偏见测试，遵循负责任的AI实践。它将集成到Google产品中，并通过Google AI Studio和Google Cloud Vertex AI提供。