HPN 训练的万卡集群 针对大规模 阿里 LLM

HPN 训练的万卡集群 针对大规模 阿里 LLM

一、背景之前的文章中咱们详细引见了万卡GPU集群中的网络拓扑以及在万卡GPU集群中启动大规模LLM训练面对的应战和处置打算;也进一步引见了阿里云的汇合通讯调度框架C4和C4底层的阿里云新一代智算集群网络架构HPN7.0,不过上述HPN7.0......
koi 11-15
693 505 792
具身智能成败之关键!干货长文初次片面回忆具身智能畛域中的视觉

具身智能成败之关键!干货长文初次片面回忆具身智能畛域中的视觉

文章链接,https,arxiv.org,pdf,2405.14093亮点直击本综述是关于具身智能畛域中新兴的视觉,言语,举措模型的初次片面回忆,深度学习在许多畛域中展现出了清楚的成功,包括计算机视觉、人造言语处置和强化学习,这些畛域的代表......
koi 11-15
339 563 861
大规模高品质的Amortized文本到增强3D 只有ms!英伟达提出LATTE3D 分解

大规模高品质的Amortized文本到增强3D 只有ms!英伟达提出LATTE3D 分解

文章链接,https,arxiv.org,pdf,2403.15385工程地址,https,research.nvidia.com,labs,toronto,ai,LATTE3D,最近的文本到3D生成方法发生了令人印象深入的3D结果,但须要......
koi 11-15
719 696 342
阿里史上最大规模开源颁布 超GPT

阿里史上最大规模开源颁布 超GPT

当天清晨,阿里巴巴官宣了史上最大规模的开源颁布,推出了基础模型Qwen2.5、公用于编码Qwen2.5,Coder和数学的Qwen2.5,Math,这三大类模型一共有10多个版本,包含0.5B、1.5B、3B、7B、14B、32B和72B,......
koi 11-15
391 506 822
o1蒙特卡洛树的风又吹到了Agentic上班流!

o1蒙特卡洛树的风又吹到了Agentic上班流!

​AFlow是一个用于智能生成和优化Agentic上班流的框架,它经常使用蒙特卡洛树搜查,MonteCarlotreesearch,在代码示意的上班流空间中查找有效的上班流,用机器上班取代手动开发,在各种义务上都显示出逾越手工上班流的后劲,......
koi 11-15
566 252 251
RAG并不是你惟一的处置方案! 微软

RAG并不是你惟一的处置方案! 微软

将外部数据整合到LLMs中的技术,如检索增强生成,RAG,和微调,获取宽泛运行,但在不同专业畛域有效部署数据增强LLMs面临着严重应战,数据增强LLM运行中不同查问档次的重要技术总结​微软亚洲钻研院,MSRA,提出了一种RAG义务分类方法,......
koi 11-15
273 422 759
遗记Tool检索 拥抱全新Agent ToolGen!

遗记Tool检索 拥抱全新Agent ToolGen!

传统大模型工具调用的方法依赖于将工具形容作为高低文输入,这遭到高低文长度的限度,并须要独自的、理论效率低下的检索机制,之前基于检索的方法与ToolGen之间的比拟,以前的方法经常使用检索器依据相似性婚配检索关系工具,这些工具进一步被放入揭示......
koi 11-15
894 278 817
卷疯了! LLM集中迸发的一周 Open

卷疯了! LLM集中迸发的一周 Open

开源大模型畛域繁华特殊的一周,各种开源,PaperAgent启动了概括,端侧、Code、RAG、Agent、Reflection,反思纠正,、MoE,你关注的都在这里了,ReflectionLlama,3.1,70B开源Reflection......
koi 11-15
965 364 246
像人一样操控电脑! 超级Agent

像人一样操控电脑! 超级Agent

Anthropic深夜颁布严重更新,更新版Claude3.5Sonnet、新型号Claude3.5Haiku以及超级Agent,computeruse,新的ComputerUse或者是迄今为止最先进的AIAgent之一,它可以像人类一样经常......
koi 11-15
720 426 566
RAG新范式MemLong 用于长文本生成的记忆增强检索

RAG新范式MemLong 用于长文本生成的记忆增强检索

传统的留意力机制因为期间和空间复杂度的二次方增长,以及在生成环节中键值缓存的内存消耗始终参与,限度了模型处置长文本的才干,关系的处置打算包含缩小计算复杂度、改良记忆选用和引入检索增强言语建模,检索增强生成,RAG,和MemLong的记忆检索......
koi 11-15
708 155 393