代码大型语言模型（CodeLLM) 在代码生成、推理任务和智能代理系统等多个领域已变得不可或缺。尽管开源的代码大模型性能正逐步接近专有模型的水平，但适合进行科学研究的高质量 CodeLLM ...

在人工智能和大语言模型（LLM）领域，量化技术的进展一直是研究的热点。近期，来自自动化研究所、清华大学和港城大学的DuQuant团队在NeurIPS 2024会议上展示了一项突破性成果，该技术能够在短短50秒内完成7B模型的量化，且在4比特设置下达成了新的SOTA（state of the art）。这一成就为大语言模型的实际应用提供了新的可能，尤其是在硬件资源有限的情况下。 量化通常是将浮点数表 ...

在大语言模型（LLM）快速发展的今天，如何高效地进行模型量化已成为研究者们探索的热点之一。近日，来自清华大学和港城大学的DuQuant团队在NeurIPS 2024大会上展示了一项颠覆性的技术：在短短50秒内完成7B参数模型的4bit量化，成功达成新的SOTA（State of the Art）标准。这一成就将为大规模预训练模型的应用带来新的机遇。

据了解，“歼-35A”是由中国自主研发的第五代隐形战斗机，也是中国首款具备舰载能力的隐形战斗机。作为一款采用单座、双发设计、翼身融合、双后掠外倾垂尾、全动平尾布局的新一代隐身战斗机，它的任务主要是夺取并保持制空权，其与 歼-20 ...

进入11月，宁波各地杉树风景实力抢镜！大片水杉由绿变黄、由黄变红，色彩浓烈，风景别样。11月13日，奉化区溪口镇岙底村“孤独的树”迎来了最美季节。

混合精度量化的一个优势就是可以实现近乎无损精度的量化。使用混合精度量化的LlaMA模型在MMLU 20个领域上的数据集进行推理准确率测试表明， 采用8bit混合精度量化后的准确率下降不到0.1% ： ...

在人工智能领域，尤其是大语言模型（LLM）中的技术进步愈发引人注目。近期，来自自动化所、清华大学和香港城市大学的DuQuant团队在2024年NeurIPS会议上发表了一篇重要论文，提出了在低比特量化领域的新方法，成功将7B模型的量化时间缩短至50秒，并在4位量化设置下实现了新的SOTA（state-of-the-art）成果。

几个月前，我的妻子因为意外去世了。在这段时间，我忙着处理她的后事和其他安排，几乎没时间照顾孩子。直到所有事情告 ...

《fami通》本周的杂志中公开了《勇者斗恶龙3：HD-2D重制版》的新情报，主视觉图画师生岛直树与制作人早坂将昭接受了本次的采访。 有关新增职业魔物大师，采访中回应了这个职业的情报。

本文提出模态融合率 MIR，能够用于评估多模态预训练的跨模态对齐质量。该指标能准确反映各种预训练配置（如数据、策略、训练配方和架构选择）对模型性能的影响，而无需再进行有监督微调 SFT 并于下游测试基准上评估。

一段时间以来，沈河区人大坚持把思想铸魂放在首位，不断强化党的创新理论武装，通过理论中心组研讨、邀请专家授课、开展“学讲话、务举措，争当振兴先锋”大讨论活动等形式，教育引导机关干部和全体人大代表深刻认识总书记系列重要讲话的重大政治意义、理论意义、实践意 ...