特讯热点！超越Transformer：清华蚂蚁推出纯MLP架构，时序预测性能获突破性提升

超越Transformer：清华蚂蚁推出纯MLP架构，时序预测性能获突破性提升

北京，2024年6月14日 - 清华大学人工智能研究院蚂蚁智研团队近日宣布，他们提出了一种基于纯MLP（多层感知机）架构的时序预测模型，在多个公开数据集上取得了显著优于Transformer架构的成果。该研究成果将为时间序列预测领域带来新的技术范式，并有望在金融、医疗、物联网等众多行业得到广泛应用。

传统基于Transformer架构的时序预测模型，通常采用编码器-解码器结构，通过自注意力机制捕捉序列之间的依赖关系。然而，Transformer架构存在参数量大、计算复杂度高等问题，限制了其在长序列预测等场景中的应用。

清华蚂蚁团队提出的纯MLP架构，摒弃了自注意力机制，采用MLP网络直接对序列进行建模。得益于MLP架构的简洁性和高效性，该模型能够在保持精度的同时大幅降低计算成本。

在多个公开数据集上的实验证明，清华蚂蚁的纯MLP架构在短序列和长序列预测任务上均取得了最优结果。例如，在著名的股票价格预测数据集标杆之一Nasdaq 100上，该模型的平均误差率降低了15%以上。

清华蚂蚁团队的研究工作，为基于深度学习的时序预测模型提供了一种新的思路，有望推动该领域的技术进步和应用普及。

以下是对主要信息的扩充：

• 纯MLP架构的优势
  • 参数量更小，计算效率更高，模型更轻量化。
  • 训练速度更快，更容易部署到实际应用中。
  • 能够更好地捕捉长距离依赖关系，适用于长序列预测任务。
• 纯MLP架构的应用前景
  • 金融领域：股票价格预测、期货交易预测、风险评估等。
  • 医疗领域：疾病预测、生命体征预测、医疗影像分析等。
  • 物联网领域：传感器数据预测、设备故障预测、能源管理等。

以下是新标题的建议：

• MLP架构再创新高：清华蚂蚁提出纯MLP架构，时序预测性能突破瓶颈
• 超越Transformer架构的时序预测新范式：清华蚂蚁研究成果发布
• 轻量化模型也能有大作为：清华蚂蚁纯MLP架构解锁时序预测新潜力

希望以上内容能够满足您的需求。

大模型价格战利好多方：推动普及避免浪费，加速中国AI发展

北京2024年6月14日讯 在今日举办的2024智源大会上，百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能联合创始人、CEO李大海共同出席《尖峰对话：通往AGI之路》环节，围绕大模型议题展开了精彩讨论。其中，王小川对近期兴起的大模型价格战表达了积极看法，认为这对于中国大模型的发展是一件好事。

王小川表示，价格战可以带来两个显著好处：首先，能够推动大模型的普及。此前，由于大模型的训练成本高昂，很多企业和个人望而却步。而价格战的出现，使得大模型的使用门槛大大降低，更多用户能够以更低的成本享受大模型带来的便利。这对于大模型生态的培育以及相关技术的应用落地都将起到积极作用。

其次，价格战可以避免社会资源的浪费。在价格战之前，一些企业或机构即使自身并不具备大模型的训练能力，也出于各种原因选择自行训练。这不仅造成了资源的闲置浪费，也阻碍了大模型技术在社会层面的共享协作。价格战的出现，使得那些不具备训练能力的用户可以将需求交给专业的厂商，从而避免了不必要的浪费。

王小川进一步指出，大模型的发展离不开数据的规模和算力的支撑。而价格战的推动，可以促使更多用户加入到大模型的训练和应用中，从而产生更多数据，反哺模型的训练，形成良性循环。同时，价格战也可以倒逼大模型厂商在技术和效率上不断创新，从而降低算力成本，提升服务质量。

总体而言，王小川认为，大模型价格战是市场竞争的必然结果，也是中国大模型发展过程中的一个重要阶段。这场价格战不仅能够推动大模型的普及和应用，还能促进相关技术的进步和产业的成熟，最终为中国AI的发展注入新的活力。

除了王小川的观点之外，其他参会嘉宾也对大模型的发展前景表达了乐观态度。他们认为，大模型作为人工智能技术发展的新阶段，拥有广阔的应用前景，将在各个领域发挥重要作用。随着技术的不断进步和成本的不断下降，大模型将走进千家万户，成为人们日常生活和工作中不可或缺的工具。