“FUTURE WISE”!浩鲸科技鲸智MaaS平台突破行业三大挑战

2024-07-02 575

智能化技术飞速发展,在运营商AI+推动下,众多生产系统正积极融入并采纳大模型技术,从而引发了对大模型需求的迅猛增长。


作为一站式模型工厂,MAAS平台以其卓越的大模型服务能力,覆盖了从模型数据、服务到应用赋能的全流程。然而,在实践落地过程中,数据采集处理、模型纳管微调以及模型服务保障三个环节面临了显著的挑战。



2024年 MWC上海展会上,浩鲸科技展示的鲸智MAAS平台,以“FUTURE WISE”为设计理念,成功突破了上述三大挑战。通过提供全面的数据管理、强大的模型兼容性、高效的模型微调机制、全面的评估体系以及灵活的发布策略,鲸智MAAS平台帮助客户打造了强大的AI+新质生成力,助力客户在智能化道路上不断攀登新的高峰。


同时,浩鲸科技深度参与工信部旗下人工智能关键技术和应用评测重点实验室《MaaS模型即服务技术与应用要求 第1部分:模型服务协议要求》标准编写,获“核心参编单位”称号。


图片关键词



全域高质量数据供给、解决模型幻觉问题


大模型在处理特定业务场景,需要大量的高质量数据来进行训练、微调;然而数据分布广泛、数据格式多样、数据内容分散,导致数据清洗和融合难度大等多重问题。


鲸智MaaS平台在1.0基础上强化自动化数据采集、智能化数据处理和编排式语料生成等能力,快速高效地为多重场景提供全域高质量数据组装和供给,从而提升模型性能、减少模型幻觉、满足特定场景需求以及加速模型迭代。



自动化数据采集:通过数据感知技术和数据理解技术,将广泛分布且变动迅速的数据以业务实体智能拟合,并采用分片技术自动执行完成数据采集。


智能化数据处理:首先对采集数据进行结构化处理,在通过智能数据标注、智能数据连接、数据增强、数据融合等技术,形成大模型投喂的高质量Questions and answers数据队列。


编排式语料生成:对于高质量的数据队列,通过场景化模板、在线编排式,以拖拉拽的方式,完成数据供给。



标准化的能力纳管、解决模型适配难问题


在模型纳管和微调过程中,企业面临着模型微调难度高、投入大,模型来源多样、层级不一,不同层级模型相互依赖、算力算法数据需求差异大的三重痛点,导致实现标准化的模型纳管、场景化的模型微调成为难题。


鲸智MaaS平台通过低门槛、高效率的模型微调技术和模型血缘分析,助力企业突破模型管理瓶颈,实现低成本、一站式模型纳管和微调,投入成本缩短至天,当前平台已满足40+大模型的透明化管理。


图片关键词



低门槛、高效率的模型微调技术:提供模型微调标准的六步法(选择基模、创建微调任务、选择数据集、设置超参数、模型训练、模型评估),实现通用模型向场景模型的精调,全程低门槛、高性能的模型微调体验。


模型自动接入:通过自动采集基模的公开信息和评测报告,形成360度感知视图,采用插件化算法框架和硬件芯片适配,实现运行环境的自动化构建,确保基模型的快速高效接入与运行。


模型血缘分析:通过模型血缘分析智能分析不同层级模型的复杂依赖关系和环境依赖,实现分层存储和版本控制,结合区块链技术确保防篡改和可追溯。



高效率模型服务、解决模型准确性和及时性


大模型推理过程中消耗大量计算资源,运营成本高昂。过程中也存在基模与业务场景的适配难度大、门槛高,精准意图识别因场景复杂、描述多样,知识精准融入等综合性问题。因此,鲸智MaaS平台提供了智能化的解决方案,将模型切换耗时从周降至天,实现资源消耗降低20%以上,意图识别准确率提升10%以上,为企业提供了更快、更省、更准的模型服务保障。


图片关键词



智能差距发现:通过编排式评测数据生成、自动化环境构建和资源分配、自动化指标收集等技术,实现模型场景化能力分析的自动化和高效率。


智能推理加速:通过KVCache、PagedAttention、动态批量、FlashAttion,模型编排、模型量化等技术,降低推理延迟,提高推理吞吐;同时,对客户问题术语进行标准化,对问题条件进行参数化、问题直达,减少对大模型的调用。


精准意图识别:采用意图识别代理技术,通过智能问题增强、多路要素提炼、智能问题分解和综合知识召回等多维度增强,提升了基础大模型的意图识别能力,实现场景化问题的精确识别,提高意图识别的准确性。


未来已来,智慧相伴。鲸智MaaS平台将持续以“FUTURE WISE”设计理念为基础,以创新为驱动力,不断优化和提升自身能力,帮助企业全面提升智能化水平,实现高效、精准、全面的AI应用。


官方微信公众号

浩鲸云计算科技股份有限公司 版权所有 2003-2023

苏ICP备10224443号-6       苏公网安备 32011402011374号