边缘,一个相对远离“中心”的概念。边缘计算往往是部署在数据中心之外,接近于现场应用端提供的计算,面对的市场更为分散。工业、零售、智慧城市都是边缘计算中典型的场景。很多数据来不及或者不能够集中上传到云端,就需要在边缘终端侧完成计算和推理。
【资料图】
在英特尔发布Q2财报的前一天,2023英特尔网络与边缘产业高层论坛上探讨了未来边缘计算的机遇。英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti提到,2030年全球边缘市场将达到4450 亿美元的规模,企业需求的推动将会转化为经济发展的动能,因此,他认为边缘的发展将成为下一个 10 年的巨大发展机遇,“边缘已经是现在人工智能最大的部署所在”。
这半年围绕人工智能最热的话题是大模型,在本次会议上也不例外,大家的共识是大模型的落地要和行业结合起来,并且针对性地去解决行业问题。
大模型的应用有着不同的实施方法:可以在云端完成训练,再在云端完成推理返回结果到前端的边缘侧,但这就意味着可能通信的时间较长;也可以在云端完成训练,然后在边缘侧完成微调后再推理并给出结果。
“我们要检测猫,现在可以做到什么程度呢?可以直接对着手机说一声‘如果猫跑到沙发上,你就告诉我’。通过大模型对语音的理解、对画面的分析,当猫跑到沙发上的时候,系统就可以向手机推送报警信息。”山东中维世纪科技股份有限公司高级副总裁王正彬分享了公司在智能家居产品有趣的案例应用。
从依靠人工盯着视频一帧帧分析,再到利用深度学习的发展通过重复检测、人形检测进行风险提示,大模型的发展让视频检测和分析更为便捷。“早期人工智能模型是定向的,找到专业数据集定向训练识别,现在大模型最大的特点是它有点通识的能力,有一些内容好像没有训练就可以识别出来了,这是现在大模型和早期模型的区别。”他这样向第一财经解释以前的AI模型和现在大模型的区别。
“现在更多的需求是需要对关键事件进行检测,比如说一个人摔倒,我只检测倒地的人形,不检测正常的人形,通过大模型就可以很方便实现了,只有倒地的人检测到才进行报警,这样能大大减少误报和干扰。”王正彬说。
据他介绍,从视频接入、存储、解码、显示以及智能分析,这些工作就是在边缘进行处理的。但要想在边缘侧完成这种对大模型的部署和使用,还有一些限制。
“我们知道边缘设备的算力、功耗、成本往往都是有限的,不像数据中心可以无限增加设备。那么如何可以在资源受限的情况下去部署大模型,完成推理工作,这当中有很多问题需要解决。如果你把大模型原封不动的放在边缘侧,对算力要求太高,很多设备是无法承受的,就需要根据特定行业的特定要求去做特定的优化,使得简化之后的模型既满足特定行业对准确度、功能的要求,同时它的算力又能够被一般的或者是专用的边缘设备所承载。” 英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席 AI 工程师张宇说。
现实中仍有不少困难。在现场参与案例展示的工作人员告诉第一财经,数字化转型进程事实的推进速度不一,会造成新的技术无法落地应用。“有一些工厂的设备、网络能力都是比较陈旧的,那我们只能先推荐他们更换设备,我们作为软件方案商还不会直接提供硬件。”
拥抱新技术有时更像是强者的游戏,让跑得更快的人继续在行业中领跑。这些应用场景有些本就是在原来技术应用上的升级体验,而不是简单地实现一个新功能的从无到有。这为比较人工智能发展阶段的不同方案如何体现进步带来了一定难度,因为有时难以用数字量化,体现的是管理流程和性能体验的优越性。
“在我们的经验当中看到人工智能部署超过一半都是失败的。”Sachin Katti认为这主要有几个原因,基础设施的问题过于陈旧,难以把人工智能的大型模型部署到陈旧的设备上;第二个是数据,要去学会如何抓取孤立的数据,利用这些数据进行部署,他直言“这都是非常大的挑战,很多人都因为这些挑战而止步不前”。
“对于客户来说,仅仅靠自己通过硬件去获得边缘价值是非常困难的。所以我们在交付给客户硬件的时候,相应地也会给客户交付所需的软件。我们的目的是希望通过这样一套基础设施,可以让客户更加容易部署我们的硬件,并管理好硬件。”Sachin Katti说。
他提到,英特尔为了抓住边缘计算的机会继续在三个方向上发力:在硬件上,英特尔在中国刚刚发布了专门面向大模型训练的加速器Gaudi 2,还有其他的通用CPU处理器以及专用的独立显卡加速器;在软件上,通过OpenVINO可以对在云端训练之后的大模型进行优化和压缩,在最新的OpenVINO的版本中,已经增加了对大模型Stable Diffusion的支持;此外,就是继续发展生态合作伙伴。
“把人工智能部署到工厂产线的时间成本和人力成本还是偏高。如果在大模型上有更创新的想法,我们会和技术团队、产品团队共同配合,共同琢磨提炼,我们希望更快速把英特尔的技术方案带进去。”英特尔市场营销集团副总裁兼中国区总经理王稚聪认为,业务的合作伙伴要捕捉中国经济在恢复过程中出现的新动能,新的产业崛起以及把技术代入到下一个发展阶段。
然而,通向机遇的道路并非坦途。
2023年英特尔Q2财报显示,第二季度营收为129.48亿美元,与去年同期的153.21亿美元相比下降15%;但实现了扭亏为盈,净利润为14.73亿美元,去年同期的净亏损为4.54亿美元。从细分领域来看,尽管在过去一年里,网络和边缘业务曾是一直稳定保持着同比增长,但这块业务今年连续两个季度下滑,本季度收入为14亿美元,同比下降了38%,是分列的几项中同比下降最快的。
“不光是对英特尔,你可以看一下整个半导体行业过去两年大家的利润都有20%-30%左右的下调。但是在近一段时间,我们看到经济正在逐渐复苏,而且也有大量的需求,无论是云端还是随着AI技术进一步的部署和使用,尤其是AI的需求,它不仅是对GPU和网络的需求,包括对CPU的需求都是在不断增加的在边缘也会有一些需求。对英特尔来说,我们所做的就是要适应市场的情况和变化。” Sachin Katti回应第一财经在内的媒体采访时说。
(来源:第一财经)