人工智能是一项正在常规基础上进行大量研究的技术。世界各地的研究人员都在努力让AI的应用和实施更快、更好。多年来,人类遇到了人工智能带来潜在突破的例子。无论是在心脏病的早期检测,还是在发现历史事件方面,人工智能自诞生以来都取得了长足的进步。
为了减轻日常琐事,麻省理工学院(MIT)和国立台湾大学的研究人员合作,在微控制器上嵌入了深度神经网络。这意味着,微小芯片形式的AI可以在智能穿戴设备和家用电器中实现,从而实现物联网(Device)和AI的高级融合。这篇题为《MCUNet:物联网设备上的微小深度学习》的研究论文将于12月在神经信息处理系统会议上发表。研究人员希望通过这种方法,在物联网设备的传感器附近进行数据分析,从而拓宽人工智能的应用范围。
了解MCUnet
研究人员发明的这种设备被称为MCUnet。它是一种神经网络架构,能够在现成的微控制器上实现ImageNet规模的深度学习。ImageNet是一个图像数据库,每个节点由数千张图像描述。在该模型中,深度学习设计和推理库进行了联合优化,以消除传统微控制器片上有限内存的挑战,降低内存使用量。
TinyNAS是一种深度学习设计,具有两阶段神经结构搜索(NAS)方法,可处理各种微控制器上微小而多样的存储限制。研究指出,TinyNAS首先自动优化搜索空间以适应微小的资源限制,然后在优化后的空间进行神经结构搜索,从而解决了这个问题。TinyNAS通过缩放输入分辨率和模型宽度来生成不同的搜索空间,然后收集搜索空间内满足网络的计算失败分布来评估其优先级。此外,TinyNAS依赖于搜索空间能够容纳的洞察力。内存限制下的失败次数越多,深度学习模型就越好。实验表明,优化后的空间提高了NAS搜索模型的准确率。TinyNAS可以在低搜索成本下自动处理与传统微控制器相关的各种约束,如设备、延迟、能源、内存等。
研究人员指出,TinyEngine是一个内存高效的推理库,消除了不必要的内存开销,因此搜索空间得到了扩展,以适应更大的深度学习模型,并具有更高的准确率。由于推理库是基于解释的,需要额外的运行时内存,TinyEngine编译了基于代码生成器的方法,消除了内存开销,并适应内存调度,而不是分层优化,以更好地为减少内存使用制定策略。最后,对不同层次进行专门的计算优化,即循环平铺、循环展开、OP融合,加快了推理速度。
研究人员观察到,与传统的深度学习相比,MCUNet通过系统算法协同设计更好地利用了资源。研究人员得出结论,现有的模型在外壳式微控制器上达到了创纪录的70.7%的ImageNet精确度。
版权及免责声明:凡本网所属版权作品,转载时须获得授权并注明来源“物联之家 - 物联观察新视角,国内领先科技门户”,违者本网将保留追究其相关法律责任的权力。凡转载文章,不代表本网观点和立场。
延伸阅读
版权所有:物联之家 - 物联观察新视角,国内领先科技门户