基于混合多级深度神经网络系统的半导体制造过程自动化视觉故障检测系统
在半导体领域,自动化视觉检测旨在通过利用人工智能和计算机视觉系统改进对制造缺陷的检测和识别,使制造商能够提高产量和降低制造成本。以往研究通常使用经典的计算机视觉方法,而近些年基于深度学习的方法应用的更加广泛。然而,基于深度学习的方法对小尺寸缺陷图案的识别较为困难,这些缺陷图案的尺寸通常只有几微米或者几像素,隐藏在大量高分辨率图像中。当这些缺陷模式发生在明显更大的晶圆表面上,经典的机器学习和深度学习解决方案难以解决小尺寸缺陷图案识别的问题。本文引入了一种新颖的混合多级叠加深度神经网络系统(SH-DNN)混合多级系统,该系统允许通过经典的计算机视觉管道在像素大小内定位最精细的结构,而分类过程由深度神经网络实现。所提系统将重点从其结构的详细程度转移到与任务相关的更感兴趣的领域。正如创建的测试环境所示,基于 SH-DNN 的多级系统超越了当前基于学习的自动视觉检测方法。该系统的性能(F1分数)高达 99.5%,对应于系统的故障检测能力相对提高了 8.6 倍。此外,通过专门为给定的制造链选择模型,可以满足运行时限制,同时提高当前部署方法的检测能力。
关键词:计算机视觉;模式和图像识别;深度学习;半导体制造;工厂自动化;故障检测
1. 研究背景
自动化视觉故障检测过程涉及系统的开发和集成,用于捕获和监控制造结果。质量控制的自动化使制造商能够受益于产量的提高和制造成本的降低。虽然半导体制造过程的数据采集通常会产生大量的图像数据,但缺陷图案通常为像素大小出现在高达105×105图像分辨率范围内。对基于深度学习的方法,这种小尺寸缺陷模式的检测和分类为常见难题。因此,本文通过心理学和视觉注意领域的概念来克服上述问题。
本文的贡献总结如下:本文提出一种新型的混合多级叠加深度神经网络系统(SH-DNN)的设计,该系统结合了经典图像处理方法和基于人工神经网络的方法的优点。将重点放在检查过程中每一步的详细程度上,以关注更多与任务相关的领域。它通过经典的计算机视觉管道对像素大小内的最精细结构进行定位,而分类过程则通过深度神经网络实现。深层神经网络能够以更高的分辨率处理给定的输入。从而更有效地检测通常仅在几µm大小范围内的最精细结构和大量高分辨率图像中的像素。
2. 研究内容
实验数据集由各种类型的晶圆组成,它们都具有不同结构和图像分辨率,每个芯片的像素从 224×224 到高达 960×1024 不等。最重要的是,这也意味着完美和有缺陷的芯片、street和street段的不同特征和子类的出现。表 1 描述了数据集的组成,共计六种不同的晶圆类型以及多达 5000 个芯片和 13500 个street。对于street段,每条street被分成多个重叠的平方street段区域。
表1 每个晶圆类型的芯片(包括内部和边界以及完美和有缺陷的芯片)和street(包括完美和有缺陷的street)的数据集概述
表2和表3显示了一些典型的代表性芯片和街道样本。
表2 数据集芯片类八个代表性示例概述
表3 数据集street分类概述
图1显示了所提基于SH-DNN的系统及其处理步骤。在以下章节中,系统处理整个晶圆,以检测有故障和无故障的芯片。在处理晶圆图像之前,通过不同的显微镜记录它们,获取未拼接的子图像,或者预处理的图像,这些图像由显微镜软件拼接成单个图像。
图1所提视觉故障检查系统
Street分类网络包括芯片分类网络与Street分类网络,都是基于VGG网络进行的改进。网络结构如表4和表5所示。
表4 用于芯片分类的自定义CNN层配置
表5 用于street分类的自定义CNN层配置
表6显示了常规基线、半导体和基于DL的方法的测试结果。这些方法目前分为半导体视觉检测领域中部署的基于单个DNN的解决方案,以及该领域中大多数未经DL研究的方法。
表6 基于SH-DNN的分类测试结果,采用常规基线方法和基于DL的芯片和street分类方法
此外,我们还评估了相关的常规基线和基于DL的内部和边界芯片分类方法,如表7所示。
表7 基于SH-DNN的分类测试结果,以及用于内部和边界芯片分类的常规基线方法和基于DL的方法
3. 结论
所提自动视觉故障检测系统将经典图像处理方法的优点与基于深度学习的方法相结合,形成了一个混合多级叠加深度神经网络系统(SH-DNN)。该系统的优势在于能够检测到通常只有几微米大小的最精细结构,以及大量高分辨率图像中的像素。为此,多级系统有助于将处理集中在感兴趣的区域,因此允许后续的深层神经网络以更高的精度进行分类。根据详细程度进行区分,可以在更大的母区内检测缺陷模式,同时可以在自动化目视检查过程的早期阶段将其排除在进一步评估之外。遵循这一原则,每个处理步骤的结果都会根据所提寻址方案进行可视化,进而允许生成自己的晶圆图。虽然这些晶圆图在视觉上与晶圆探针测试创建的晶圆图相似,但它们是无风险获取的,因为检查过程是非侵入性的,进一步简化了检查员的评估过程。
使用多种基于机器学习和深度学习的方法进行对比评估,同时将其与更常用的自动化视觉检查方法进行比较。正如测试结果所示,所提基于SH-DNN的系统超过了当前最先进的自动视觉检查。这些改进突出表现在系统性能(F1分数)从95%提高到98.9%(对于常规基线方法为+3.9%),以及从95.7提高到99.5%(对于基于单DNN的方法为+3.8%)。这相当于系统的故障检测能力分别提高了4.6倍和8.6倍。
热门文章排行榜
-
2022-02-15 12837
-
2021-12-22 7084
-
2021-12-27 5841
-
2021-12-31 5312
-
2022-01-07 4647
-
2022-01-06 4603
最新文章排行榜
-
2022 02/23从产品角度聊聊SaaS的发展趋势
编辑导语:近年SaaS化产品也是越来越火爆,那么在未来,SaaS会如何发展呢?这篇文章作者从四个方面一产品角...
-
2022 02/20如何完成一次B端产品的线下业务调研
编辑导语:作为B端产品经理,线下的业务调研是一个必须要做的事情。从前到后都需要有一个明确的目标和完整的...
-
2022 02/15基于混合多级深度神经网络系统的半导体制造过程自动化...
在半导体领域,自动化视觉检测旨在通过利用人工智能和计算机视觉系统改进对制造缺陷的检测和识别,使制造商...
-
2022 02/15工业软件:世界八大最顶尖的工业软件强国
工业软件是指专用于工业领域里的软件,包括系统、应用、中间件、嵌入式等。工业软件大体上分为两个类型:嵌...
-
2022 02/15数字孪生:企业数字化未来之门
01数字孪生的发展形势和机遇中国是制造业大国,产业的数字升级正在推进,数字孪生的应用有广阔的空间,加之...
-
2022 02/14关于智慧校园应用建设
编辑导读:随着物联网的不断发展,校园已经逐步向智慧校园方面发展。智慧校园指的是以物联网为基础的智慧化...