Nat. Methods | ilastik:为生物图像分析而生的交互式机器学习平台

工具简介

来自德国海德堡大学的Hamprecht团队开发了一款使用简便的开源交互式工具—ilastik。ilastik能够给用户提供良好的基于机器学习的生物信息图像分析服务，这对于在计算机专业知识方面有所欠缺而又想使用机器学习来做图像分析的用户来说是一个福音。（文末附ilastik下载链接）

研究背景

随着成像技术的快速发展，越来越多的生命科学家投入到生物信息图像分析领域。通常要手工的去完成图像分割，目标检测，目标计数这类工作十分耗时，繁复而又容易出错。此外，在生物图像上做人工标注非常的困难，这一部分通常需要非常专业的人员来完成。

Hamprecht团队开发的ilastik工具利用监督式机器学习的方法，通过把几种常见的生物图像处理过程流程化，规范化，提供给用户一个简单易用的交互式生物信息图像分析平台。目前平台支持的图像分析流程包括图像分割（语义分割、实例分割），目标分类，目标计数以及目标追踪。

像素分类（Pixel classification）

像素分类是ilastik中使用的最多的流程，它将用户定义的标签标注到每一个像素点上，并得到图像语义分割的结果。

用户只需要简单的通过画刷工具在图片上将部分类别标注出，ilastik平台将会自动判别图像中的其它像素属于某一个语义类别的概率。

在上图中的左上部分，用户用画刷工具标注出部分像素的所属语义类别；右下部分为ilastik通过机器学习算法生成（图中：红色，线粒体；蓝色，膜；黑色，细胞质；红色，微管）。

自动上下文（Autocontext）

自动上下文流程与像素分类流程联系紧密。自动上下文执行了两次像素分类流程，第二次像素分类的输入数据为第一次像素分类得到的结果以及原始图像数据。自动上下文的输出相比单像素分类流程得到的图像结果噪音更少，过渡更平滑，连续。

目标分类（Object classification）

在进行目标分类训练之前，首先需用平滑和阈值方法从像素分割得到的概率图中提取待分类的物体，也可以引入外部提取的结果。之后用户只需要通过单击标注部分待分类物体所属的类别，ilastik平台即可完成其余训练工作，并自动判别图像中的其它待分类物体属于哪一个类别。

图中的左上部分，用户通过简单的单击即可为目标标注类别；右下部分为ilastik通过机器学习算法生成。

雕镂（Carving）

来自电子显微镜的三维生物信息数据非常适用于在这个流程中做目标分割。用户只需通过笔刷工具将目标和背景简单标记出，ilastik平台会自动识别出要保留的目标区域，并生成三维坐标下的目标体。

图中的左上部分，用户使用笔刷工具简单标注目标和背景（图中：蓝色，目标；红色，背景）；右下部分为ilastik自动生成。

图a为内质网的电镜图，为了对其进行边缘提取与三维建模，首先在图b中进行简单标注（图中：红色，物体；黄色，背景；蓝色，镂空区域），图c为经过训练后ilastik关于整个区域的预测三维图。

多分（Multicut）

该流程多用于电子显微镜下神经元图像的目标分割。

与雕镂流程类似，多分流程也是基于边界信息将物体分出。不同的是，多分同时将多个目标分出。用户通过标注出图像中的部分边界值为True或者False，ilastik平台即可自动判定其它边界的值，从而实现同时对多个目标进行区分。

图中的左上部分，用户通过点击标注出正确的边界（绿色）和错误的边界（红色）；右下部分为ilastik通过随机森林算法自动生成的结果。

目标计数（Counting）

该流程运行于二维图像数据上，可用于重叠目标的计数。目标计数流程能够准确的计算出那些由于重叠了太多而无法被分割出的目标的数量。用户可以通过笔刷工具标注出背景，单击标注出目标中心，以此给ilastik提供训练数据，之后ilastik平台会自动渲染图像中的其余部分。

图中的左上部分，笔刷工具标注出背景（洋红色轨迹），单击标注出要计数的目标中心（彩色目标）；右下部分为ilastik通过随机森林算法在用户定义的范围内（蓝色长方形区域）对目标的计数。

目标追踪（Tracking）

目标追踪流程能以2D和3D的形式跟踪多个预先检测到的、可能会分割的目标。该流程考虑每个目标的以下因素:它进行细胞分裂的可能性有多大，它被误检测或几个对象合并的可能性有多大，以及它在随后的帧中与相邻对象的匹配程度如何。

按照一般的ilastik方法，用户通过训练一个分类器来识别分割的对象和另一个分类器来发现错误检测和对象合并来提供这些信息。

图中左上部分，用户通过单击标注出用于可分裂目标(青色)，不可分裂目标(品红)，合并目标(黄色)和单个目标(蓝色)，右下部分，同类目标用相同颜色标记。

ilastik

平台支持：Linux, MacOS, Windows

下载地址：https://www.ilastik.org/download.html

官方演示：

https://www.youtube.com/channel/UC2Z3En46IwfxbRXhI3OsDaQ

参考资料

Stuart Berg, et al. ilastik: interactive machine learning for (bio)image analysis. Nat. Methods 16, 1226–1232(2019).