HiveNetPipeline.embed_processer module

管道通用处理器插件模块

class HiveNetPipeline.embed_processer.Null

基类：PipelineProcesser

不做任何操作的处理器

classmethod execute(input_data, context: dict, pipeline_obj, run_id: str, **kwargs)

执行处理

(可以为同步也可以为异步方法)

参数

• input_data (object) – 处理器输入数据值, 除第一个处理器外, 该信息为上一个处理器的输出值

• context (dict) – 传递上下文, 该字典信息将在整个管道处理过程中一直向下传递, 可以在处理器中改变该上下文信息

• pipeline_obj (Pipeline) –

  管道对象, 作用如下:

  1、更新执行进度

  2、输出执行日志

  3、异步执行的情况主动通知继续执行管道处理

• run_id (str) – 当前管道的运行id

• 传入的运行扩展参数 (-) –

返回

处理结果输出数据值, 供下一个处理器处理, 异步执行的情况返回None

返回类型

object

classmethod processer_name() → str

处理器名称, 唯一标识处理器

返回

当前处理器名称

返回类型

str

class HiveNetPipeline.embed_processer.SubPipeline

基类：SubPipeLineProcesser

通用的子管道处理器

classmethod get_sub_pipeline(input_data, context: dict, pipeline_obj: Pipeline, run_id: str, sub_pipeline_para: dict)

获取子管道对象的函数

参数

• input_data (object) – 处理器输入数据值，除第一个处理器外，该信息为上一个处理器的输出值

• context (dict) – 传递上下文，该字典信息将在整个管道处理过程中一直向下传递，可以在处理器中改变该上下文信息

• pipeline_obj (Pipeline) – 发起的管道对象

• run_id (str) – 当前管道的运行id

• sub_pipeline_para (dict) – 获取子管道对象的参数字典, 直接就是管道配置

返回

返回获取到的子管道对象

返回类型

Pipeline

classmethod processer_name() → str

处理器名称，唯一标识处理器

返回

当前处理器名称

返回类型

str