从 0 到 1，如何徒手撸个 Python 插件系统？

号主从事算法服务开发多年，临近三月的尾巴，输出一个插件化部署算法服务的解决方案。篇幅内容都经过生产实践，如果对各位号友有所帮助，请拽个三连：点赞、关注和转发。

插件机制背景

插件化机制使框架与业务模块的实现相解耦，框架服务抽象出统一的交互接口，业务模块只要符合交互标准即可做到插件替换。

微内核架构是插件架构模式的一种典型实现，常常把微内核架构也叫做插件式架构。
当前微内核架构也被应用在许多我们熟知的产品，比如：操作系统、Chrome浏览器、Eclipse编辑器等

微内核架构包含两个组件：核心系统（core system）和插件模块（plugin component）

• 核心系统只包含让系统可以运作的最小功能
• 插件模块则包含一些特殊处理逻辑、额外的功能，用于提供更多的业务能力

具体如下图：

Python 插件核心

__import__()函数是我们本篇的核心，具体实现都围绕这个函数定制展开。

作用：用于动态加载类和函数。如果一个模块经常变化就可以使用 import() 来动态载入。
语法:

__import__(name, globals=None, locals=None, fromlist=(), level=0)name[必须]：模块名称globals - 全局变量集合，默认为Nonelocals - 局部变量集合，默认为Nonefromlist - 是否导入子模块，看上去是导入模块的列表。但实际是一个判断条件，只要设置为非空的值，且模块名称是带有子模块的，将导入子模块。例如：sys.path。当不设置时，返回sys，如果设置为非空值，则返回ntpath（path模块）level - 绝对或者相对导入

此处我们做个简单的验证，通过__import__实现和import一样的导入能力。分别验证导入os.path和导入其对应的子模块，具体如下：

>>> __import__('os.path')<module 'os' from '/opt/anaconda3/envs/python38/lib/python3.8/os.py'>>>> __import__('os.path', fromlist=['None'])<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>>>> __import__('os.path', fromlist=['path'])<module 'posixpath' from '/opt/anaconda3/envs/python38/lib/python3.8/posixpath.py'>>>>

以上只是在 shell 里面进行验证，那 Python 代码里面该如何写呢？有两种方式：
直接引用加载

p = __import__('widget.demo.infer', fromlist='infer')  # 导入print(p.Demo)      # 取出类变量# 打印结果<class 'widget.demo.infer.Demo'>

Importlib包方式

import importlib    # 导入工具包demo = importlib.import_module('.demo.infer', package='widget')print(demo)# 打印结果<module 'widget.demo.infer' from '/Users/**/language-bootcamp/python/plugin_system/widget/demo/infer.py'>print(demo.Demo)# 打印结果<class 'widget.demo.infer.Demo'>

插件服务基本组成

PluginCore：通过Plugin Manager调用算法，负责业务逻辑的实现
PluginManger: 通过读取配置文件，负责各种插件的加载、管理、甚至热更新

此处，Python 插件相关的知识点已经讲完了，下面进行算法插件化部署相关内容，Go Go Go！

算法服务基本组成

如上，一个完整的算法服务包含三部分：API逻辑、算法逻辑和模型文件

API逻辑：服务相关逻辑，比如：HTTP 相关的请求/响应设置或 gRPC 远程交互约定等。
算法逻辑：算法相关逻辑，比如：数据的前置预处理、后置标签映射等。
模型文件：算法运行依赖项。

可能某些号友会发问：一定是三个部分，难道不能两个，甚至一个？
此处只是从纯业务功能划分，便于理解。具体代码实现，都可以。

插件管理器定义

定义了插件管理的方法，插件功能加载、插件获取方法实现

class BaseManager(object):    """插件管理基类""" def __init__(self) -> None: """加载插件配置文件""" pass    def get_plugin(self, name): """根据调用，返回插件实例""" raise RuntimeError('not implemented yet!')    def get_total_plugin(self): """返回所有插件""" raise RuntimeError('not implemented yet!')

算法插件定义

每个插件需要实现公共接口方法。

class ApiBase(object):    """API服务基类""" def __init__(self) -> None: "模型初始化加载" def predict(self, req_dict={}): """ 预测方法，推理算法入口 :param req_dict: 请求参数，词典类型，eg:{"name":"value"} :return:  返回结果，词典类型，eg:{"name":"value"} """ raise RuntimeError('not implemented \'predict\' method')    def version(self): "版本方法" return '20220330'

配置文件定义

PluginManager通过配置文件进行可选插件指定加载配置，包括：插件名 、插件路径等信息。

{    "demo":{ "infer_dir":"widget.demo.infer"    },    "digit_recognition":{ "infer_dir":"widget.digit_recognition.infer"    }}

插件扩展

有些时候为了解耦，需要调用 C 代码，以 linux 平台为例，我们讲讲 python 如何调用 .so 文件进行扩展。

# -*- coding: utf-8 -*-import jsonimport ctypesfrom ctypes import c_floatfrom common.logger import LOGclass C_Type(object):    def __init__(self) -> None: self.so = ctypes.CDLL('widget/ctype/lib/sum.so') def predict(self, req_dict={}): LOG.info("this is ctype infer, req_dict=%s" % json.dumps(req_dict)) return req_dict    def version(self): return '20220326'def get_plugin_class():    return C_Type

总结一下

高可扩展：通过插件机制，我们可以很方便进行服务扩展
部署灵活：也能通过配置发布单独服务或者多个服务
代码解耦：最主要能实现各个功能模块的开发解耦，方便进行业务定制

但插件的使用得注意，尽量选择依赖环境和处理性能基本一致的业务进行插件构建，否则会有性能问题，慢插件影响快插件的推理速度。

好了，以上就是今天的全部内容，以上所有代码都汇总到github.com/codetodo-io/language-bootcamp，号友们可以下载演示。

❤️❤️❤️读者每一份热爱都是笔者前进的动力！
我是三十一，感谢各位朋友：求点赞、求评论、求转发，大家下期见！