AI大模型探索之路-应用篇17：GLM大模型-大数据自助查询平台架构实践_大数据模型glm

文章目录

• 前言
• 一、技术架构设计
• 二、本地知识库准备
• 三、SQLServer服务
• • 1. 数据库准备
  • • 步骤1：安装MySQL数据库
    • 步骤2：启动MySQL数据库
    • 步骤3：登录MySQL数据库
    • 步骤4：创建数据库用户glm
    • 步骤5：给数据库用户赋权限
    • 步骤6：创建数据库
  • 2. 数据准备
  • 3. SQL服务封装
• 四、核心代码落地
• • 1.模型加载
  • 2.本地知识库读取
  • 3.function call函数封装
  • 4.工具函数封装
  • 5. 调用查询测试
• 五、结束思考

前言

在众多大型企业中，数据资产庞大无比，因此它们纷纷构建了多种大数据平台。然而，关键在于如何高效地利用这些数据，例如，将数据有效地提供给产品经理或数据分析师以供他们进行设计和分析。在传统工作流程中，由于这些角色通常不是技术专家，他们往往无法直接使用和操控SQL，导致必须依赖技术人员来编写SQL查询并返回结果，然后才能由产品经理、数据分析师或其他相关人员进一步处理。

然而，随着强大的大模型]的出现，我们对自然语言的理解能力得到了极大的提升，同时通过支持的插件式扩展（允许自主调用相关外部方法或API），为我们解决这一难题提供了全新的思路。这些大模型不仅能够理解复杂的自然语言查询，还能够与现有的数据处理工具无缝集成，从而使得非技术用户也能够直接参与到数据分析的过程中，无需通过技术人员作为中介，极大地提高了工作效率和决策的速度。

一、技术架构设计

用户输入说明要查询的信息，LLM基于本地知识库生成SQL，调用不同的Funcation Call，每个一个Funcation call中都封装一个不同的数据服务的调用；比如Mysql、Hive、Spark、Flink。

二、本地知识库准备

大模型擅长将输出转化为不同格式，比如从一种语言翻译成另一种语言，帮助拼写、语法纠正以及编写正则表达式；整个平台有两个基础支持的