在少量提示词下LLM格式化输出的对齐实践

LLM 大模型应用

Word count: 1.2kReading time: 5 min

 2024/02/28 

在少量提示词下LLM格式化输出的对齐实践

本篇文章主要是以一个例子进行实践，原理请参考：
大语言模型的格式化输出原理思考

【大语言模型的格式化输出原理思考-＞构建输出解释器output Parsers - CSDN App】http://t.csdnimg.cn/sT5k2

本篇文章在原理的基础上，使用langchain总结了一套流程（在文章的末尾给出），同时构建了两个函数来优化在少量提示词的情况下，LLM输出不稳定的问题

一个解析函数，一个校验函数

Part 1：实体识别并格式化输出

import os
from dotenv import load_dotenv, find_dotenv
load_dotenv() # read local .env file
API_KEY = os.getenv('openai_api_key')

# 定义实体字段

from langchain.chat_models import ChatOpenAI
from dotenv import load_dotenv
from langchain.prompts import PromptTemplate
from langchain.output_parsers import ResponseSchema, StructuredOutputParser

load_dotenv()
llm = ChatOpenAI(model_name='gpt-3.5-turbo-1106',temperature=0,openai_api_key=API_KEY)

# 定义实体字段
response_schemas = [
        ResponseSchema(type='list', name ='disease', description='疾病名称实体'),
        ResponseSchema(type='list', name = 'symptom', description='疾病症状实体'),
        ResponseSchema(type='list', name = 'drug', description = '药物名称实体'),
]

output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
format_instructions = output_parser.get_format_instructions()
# print(response_schemas)
print(format_instructions,type(format_instructions))

The output should be a markdown code snippet formatted in the following schema, including the leading and trailing "```json" and "```":

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
    {
    	"disease": list  // 疾病名称实体
    	"symptom": list  // 疾病症状实体
    	"drug": list  // 药物名称实体
    }
    ```<class 'str'>



```python
# 定义提示词模版
template = '''
1. 从以下用户输入的句子中，提取实体内容
2. 仅根据用户输入抽取，不要推理
3. 注意json格式，在json中不要出现//
4. 如果字段为空，也需要保留字段名称。

{format_instructions}

用户输入：{input}

输出：
'''

prompt = PromptTemplate(
     template = template,
     partial_variables = {'format_instructions': format_instructions},
     input_variables = ['input']
)


# prompt = prompt.format(input='感冒是一种什么病？')

prompt





PromptTemplate(input_variables=['input'], partial_variables={'format_instructions': 'The output should be a markdown code snippet formatted in the following schema, including the leading and trailing "```json" and "```":\n\n```json\n{\n\t"disease": list  // 疾病名称实体\n\t"symptom": list  // 疾病症状实体\n\t"drug": list  // 药物名称实体\n}\n```'}, template='\n1. 从以下用户输入的句子中，提取实体内容\n2. 仅根据用户输入抽取，不要推理\n3. 注意json格式，在json中不要出现//\n4. 如果字段为空，也需要保留字段名称。\n\n{format_instructions}\n\n用户输入：{input}\n\n输出：\n')

# 调用大模型并解析结果
from langchain.chains import LLMChain

chain = LLMChain(
    llm = llm,
    prompt = prompt
)



llm_output = chain.run(input='感冒是一种什么病？会导致咳嗽吗？')

# llm_output = chain.run(input = '感冒吃什么药好得快？可以吃阿莫西林吗？')
print(llm_output)
# output = output_parser.parse(llm_output)
# print(output, type(output))

1
2
3
4
{
	"disease": ["感冒"],
	"symptom": ["咳嗽"]
}

import re
import json
def parse_json(input_str: str):
    
   # 定义正则表达式模式，用于匹配以```json开头，以```结尾的字符串
    pattern = r'```json(.*?)```'
    
    # 使用正则表达式搜索匹配的内容
    match = re.search(pattern, input_str, re.DOTALL)

    if match:
        # 提取匹配到的JSON字符串
        json_str = json.loads(match.group(1))
        
        return json_str
    else:
        return None

Part 2：输出对齐

些时候可能由于提示词模版的原因，在一些文本中可能不包含某种key，大模型的输出很可能包含不完全的定义key—_value,
因此解析结果可能与原json格式相比缺少一些项这里我们写一个比较函数，自动对齐定义格式，缺少的项，填充null

original_key = ['disease','symptom','drug']

def check_and_addition(original_key:dict,af_json:dict)->dict:
    if len(af_json)!= len(orignal_key):
        keys = original_key
        for t in keys:
            if t not in af_json:
                af_json[t] = "null"
    result = af_json
    return result
check_and_addition(original_key,parse_json(llm_output))

{'disease': ['感冒'], 'symptom': ['咳嗽'], 'drug': 'null'}

总结一下ouputParse的流程：

1. 定义一个response_schemas类
2. 生成ouput_parser (output_parser = StructuredOutputParser.from_response_schemas(response_schemas))
3. 生成一个format_instruction->template (format_instructions = output_parser.get_format_instructions())
4. 拼接template：“”“
     规则:
         1. 从以下用户输入的句子中，提取实体内容
         2. 仅根据用户输入抽取，不要推理
         3. 注意json格式，在json中不要出现//
         4. 如果字段为空，也需要保留字段名称。
     用户输入：{input}
     {format_instructions}
     输出
     “”“
5. 构建prompt ：
     prompt = PromptTemplate(
              template = template,
              partial_variables = {'format_instructions': format_instructions},
              input_variables = ['input']
                            )
6. 构建chain = LLMChain(llm = llm ,prompt = prompt)
7. 得到输出chain.run(input="query")
8. 使用解释器，得到格式化输出：parse_json()
9. 校验结果

相关文章：LLM&langchain
更多AI与大模型应用开发文章请关注：
公众号： UndGround

Author：Yangyehan

Link：http://example.com/2024/02/28/%E5%9C%A8%E5%B0%91%E9%87%8F%E6%8F%90%E7%A4%BA%E8%AF%8D%E4%B8%8BLLM%E6%A0%BC%E5%BC%8F%E5%8C%96%E8%BE%93%E5%87%BA%E7%9A%84%E5%AF%B9%E9%BD%90%E5%AE%9E%E8%B7%B5/

Publish date：February 28th 2024, 6:14:49 pm

Update date：August 28th 2024, 9:57:18 am

License：本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可