NLP作业-基于Transformer的NER任务
输入“/”快速插入内容
NLP作业-基于Transformer的NER任务
NLP作业-基于Transformer的NER任务
用户1979用户19794月6日修改
摘要
大语言模型上的改进层出不穷，其中不乏许多具备insight的观点。但是，一个基本的问题是：“这些insight是只在LLM中适用，还是针对一类神经网络非常genral的特性呢”。换言之，我们想探究模型架构的创新，是否是对task的“过拟合”，或者说架构创新带来的是深度学习领域非常genral的发现。具体来讲，我们探究了Decoder Only架构以及加入注意力残差的Decoder Only架构在NER任务上的表现，并分析了模型内部激活状态。同时，我们完成了作业对代码以及文档的所有基础与额外要求。我们的主要结论有：
1.
尽管有的架构创新出发点是非常general的，但是在实际任务中也许并没有那么有效
模型权重：挂飞书文档里面了，或者联系我获取也行
飞书链接：NLP作业-基于Transformer的NER任务
注意：在test数据集公布后，我们会在不直接使用test的情况下对模型进行进一步的调优，并在飞书文档上更新汇报分数，但云平台上不做新一轮的提交。
checkpoints&results.zip
130.90MB
数据预处理
我们实现了：
1.
给出完整的标注集
2.
说明了通过什么函数获得标注集
3.
统计次数
4.
标注集到索引数
标注集获取
通过split函数实现依空格/换行符切分字符，解析文档为字符列表。使用set实现列表去重。使用Counter统计各个标签的出现次数。
代码块
# NLP_NER_Transformer/data_proc.ipynb
# 标签统计
train_TAG_path="data/train_TAG.txt"
with open(train_TAG_path, "r", encoding="utf-8") as f:
tags = f.read().split() # 自动忽略空格、换行、分段
from collections import Counter
label_set = sorted(set(tags)) # 标签集
tag_count = Counter(tags) # 各标签频次
tag2id = {tag: idx for idx, tag in enumerate(label_set)}
id2tag = {idx: tag for tag, idx in tag2id.items()}
字符集获取
和上面做法差不多。
代码块
# NLP_NER_Transformer/data_proc.ipynb
# 处理一下字符统计
# 说明：B表示begin，I表示in。B_T表示时间实体的开头，I_T表示时间实体内部字符。LOC表示地点实体（location），ORG表示机构实体（organization），PER表示人物实体（PERSON）
# 数据在txt中以行为基本单位，一行对应一个完整的句子
train_DATA_path="data/train.txt"
char_counter = Counter()
with open(train_DATA_path, "r", encoding="utf-8") as f:
for line in f:
chars = line.strip().split()
char_counter.update(chars)
char2id = {
"<PAD>": 0,
"<UNK>": 1,
}
for ch, _ in char_counter.items():
char2id[ch] = len(char2id)
id2char = {idx: ch for ch, idx in char2id.items()}