改进孪生 BERT 的石油钻井文献相似度分析研究

吉林大学学报(信息科学版) ›› 2022, Vol. 40 ›› Issue (2): 188-197.

改进孪生 BERT 的石油钻井文献相似度分析研究

张岩^1a , 王斌^1a, 杨庆川² , 李玮^1b

1. 东北石油大学 a. 计算机与信息技术学院; b. 石油工程学院, 黑龙江大庆 163318; 2. 安达市庆新油田开发有限责任公司数据管理中心, 黑龙江安达 151413

收稿日期:2021-07-14 出版日期:2022-06-11 发布日期:2022-06-11
作者简介:张岩(1980— ), 男, 辽宁大连人, 东北石油大学副教授, 博士, 主要从事人工智能、大数据研究, (Tel)86-13644598086(E-mail)zhangyuanyuan_309@ 126. com.
基金资助:
国家自然科学基金资助项目(61873058); 黑龙江省自然科学基金重点资助项目(ZD2019F001)

Similarity Analysis of Petroleum Drilling Literature Based on Improved Siamese BERT Networks

ZHANG Yan ^1a , WANG Bin ^1a , YANG Qingchuan ² , LI Wei ^1b

1a. School of Computer and Information Technology; 1b. College of Petroleum Engineering, Northeast Petroleum University, Daqing 163318, China; 2. Data Management Center, Anda Qingxin Oilfield Development Company Limited, Anda 151413, China

Received:2021-07-14 Online:2022-06-11 Published:2022-06-11

摘要/Abstract

摘要： 针对传统方法在石油钻井领域由于检索词不标准、语义模糊导致检索结果偏差较大的问题, 提出一种基于BERT(Bidirectional Encoder Representation from Transformers)孪生网络模型的注意力池化方法以提高文献相似度评估的准确率。首先使用爬虫技术采集石油钻井文献并清洗整理, 然后利用 5 类石油钻井文献数据集评估指标对样本进行打分标注, 最后结合钻井文献数据集特征, 提出基于孪生BERT网络的注意力池化方法, 对多特征样本进行整体语义表达。实验结果表明, 相较于常规的池化方法, 该模型能提升石油钻井文献相似度度量的效果, 并具有一定的泛化性能。

关键词: 文献相似度; , BERT网络; , 石油钻井文献; , 注意力池化

Abstract: In order to solve the problem that the retrieval results are biased due to the nonstandard keywords and fuzzy semantics in the petroleum drilling literature, an attention pooling method based on the Siamese BERT(Bidirectional Encoder Representation from Transformers) networks model is proposed to improve the accuracy of literature similarity evaluation. Firstly, crawler technology is used to collect and clean the petroleum drilling literature. Then, five evaluation indexes of the petroleum drilling literature data set are used to mark the samples. Finally, combined with the data characteristics of the drilling literature data set, the attention pooling method based on Siamese BERT networks is used to express the overall semantics of multi-feature samples. The experimental results show that compared with the conventional pooling method, this method can improve the effect of similarity measurement of petroleum drilling literature, and has a certain generalization performance.

Key words: literature similarity; , bidirectional encoder representation from transformers ( BERT) network; , petroleum drilling literature; , attention pooling

中图分类号:

TP391

张岩, 王斌, 杨庆川, 李玮. 改进孪生 BERT 的石油钻井文献相似度分析研究[J]. 吉林大学学报(信息科学版), 2022, 40(2): 188-197.

ZHANG Yan , WANG Bin , YANG Qingchuan , LI Wei . Similarity Analysis of Petroleum Drilling Literature Based on Improved Siamese BERT Networks[J]. Journal of Jilin University (Information Science Edition), 2022, 40(2): 188-197.

[1]	蔡娣 , 路阳 , 林立媛 , 杜娇娇 , 管闯. 基于稀疏自编码和 SPSO-SVM 的稻瘟病早期病害识别[J]. 吉林大学学报(信息科学版), 2022, 40(3): 416-423.
[2]	万利 , 李振江 , 陈光勇 , 曹倩. 隧道清洗机器人智能调度方法[J]. 吉林大学学报(信息科学版), 2022, 40(3): 431-436.
[3]	窦全胜 , 刘欢 , 李丙春 , 刘静 , 姜平. 融合先验分布的多表征眼底稀有病症识别[J]. 吉林大学学报(信息科学版), 2022, 40(3): 444-451.
[4]	聂永丹, 王斌, 张岩. 基于改进 PageRank 算法的文献相关度排序方法[J]. 吉林大学学报(信息科学版), 2022, 40(3): 464-470.
[5]	张博 , 高俊兴 , 罗军 . 自然基金项目资助虚拟现实科研主题演化分析[J]. 吉林大学学报(信息科学版), 2022, 40(3): 471-478.
[6]	颜文胜 , 吕红兵. 基于生成对抗网络的人脸妆容自动迁移方法[J]. 吉林大学学报(信息科学版), 2022, 40(3): 479-487.
[7]	逯燕乐 , 贺金鑫 , 罗文宝 , 李晓波 , 陈德博. Blender 在数字地质科学本科生科研训练中的应用[J]. 吉林大学学报(信息科学版), 2022, 40(3): 515-519.
[8]	黄承锋, 陈一铭, 李元龙. 基于改进 GA 算法的高速公路交通拥堵状况预测[J]. 吉林大学学报(信息科学版), 2022, 40(2): 198-205.
[9]	王珂. 基于边缘计算的物联网数据包传输延迟测量[J]. 吉林大学学报(信息科学版), 2022, 40(2): 206-212.
[10]	张博, 高俊兴, 罗军. 国际云计算安全技术领域科研项目分析[J]. 吉林大学学报(信息科学版), 2022, 40(2): 253-259.
[11]	颜远海. 电力物联网用户侧数据深度挖掘方法研究[J]. 吉林大学学报(信息科学版), 2022, 40(2): 269-274.
[12]	王乾, 纪馨予. 基于 IOS 平台交互绘本的可视化设计[J]. 吉林大学学报(信息科学版), 2022, 40(2): 275-281.
[13]	肖红, 陈欣燕. 基于格雷码映射和 LSB 的彩色图像量子隐写算法[J]. 吉林大学学报(信息科学版), 2022, 40(2): 219-230.
[14]	徐子栋, 张中. 基于人工免疫的数字视频篡改取证方法研究[J]. 吉林大学学报(信息科学版), 2022, 40(1): 30-35.
[15]	鲍华良, 赵娅. 经典 Canny 边缘检测的量子实现[J]. 吉林大学学报(信息科学版), 2022, 40(1): 36-50.