상대적 위치 임베딩을 적용한 DeBERTa 기반 물류 안전사고 인과관계 분류

초록

최근 물류 산업의 급속한 성장에 따라 안전사고 발생 빈도가 증가하고 있으며, 이를 예방하기 위한 AI 기반 인과관계 분석의 중요성이 대두되고 있다. 하지만 물류 안전사고 사례의 상당수는 단일이 아닌 복수의 인과관계를 포함하고 있어, 기존의 BERT(bidirectional encoderrepresentations from transformers) 계열 모델이 사용하는 절대적 위치 임베딩만으로는 이러한복잡한 문맥을 정확히 이해하는 데 한계가 있다. 이러한 문제를 해결하고자 본 연구에서는상대적 위치 임베딩과 절대적 위치 임베딩을 모두 고려하는 DeBERTa(decoding-enhancedBERT with disentangled attention) 모델 기반의 인과관계 분류 방법을 제안하며, 이 방법은물류 안전사고 문장 내 복수의 인과관계를 더 정확하게 분류할 수 있다. 제안된 방법의 유효성을 검증하기 위해 BERT, ELECTRA(efficiently learning an encoder that classifies tokenreplacements accurately) 모델과 DeBERTa의 인과관계 분류 정확도와 F1-score를 비교 분석하였다. 그 결과, 상대적 위치 임베딩이 복수의 인과를 포함하는 문장 내 인과관계 분류정확도 향상에 기여함을 확인하였다.

키워드