편향할 것인가, 편향하지 않을 것인가: 편향 탐지기를 활용한 뉴스의 편향성 검출

To Bias or Not to Bias: Detecting bias in News with bias-detector

May 19, 2025

저자: Himel Ghosh, Ahmed Mosharafa, Georg Groh

cs.AI

초록

미디어 편향성 탐지는 공정하고 균형 잡힌 정보 전달을 보장하기 위한 중요한 과제이지만, 편향성의 주관성과 고품질 주석 데이터의 부족으로 인해 여전히 어려운 문제로 남아 있습니다. 본 연구에서는 전문가가 주석을 단 BABE 데이터셋을 기반으로 RoBERTa 모델을 미세 조정하여 문장 수준의 편향성 분류를 수행합니다. McNemar 검정과 5x2 교차 검증 쌍체 t-검정을 사용하여, 우리의 모델을 도메인 적응적으로 사전 학습된 DA-RoBERTa 기준 모델과 비교했을 때 통계적으로 유의미한 성능 향상을 보여줍니다. 또한, 어텐션 기반 분석을 통해 우리의 모델이 정치적으로 민감한 용어에 과도하게 반응하는 일반적인 함정을 피하고, 대신 문맥적으로 관련 있는 토큰에 더 의미 있게 주의를 기울이는 것을 확인했습니다. 미디어 편향성을 포괄적으로 검토하기 위해, 우리는 기존의 편향 유형 분류기와 우리의 모델을 결합한 파이프라인을 제시합니다. 더 크고 발전된 편향성 코퍼스의 부재로 인해 문장 수준 분석과 데이터셋 크기에 제약을 받음에도 불구하고, 우리의 방법은 좋은 일반화 능력과 해석 가능성을 보여줍니다. 우리는 문맥 인식 모델링, 편향성 중립화, 그리고 고급 편향 유형 분류를 잠재적인 미래 연구 방향으로 논의합니다. 본 연구 결과는 미디어 편향성 탐지를 위한 더 견고하고 설명 가능하며 사회적으로 책임 있는 NLP 시스템 구축에 기여합니다.

English

Media bias detection is a critical task in ensuring fair and balanced information dissemination, yet it remains challenging due to the subjectivity of bias and the scarcity of high-quality annotated data. In this work, we perform sentence-level bias classification by fine-tuning a RoBERTa-based model on the expert-annotated BABE dataset. Using McNemar's test and the 5x2 cross-validation paired t-test, we show statistically significant improvements in performance when comparing our model to a domain-adaptively pre-trained DA-RoBERTa baseline. Furthermore, attention-based analysis shows that our model avoids common pitfalls like oversensitivity to politically charged terms and instead attends more meaningfully to contextually relevant tokens. For a comprehensive examination of media bias, we present a pipeline that combines our model with an already-existing bias-type classifier. Our method exhibits good generalization and interpretability, despite being constrained by sentence-level analysis and dataset size because of a lack of larger and more advanced bias corpora. We talk about context-aware modeling, bias neutralization, and advanced bias type classification as potential future directions. Our findings contribute to building more robust, explainable, and socially responsible NLP systems for media bias detection.