알고리즘은 중립적인데 결과는 왜 편향돼 보일까?

알고리즘이 편향됐다는 이야기를 들으면 많은 사람들은 먼저 이렇게 반응한다. “알고리즘은 감정도 없고 의도도 없잖아?”라는 생각이다. 코드와 수식으로 이루어진 시스템이 사람처럼 차별하거나 치우칠 수 있다는 말은 직관적으로 잘 와닿지 않는다. 그래서 알고리즘의 결과가 특정 집단에 불리하게 나타날 때, 그 원인을 기술이 아니라 사회나 사용자의 문제로 돌리기도 한다. 하지만 이 혼란은 알고리즘이 어디까지 중립적인지에 대한 이해가 충분하지 않을 때 생긴다.

 

이 오해는 우리가 알고리즘을 ‘결정자’로 상상하기 때문에 생긴다. 마치 알고리즘이 스스로 판단을 내리는 주체인 것처럼 느껴진다. 실제로 알고리즘은 판단을 하지 않는다. 주어진 입력을 정해진 규칙에 따라 처리할 뿐이다. 문제는 이 입력과 규칙이 어떤 데이터를 바탕으로 만들어졌는지다. 학습 데이터가 이미 특정 방향으로 치우쳐 있다면, 알고리즘은 그 치우침을 그대로 반영하거나 증폭시킬 수 있다. 이 과정은 의도가 없어도 충분히 발생한다.

 

과학적으로 알고리즘의 결과는 데이터, 설계 목표, 평가 기준이 결합된 산물이다. 어떤 데이터를 중요하게 취급했는지, 어떤 오류를 더 용인하도록 설계했는지에 따라 결과의 성격은 달라진다. 예를 들어 정확도를 최우선으로 삼으면, 소수 사례는 자연스럽게 무시되기 쉽다. 이때 알고리즘은 중립적으로 작동하지만, 결과는 특정 집단에 불리하게 보일 수 있다. 편향은 알고리즘의 성격이라기보다, 선택의 흔적이 결과에 남은 모습에 가깝다.

 

결국 알고리즘 결과가 편향돼 보이는 이유는, 우리가 중립이라는 말을 지나치게 단순하게 이해하기 때문이다. 알고리즘은 감정적으로는 중립적일 수 있지만, 사회적 맥락에서는 결코 진공 상태에서 작동하지 않는다. 이 차이를 이해하지 못하면 문제는 늘 기술의 결함이나 음모처럼 보인다. 알고리즘을 제대로 이해한다는 것은 “중립이냐 아니냐”를 묻는 대신, 어떤 선택이 어디에 반영됐는지를 하나씩 살펴보는 데서 시작된다.

위 이미지는 학습 데이터와 설계 기준이 어떻게 결과 편향으로 이어질 수 있는지를 개념적으로 대비해 보여준다.