HRTF는 Head Related Transfer Function을 나타내는 말입니다.

한국말로는 뭐라고 해야할까요...
두상 관련 전위 함수?? ^^

하여튼 좀더 알기쉬운 말로 설명하자면
"사람의 머리와 귀의 형태로 인해서 생기는 특징적인 청각 반응을 나타내주는 함수"라는 정도로 이해하시면 좋을 것 같습니다.

이 HRTF는 기본적으로는 IR = Impulse Response 임펄스 응답과 거이 유사한 개념입니다.

"아니 HRTF도 헛갈리는데 무슨 또 IR?"이라고 하시는 분도 계시겠죠?

저도 처음에는 굉장히 낯설고 이게 도대체 무슨 얘기인가 싶더라구요...

하지만 컨서트 홀에서 리버브를 한번 측정해본 후에는 그 개념이 확실히 오는 것 같았습니다.

한 컨서트 홀의 잔향을 측정한다고 해 보겠습니다.
그러면 처음의 음원의 위치에서 출발한 신호가 측정하는 위치에 도달한 후에 여러 초기 반사음, 그리고 late reverb가 도달하게 될 것입니다.
만약 출발한 신호가 시간 상에서 아주 짧으면 그 신호는 다른 신호에 비해서
나중에 도달하는 초기 반사음, late reverb와 겹치는 부분이 적어지기 때문에 상대적으로
홀의 반응만을 담아낼 수 있게 됩니다.

그래서 임의로 제작한 시간축상에서 가장 짧은 신호를 "impulse"라고 하게되었습니다.
[짧은 시간에 충격을 가한다는 의미로 이해하시면 빠르겠죠?]

디지탈 신호 처리에서는 하나의 샘플만이 1값을 가지고 나머지는 0값을 가지는 신호를 임펄스라고 하기도 합니다. 수학적으로는 다른 이름으로 불리긴 하지만요...

이 임펄스가 통과한 장비들은 그 장비가 가지는 특성을 보여주게 됩니다.
예를 들어 4개의 딜레이를 이용해 제작한 필터가 있다면
이 필터안의 딜레이가 언제 그리고 어느정도만큼 걸리는지를 임펄스 반응이 보여주게 되는 것이죠.

[최근에 많이 디지탈화 되고 있는 옛 EQ명기들을 만들때 기본적으로 취하는 방법이 이런 방법입니다. 즉, 옛 EQ의 임펄스 반응을 측정해서 그것과 같은 값을 가지게끔 디지탈 필터를 설계하는 것이죠...]

시간적으로 이렇게 측정한 홀, EQ, 혹은 각종 장비의 임펄스 반응를 IR이라고 합니다.
그리고 임의의 장비를 어떤 IR에 따라 반응하게 하는 것을 FIR filtering 혹은 convolution이라고도 합니다.

이 IR을 이용해서 어떤 컨서트홀의 리버브를 만든것을 convolution reverb라고 하기도 하죠.

이 이후의 얘기는 DSP에 관계된 내용이므로 생략하도록 하구요.

일단 꼭 기억해야할 점은
"시간적으로 극소에 가까운 펄스를 장비 혹은 공간을 통과시켰을 때 결과로 얻는 반응을 임펄스 응답 IR"이라고 한다는 점입니다.

휴...
한숨쉬구요...


이러한 IR은 어디서나 존재합니다.
즉 오늘의 관심사인 패닝 알고리즘에서도 적용할 수가 있게 되는 것이죠.

임의의 신호가 전방에서 왼쪽의 30도에 위치하고 있다고 해 보겠습니다.
그 신호의 위치에서 사람의 머리, 더 정확하게는 양귀에 도달하는 경로에 대한 반응은 유일한 값을 지닙니다.

30도 위치의 음원의 방향에서 하나의 임펄스가 재생되고, 그 임펄스가 양귀에 도착했을 때의 임펄스 반응을
어떤 모노 신호와 convolve하면 두개의 신호가 재생되게 됩니다.

모노 * 오른쪽 귀의 임펄스반응
모노 * 왼쪽 귀의 임펄스 반응

이 두 신호를 헤드폰을 통해 들으면 모노신호의 음상이 30도에 위치한것같이 나타나게 됩니다.

이러한 컨벌루션이 힘들 경우에는 각 반응을 주파수 대역으로 바꾸어서 (DFFT)
주파수영역의 복소수 곱을 한 후 다시 역푸리에 변환으로 시간대역으로 돌아오게 하는 방법도 있습니다.

보통은 연산의 편리함을 위해서 위와 같은 방법을 사용하기 때문에
그리고 임펄스 반응이 주파수 대역에서는 주파수 반응과 같은 개념으로 보아질 수 있기 때문에
HRIR - Head Related Impulse Response라는 보다 본래의 개념에 근접한 용어 대신
HRTF - Head Related "TRANSFER FUNCTION"이라는 이해하기 편한 필터 개념으로 흔히 사용되고 있습니다.

양귀의 임펄스 반응에 따라서 헤드폰 상에서 임의의 30도 아닌 각도에서도, 그리고 심지어 수직 상하의 공간감까지 포함하는 3D 패닝도 구현할 수 있게 되는 것이죠.

녹음에 있어서는 사람의 머리 형태를 가진 마이크를 통해서 녹음하고
헤드폰으로 재생하는 방식인 Binaural Recording과 비슷한 개념이라고 볼 수 있습니다.
[binaural에서 임의의 음원의 음상을 컨트롤하는 방법이 HRTF-based panning이라고 볼 수 있겠죠]

BUT!

이 방법에는 큰 단점이 하나 있습니다.

바로 헤드폰으로 밖에 들을 수 없다는 단점입니다. 헤드폰이 아닌 스피커를 통한 재생인 경우에는
스피커로 부터 양 귀에 도달하는 반응을 제거해야하는 단계를 거쳐야하기 때문입니다.

즉, 다시 말씀드리자면

LEFT speaker에서 나오는 신호는 LEFT ear에만 도달할 수 있어야 하고 RIGHT 스피커 신호는 RIGHT 귀에 도달해야 한다는 얘기죠...

그런데 사람의 머리 앞에 큰 판 혹은 막을 설치하여 두 스피커 사이를 갈라놓지 않은 이상, 한 스피커의 신호는 양쪽귀에 다 도달합니다. 이러한 간섭(?)이 정확한 HRTF를 구현하는 것을 방해하게 되는 것이죠.

이러한 현상을 믹서의 한 채널의 신호가 다른 채널로 전이되는 crosstalk와 비슷하다고 할 수 있습니다.
그래서 crosstalk cancellation을 이용하는 방법으로 한쪽 귀에 한 채널의 신호가 도달하는 역함수를 구현해서 스피커를 통해 HRTF based 패닝을 하는 경우가 있습니다.

이러한 Transaural crosstalk cancellation를 포함한 스피커를 통한 HRTF를 구현하는 시스템을 통칭하여
TRANSAURAL시스템이라고 부르고 이에 대한 다양한 연구들이 진행중입니다.

야마하에서도 ^^
현재 이러한 TRANSAURAL을 이용해 2개의 스피커를 통해서 서라운드를 경험할 수 있는 제품을 개발, 판매중에 있습니다.

[개인적인 코멘트를 달자면,
이러한 TRANSAURAL 및 음장 자체를 합성하는 SOUND FIELD SYNTHESIS등의 많은 이론적으로 완벽한 3D 오디오를 여러 곳에서 들어보았습니다만...
아직 그다지 만족스러울만한 "음질"을 가져다주는 시스템은 들어보지를 못했습니다.
아마도 기술적으로 완벽해지기 위해 조금씩 더해지는 프로세싱이 목표인 정확성은 이루었을지 모르지만 아마도 trade-off로 음질에 손상을 가져오는 것 같았습니다.
TRANSAURAL시스템이 만약 음질을 만족할 만한 수준에 유지한다면,
앞으로의 서라운드에 있어서 - 그리고 3D 방송등에 있어서
가장 유용하게 활용될 수 있을 것이라고 생각합니다.]