API Hooking 에 대한 강좌입니다.
User 에서 API Hooking의 다양한 기법들에 대해서 자세히 설명하도록 하겠습니다.



후킹 (Hooking)

리버싱에서 후킹은 정보를 가로채고, 실행 흐름을 변경하고, 원래와는 다른 기능을 제공하게 하는 기술입니다.

후킹의 전체 프로세스는 아래와 같습니다.

- 디스어셈블러/디버거를 이용하여 프로그램의 구조와 동작원리를 파악
- 버그 수정 또는 기능 개선에 필요한 Hook 코드를 개발 [1]
- 실행 파일과 프로세스 메모리를 자유롭게 조작하여 Hook 코드 설치

위와 같은 일련의 작업들은 그야말로 리버스 엔지니어링 기술의 핵심(Core) 이라고 할 수 있습니다.

그래서 전 후킹을 "리버싱의 꽃" 이라고 부릅니다.

여러가지 후킹 기술이 있지만 그중에서도 API 를 후킹하는 기술을 API Hooking 이라고 하고, User mode 후킹 중에서 메시지 후킹[2]과 함께 가장 널리 사용되는 기술입니다.


[1] 프로그램 소스가 있다면 대부분의 경우 후킹은 필요하지 않을 것입니다. 하지만 특수한 상황(소스 코드가 없거나, 소스 코드의 수정이 여의치 않은 상황)에서는 후킹 기술이 요긴하게 사용될 수 있습니다.

[2] 메시지 후킹(Message Hooking) 에 대한 내용은 제 글을 참고하시기 바랍니다.

- Windows Message Hooking (윈도우 메시지 후킹)



API (Application Programming Interface)


API Hooking 을 설명하려면 먼저 API(Application Programming Interface) 에 대해서 짚고 넘어가야 합니다.

Windows OS 에서는 사용자 어플리케이션이 시스템 자원(메모리, 파일, 네트워크, 비디오, 사운드, 기타)을 사용하고 싶을 때 직접 할 수 있는 방법이 없습니다. 왜냐하면 그것들은 OS 가 직접 관리하며, 여러 가지 이유(안정성, 보안, 효율, 기타)로 사용자 어플리케이션의 직접적인 접근을 막아놓았기 때문입니다.

이럴 때 사용자 어플리케이션은 시스템 커널에게 요청해야 합니다. 요청 방법이 바로 MS 에서 제공한 Win32 API 를 이용하는 것입니다. (API 는 해당 OS 제작사에서 제공합니다.)

즉, API 함수 없이는 어떤 의미 있는 프로그램을 만들어 낼 수 없습니다.

아래 그림은 32 bit Windows OS 의 프로세스 메모리를 간략히 나타낸 것입니다.


<Fig. 1>

실제 어플리케이션 코드를 실행 시키기 위해 많은 시스템 라이브러리(DLL) 들이 로딩됩니다. [3] 모든 프로세스에는 기본적으로 kernel32.dll 이 로딩되구요, kernel32.dll 은 ntdll.dll 을 로딩합니다. (참고로 GUI 어플리케이션에서는 user32.dll 과 gdi32.dll 또한 필수 라이브러리 입니다.)

ntdll.dll 의 역할이 바로 유저 모드 어플리케이션의 코드에서 발생하는 시스템 자원에 대한 접근을 커널 모드에게 요청 하는 것입니다.


간단한 를 들어보겠습니다.
notepad.exe 에서 c:\abc.txt 라는 파일을 열고자 합니다.
코드에서는 msvcrt!fopen() API 를 호출합니다. 그 이후의 API 호출 흐름을 보면 아래와 같습니다.

msvcrt!fopen()
 
kernel32!CreateFileW()
    ntdll!ZwCreateFile()
      ntdll!KiFastSystemCall()
        SYSENTER                     // Intel IA-32 Op Code
          => 커널 모드 진입


일반적인 시스템 자원을 사용하는 API 는 kernel32.dll 과 ntdll.dll 을 타고 가다가 결국 SYSENTER 명령을 통해 커널 모드로 진입하게 됩니다.


[3] 'DLL 로딩(loading)' 이라는 용어보다는 'DLL 매핑(mapping)' 이라는 용어가 더 정확한 표현입니다. Windows 운영체제는 DLL 을 최초 한번만 메모리에 적재(loading) 하고, 그 이후부터는 프로세스에게 매핑(mapping) 시켜주는 메커니즘을 사용합니다.



API Hooking


API Hooking 이란 Win32 API 호출을 중간에서 가로채서 제어권을 얻어내는 것입니다.

API Hooking 의 이점은 다음과 같습니다.

- API 호출 전/후에 사용자의 훅 코드(Hook Code)를 실행시킬 수 있습니다.
- API 에 넘어온 파라미터 혹은 API 함수의 리턴값을 엿보거나 조작 할 수 있습니다.
- API 호출 자체를 취소시키거나 사용자 코드로 실행 흐름을 변경시킬 수 있습니다.

이해를 돕기 위해 아래 그림을 봐주시기 바랍니다.

먼저 정상적인 API 호출입니다.


<Fig. 2>

코드 영역 주소에서 CreateFile() API 를 호출하였습니다. [4]

CreateFile() API 는 kernel32.dll 에서 서비스(export) 하므로 kernel32.dll 영역의 CreateFile() API 가 실행되고 정상적으로 리턴합니다.

[4] 실제 kernel32 에서 서비스되는 API 이름은 CreateFileA() 와 CreateFileW() 입니다. 프로그래밍할 때 CreateFile() 만 써주면 컴파일 시에 적절히 CreateFileA()/CreateFileW() 중에서 결정됩니다. 여기서는 설명의 편의상 CreateFile() 로 하였습니다.


다음은 kernel32!CreateFile() 가 후킹된 경우입니다.


<Fig. 3>

사용자가 DLL Injection 기술로 hook.dll 을 프로세스 메모리 공간에 침투 시킵니다. 그리고 kernel32!CreateFile() 를 hook!MyCreateFile() 로 후킹하였습니다. (후킹 함수 설치 방법은 DLL Injection 말고도 더 있습니다.)

이제부터 해당 프로세스에서 CreateFile() API 가 호출 될 때마다 kernel32!CreateFile() 이 호출 되는 것이 아니라, hook!MyCreateFile() 이 호출 됩니다.

후킹 함수(MyCreateFile)와 원본 함수(CreateFile)의 호출 순서는 경우에 따라 달라집니다.
입력된 파라미터를 조작하고 싶을 때는 후킹 함수가 먼저 실행되고 나중에 원본 함수가 실행됩니다. 또한 API 리턴값을 조작하고 싶을 때는 원본 함수가 먼저 실행된 후 후킹 함수가 나중에 실행됩니다.

이 외에도 후킹 목적에 따라서 원본 함수 호출 전/후에 후킹 함수를 실행시키거나 원본 함수를 아예 호출하지 않는 등의 여러 가지 변형이 가능합니다. 따라서 후킹 목적과 상황에 따라서 적절히 사용해 주시면 되겠습니다.

이것이 바로 API Hooking 의 기본 개념입니다.

API Hooking 을 구현하는 방법은 다양합니다. 하지만 후킹의 기본 개념은 변하지 않습니다.

위의 개념을 잘 이해하시면 이후에 설명 드리는 구현 방법에 대해서도 쉽게 이해하실 수 있습니다.


+---+

다음 포스트로 이어집니다.

API Hooking - Tech Map


ReverseCore

  1. 마플 2009.09.29 16:01 신고 댓글주소 | 수정 | 삭제 | 댓글

    글 잘 봤습니다.
    정말 깔끔하네요. 멋져요~

  2. alex 2009.11.12 13:39 신고 댓글주소 | 수정 | 삭제 | 댓글

    정말 글쓰는데 재주가 있으세요!
    너무너무 잘 쉽게 풀어쓰셨네요!
    좋은글 많이보고 많은 지식얻어갑니다!!

    많은글 써주세요!! >.<

  3. alex 2009.11.12 13:40 신고 댓글주소 | 수정 | 삭제 | 댓글

    책 한권 쓰심이... ㅎㅎ 그림들도 넘 깔끔하고 좋네요 ㅋ

    • reversecore 2010.04.01 10:08 신고 댓글주소 | 수정 | 삭제

      alex님, 안녕하세요.

      제가 예전에 이 댓글을 못 보고 지나쳤군요. ㅠㅠ

      책도 쓰고 싶은 욕심이 있습니다.

      칭찬 감사합니다. ^^

  4. 정기욱 2010.03.31 13:43 신고 댓글주소 | 수정 | 삭제 | 댓글

    후킹에대해서 찾던중 잘보고갑니다. 깔금하네요..^^

  5. 안정현 2010.06.17 11:04 신고 댓글주소 | 수정 | 삭제 | 댓글

    윈도우 구조대충. 어셈블리어대충 해석할정도.허접실력인데요/..
    HACK.DLL 의소스처럼 C언어 로 소슨나열해놓은게 해석이 안돼네요 ㅜㅜ,.
    그 소스들이 C언어인가요? C언어는 배웠는데 .. 뭐가뭔지 몰르겟어요 ㅜㅜ
    일단 뭐부터공부를해나가야할지막막하네요.. 하고는싶은데 .

    • reversecore 2010.06.17 23:59 신고 댓글주소 | 수정 | 삭제

      리버싱을 처음 시작할 때는 막막한 느낌이 드는게 사실이죠.

      제 경험상 리버싱은 디버깅부터 시작하시는게 좋을것 같습니다.

      아주 간단한 프로그램을 디버깅 하면서 하나씩 배우는 것이죠.

      제 블로그의 처음 부터 읽어보시기 바랍니다.

      감사합니다.

  6. BM 2010.06.24 17:41 신고 댓글주소 | 수정 | 삭제 | 댓글

    안녕하세요?

    후킹 함수 설치 방법에 DLL Injection 말고 다른 어떤 방법이 있는지 구체적으로 알고 싶습니다.

    • reversecore 2010.06.25 10:21 신고 댓글주소 | 수정 | 삭제

      아래 강좌의 TechMap 그림에 정리를 해 놓았습니다.

      http://www.reversecore.com/55

      유저모드에서 크게 아래와 같은 방법이 있구요...
      DLL Injection
      Code Injection
      Debug
      Static patch
      ...

      각 방법별로 구현하는 기법들이 다양하게 존재합니다.

      또 궁금하신 점은 다시 질문 올려주세요

      감사합니다.

  7. 2010.12.10 19:14 댓글주소 | 수정 | 삭제 | 댓글

    비밀댓글입니다

  8. 박은선 2011.01.05 01:08 신고 댓글주소 | 수정 | 삭제 | 댓글

    언제나 검색엔진을 통해 들어오지만, 늘 감동이네요! 윗분 말씀처럼, 책을 쓰셔도 되실 내공인듯!

  9. 박정운 2011.08.06 10:20 신고 댓글주소 | 수정 | 삭제 | 댓글

    당신은 정말 정말 천재입니다.
    이런방법까지 동원할수 있다는게 그저 신기할따름이고
    읽고 또 읽고 그러지만, 책으로 이런 내용들이 나와서 퍼지게 되면 정말 골치아파질수도 있겠다 생각이 듭니다. 물론 악의적으로 이용하지 않는다면 문제가 안되겠지만,
    정말이지 글 잘 보고 인쇄까지 해서 분석하고 있습니다. 감사합니다.

    • reversecore 2011.09.19 20:24 신고 댓글주소 | 수정 | 삭제

      API Hooking 을 비롯한 리버싱 기술들은 제가 만들어낸 것은 하나도 없구요. 저또한 다른 사람들이 해놓은 지식과 경험을 배운것 뿐입니다.

      그사람들이 천재인 셈이지요. ^^

      감사합니다.

  10. 2011.08.13 20:39 댓글주소 | 수정 | 삭제 | 댓글

    비밀댓글입니다

  11. sizn 2011.09.07 11:00 신고 댓글주소 | 수정 | 삭제 | 댓글

    글쓰기도 잘하시고 글 이해도를 높히게 그림도 적절히 넣어주시는 센스
    잘보고 갑니다.

    아이폰 개발자로 현재 WM개발을 하면서 들리게 되었네요 ㅎ
    항상 건승하세요!~바잇!

  12. 알려주세요 2012.06.30 23:14 신고 댓글주소 | 수정 | 삭제 | 댓글

    글을 읽다가 한가지 궁금점이 생겨서 올립니다.

    Window에서는 웬만한 프로그램 전부 OS의 개입이 필요하니 무슨 언어든 결국 WIN32 API를 호출하

    는 건가요?

  13. imovator 2012.07.12 13:26 신고 댓글주소 | 수정 | 삭제 | 댓글

    리버싱이라! 좋은 개념 배우고 갑니다.
    후킹이란걸 처음 들어본 저에게 단번에 이해를 시켜주는 좋은 글이었습니다.





티스토리 툴바