패킹과 언패킹: UPX, OEP 찾기, 하드웨어 브레이크포인트로 수동 언패킹하기

패킹된 파일이 실행될 때 어떻게 원래 코드로 돌아오는지 보고, ESP와 하드웨어 브레이크포인트로 OEP를 찾아 덤프와 IAT 복구까지 했습니다.

리버싱 입문서 5장을 공부하면서 정리했습니다. 패킹된 파일은 디스크에 있는 코드와 실제로 실행되는 코드가 다릅니다. 그래서 언패킹된 원래 코드가 시작되는 지점(OEP) 을 찾는 것이 핵심입니다.

패킹이란

패킹은 실행 코드를 압축하거나 암호화해서 PE 파일의 한 섹션에 넣어 두고, 실행할 때 풀어서 돌리는 방식입니다.

패킹된 파일은 세 부분으로 나뉩니다. 언패킹 코드, 패킹된 데이터, 그리고 풀린 원본이 들어갈 빈 공간입니다.

upx -o [패킹 후 파일] [패킹 전 파일]

Detect It Easy(DIE)로 전후를 비교했습니다.

UPX0이 비어 있는 이유는 그곳이 실행 중 원본이 풀릴 자리이기 때문입니다.

UPX로 패킹된 파일의 엔트리 포인트는 PUSHAD로 시작합니다.

그래서 POPAD 뒤의 큰 점프를 찾으면 OEP에 닿습니다. 수동으로 보려면 OllyDbg 옵션의 [SFX] → "Unpack SFX modules automatically"를 끕니다.

OEP까지 실행한 상태에서 OllyDumpEx 플러그인으로 메모리를 PE 파일로 저장합니다. 이때 엔트리 포인트 칸에는 OEP에서 ImageBase를 뺀 값을 넣습니다.
덤프한 파일은 실행되지 않습니다. 덤프 과정에서 IAT(어떤 DLL의 어떤 함수를 쓰는지에 대한 표) 가 쉽게 망가지기 때문입니다. DIE로 보면 원본과 달리 DLL 정보가 깨져 있습니다.
LoadPE의 [Rebuild PE]로 덤프 파일을 다시 구성하면 실행되고, 이후로는 언패킹 과정 없이 바로 디버깅할 수 있습니다.

언패킹 루틴도 결국 하나의 함수처럼 동작합니다. 시작할 때 이전 EBP를 스택에 저장하고(PUSH EBP), 끝날 때 그 값을 다시 꺼냅니다(POP EBP). 그러면 그 스택 위치를 읽는 순간이 언패킹이 끝나는 순간입니다.

실행되지 않는 스택 데이터를 지켜봐야 하므로 하드웨어 브레이크포인트가 필요했습니다.

코드 인젝션은 PE 파일의 빈 공간에 셸코드를 넣어 실행되게 하는 기법입니다. 4장의 코드 케이브와 같은 원리입니다.

패커는 "디스크에 있는 파일만 검사하면 된다"는 가정을 깹니다. 정적 분석으로 보이는 코드는 언패킹 루틴뿐이고, 실제 동작은 메모리에서 풀린 뒤에만 보입니다. 그래서 분석은 결국 실행 중 메모리를 기준으로 해야 하고, 그 출발점이 OEP입니다.