1. 덤프 파일을 통한 사후 디버깅
실용 테크닉
김이선
veblush@[nexon|gmail]

2. 버블파이터
BNB 카트라이더 프로토타입 에버플래닛 던전엔파이터 GTR
프로그래머 리드 프로그래머 리드 프로그래머 리드 프로그래머 테크니컬 디렉터 프로그래머
게임 프로그래밍 11년차

3. 개발은 곧 디버깅
배포전 배포후
디버깅
디버깅

4. 개발은 곧 디버깅
배포전 배포후
배포후
디버깅
디버깅 디버깅

5. 도입

6. 덤프 파일
특정 상황에서 프로세스의 상태 를
디버깅을 목적으로 파일로 남긴 것

7. Exception
System
프로세스 상태 Thread 아니오
Module
Full-
Memory Dump?
…
예

8. 6 KB
4804 KB

9. 덤프 파일의 정보를 보기
>dat i A.dmp

10. Exception System Module Memory
TheadId: 1956 Processor/CPU Modules(0) addr: 0012fedc,
Code: 80000003 Arch: 0 Name: Tests.exe size: 00000124
Flags: 00000000 Level: 6 Base: 00400000 addr: 0040114f,
Record: 00000000 Revision: 5894 Size: 00006000 size: 00000100
Address: 004011cf VendorId: Intel CheckSum: 00006722 addr: 0040114f,
Version: 00010676 Stamp: 4f926cc4 size: 00000100
Feature: bfebfbff CV_GUID: 244b5515- addr: 00501000,
Thread Extended: 6d960e89 CV_AGE: 43 size: 00010000
Thread(id:1956) OS CV_Path: Tests.pdb addr: 00520000,
SCount: 0 Version: 6.1 Modules(1) size: 00021000
PClass: 32 Build: 7601 Name: ntdll.dll …
Priority: 0 Platform: 2 Base: 777e0000
Stack: 1244892 CSD: SP1 Size: 0013c000
EIP: 004011cf CheckSum: 00141016
EBP: 0012ff40 Stamp: 4ec49b60
Thread(id:2910) CV_GUID: 93d2cd7-
… CV_AGE: 2
CV_Path: ntdll.pdb
…

12. VS IDE 가
온라인 디버깅
처럼 보여줌

13. 미니덤프를 남기고 수집해서
VS IDE 로 디버깅하는 시스템은 필수

14. 편하다!
그런데?

16. 병원에서 디버깅하는 내용을 다룬 드라마

17. 까다로운 경우의 사후 디버깅을
해결하기 위해 했던 작업 소개

19. 덤프 파일과 PDB 연결
여러 개의 덤프 파일 분석
콜스택
힙 메모리

20. 덤프 파일과 PDB 파일의 키

21. EXE
K
컴파일러
소스
링커
PDB
K

22. Minidump
EXE DMP
K K

24. PDB Path
Age
(UTF-8)

25. 덤프 파일에 맞는 PDB 파일 찾기

26. K K
K

27. Symbol K K
Server
M
L L
?
M M

28. 심볼 서버를 사용하고 있지 않다면
바로 도입하는 것을 추천!

29. 어? 잘 되잖아?
뭐가 문제?

30. 실행파일 보안 솔루션!
Themida, ASProtect, …

31. K K

32. 보안 Minidump
EXE EXE DMP
K K !

33. Name: Tests.exe Name: Tests.exe
Base: 00400000 Base: 00400000
Size: 00005000 Size: 00173000
CheckSum: 0000fdf1 CheckSum: 000b1076
Stamp: 4f936fe3 Stamp: 4f936fe3
CV_GUID: 152589ac- CV_GUID:
CV_AGE:
CV_Path:
1
Tests.pdb
보안 Minidump CV_AGE:
CV_Path:
EXE EXE DMP
K K !

36. 이를 해결하기 위해
DMP 파일에 원본 EXE 키를 연결하자!
EXE DMP
K !
K

37. EXE EXE DMP
K K !
수집
K
DMP dat DMP
K !

38. DMP → EXE, PDB 연결을 만들어줌
>dat l -m A.exe A.dmp

39. ?
EXE DMP
K !
수집된 DMP 가 어떤 EXE 랑 연결되는지?
클라이언트 버전 or 빌드 타임을 사용!

42. EXE EXE DMP
T K T K T !
EXE T
T’ L 수집
EXE K
T” M
DMP dat DMP
T K T !

43. 클라이언트 덤프 수집 단계에
올바른 PDB 연결 단계를 꼭 넣자!

44. 덤프 파일과 PDB 연결
여러 개의 덤프 파일 분석
콜스택
힙 메모리

47. 적합한 기준!

49. 게임 내용에 맞춰
문제 시점의 맵, 스킬, 장비, …

50. 대부분 역할을 잘 해줌
그런데…

51. 그런데 외부 모듈이나
절대 발생할 수 없는 로직에서 문제가
나타난다면?
혹은 에러를 내는 양상이 매번 바뀐다면?

52. 클라이언트의 경우 실행 환경이 통제되지 않는데
H/W 결함 바이러스 악성유저
Driver 결함 악성코드

53. 외부 요인인지 아닌지
잘 판단하는 것이 중요!

54. EIP 차트 OS CPU GPU

55. EIP 차트 OS CPU GPU

56. 환경 편재에 주목!
외부 요인을 추정할 수 있다!

57. OS 윈도우 9X : OS + 드라이버 불안
OS Heap 차이, ?
CPU CPU 자체 보다는
메인 보드인 경우가 더 많음
GPU 그래픽 카드 드라이버!!!

58. 모듈 외부 프로그램에 의한 영향
메신저, 보안 솔루션 등의 DLL 이
게임 프로세스에 연결됨.
악성 프로그램 DLL 도 마찬가지

59. CASE STUDY
[던전엔 파이터]

60. 2011 년 상반기
Visual Studio 2003 → 2008
Migration

61. 2003
덤프,
클레임 재배포
아니요
2003 2008
개발 배포 괜찮나?
2008
예
아싸!

62. VS2008 빌드 버전: 유저의 클레임
“채널을 선택하면 클라이언트가 종료됩니다”

63. VS2008 빌드 버전: 덤프 리포트
HeapAlloc, HeapFree 수행 중 크래시가 늘어남

64. HeapAlloc, HeapFree 중에 크래시가 나는 것은
십중팔구 힙 깨짐

65. 힙 깨짐에 중점을 두고
코드 리뷰 + 트랩 코드 패치

66. 해당 문제를 유발 하는 코드가 없음!

68. 악성 프로그램이 문제의 원인!
문제의 덤프 파일들로부터 모듈 편재 확인

69. 악성DLL 악성DLL
힙깨짐
크래시

70. 덤프 보고의 환경 편재를 잘 살펴서
외부 요인을 잡아내자!

71. 덤프 파일과 PDB 연결
여러 개의 덤프 파일 분석
콜스택
힙 메모리

72. 콜스택은?
쓰레드의 현재 함수 호출 상태를 보여줌

74. Visual Studio 는
어떻게 콜스택을 보여줄까?

75. 코드 스택
ADDR VALUE DESC
400h int Func(int x, int y) {
104h 10 a
403h int a = x * y;
40Bh return a; 108h 118h EBP
411h } 10Ch 435h EIP
110h 2
420h void Test() { 114h 5
423h Func(2, 5); 118h 12Ch EBP
435h }
11Ch 470h EIP

76. STACK
…
EBP
EIP
…
EBP
EIP
…
EBP
EIP
…

77. ADDR VALUE EIP:010E2E13
0020fa58 0020fa64
EBP:0020FA58
0020fa5c 010e2e29
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

78. ADDR VALUE EIP:010E2E13
0020fa58 0020fa64
EBP:0020FA58
0020fa5c 010e2e29
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

79. 콜스택 구성에 필요한 것:
스택 메모리, EBP, EIP
그 중에 하나만이라도 깨지면?

80. ADDR VALUE
0020fa58 0020fa64
EBP:0020FA5c
0020fa5c 010e2e29
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

81. ADDR VALUE
0020fa58 0020fa64
EBP:002BFE64 0020fa5c 010e2e29
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

82. ADDR VALUE
0020fa58 0020fa64
EBP:002BFE64 0020fa5c 010e2e29
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

83. 보통의 콜 스택 재구성은
스택, EBP 가 정상일 때만 동작!

84. 스택, EBP 깨졌을 수도 있을 때는
다른 방법을 사용해보자!

85. ADDR VALUE
0020fa58 0020fa64 Func2
0020fa5c 010e2e29
1. 스택 메모리에서
0020fa60 004b2ff8 코드 주소 추리기
0020fa64 0020fa74 Func1
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002 Test4
0020fa80 00000005

86. ADDR VALUE
0020fa58 0020fa64
0020fa5c 010e2e29 2. 스택 메모리에서
0020fa60 004b2ff8 스택 주소 영역 추리기
0020fa64 0020fa74
0020fa68 010e2e4d
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d
0020fa7c 00000002
0020fa80 00000005

87. ADDR VALUE
0020fa58 0020fa64
0020fa5c 010e2e29 +Func2 3. 콜 스택 추정
0020fa60 004b2ff8
0020fa64 0020fa74
0020fa68 010e2e4d +Func1
0020fa6c 00000005
0020fa70 004b2ff8
0020fa74 0020fa88
0020fa78 010e2e6d +Test4
0020fa7c 00000002
0020fa80 00000005

88. 예외 쓰레드 콜스택 강제 재구성
>dat c A.dmp

90. 함수 재구성에 프로그래머의 해석이 필요
하지만 스택 파괴에도 최대한 정보를 제공!

91. <팁>
함수 스택에 디버그 변수 저장하기

92. struct Item {
int id;
int count;
};
int GetCount(const vector<Item>& items) {
int count = 0;
for (i in items) {
VERIFY(i->count > 0);
count += i->count;
}
return count;
}

94. int GetCount(const vector<Item>& items) {
int count = 0;
for (i in items) {
int item_id = item.id;
int item_count = item.count;
VERIFY(i->count > 0);
count += i->count;
}
return count;
}

96. 그냥 Trace 쓰지 왜?
간단히 덤프 파일로 볼 수 있다면 더 간편해서!
재귀함수 등 콜 스택의 여러 변수를 봐야 한다!

97. #define DEBUG_VAR(T, var)
volatile T& var = *(T*)_alloca(sizeof(T));

98. int GetCount(const vector<Item>& items) {
DEBUG_VAR(int, item_id);
DEBUG_VAR(int, item_count);
int count = 0;
for (i in items) {
item_id = item.id;
item_count = item.count;
VERIFY(i->count > 0);
count += i->count;
}
return count;
}

99. DEBUG_VAR(int, item_id);
DEBUG_VAR(int, item_count);

100. 스택 할당은 비용이 거의 없으므로
간편하게 써보자!
(다만 스택 오버플로우는 조심)

101. 덤프 파일과 PDB 연결
여러 개의 덤프 파일 분석
콜스택
힙 메모리

102. 덤프에 힙 메모리를 넣으면
디버깅에 많은 도움을 줌

103. 몬스터
class Monster
: public Object
{
int id;
int ai_state;
int more_over;
virtual ~Monster();
};

104. 사용
void Move(Monster* m)
{
if (m->ai_state == 0)
m->ai_state = 1;
verify(Route(m));
}

105. 일반
< 1MB
힙포함
프로세스
메모리 용량

106. 용량이 크지만 디버깅이 무척 편함
개발버전 클라이언트, 서버, 툴은 적극 사용!
배포 클라이언트의 경우 선택적으로 사용

107. 풀 덤프만 있으면
이제 이 버그는 제겁니다!

108. 사용
void OnAttack(Monster* m, Player* p)
{
SetAttackTarget(m, p);
log(“M:%d – P:%d”, m->id, p->id);
verify(p->valid()); 로그
} M:1500 – P:5
M:1901 – P:5

109. 모든 객체에 쉽게 접근할 수 없다.
콜스택 지역 변수에 남았거나,
전역변수 (싱글턴 등) 로부터!

110. 덤프 파일에 힙 메모리 내용이 다 있으니
어떻게 해볼 수 있지 않을까?

111. 1500 이 나오는 메모리 주소를 찾아
Watch 로 살펴보자!
(Monster*)(0x043BD14-4)

112. 메모리를 다 뒤져서 전부 찾아서 Watch!

113. 덤프 메모리에서 32bit 1500 모두 찾기
>dat m –f i1500 A.dmp

115. 무식하지만 작동하는 방법!
좀 더 나아가 보자!

116. 잘못된 주소 올바른 주소

117. 메모리에 있는 객체를 찾아보자?

119. Object vftbl COL Type
vftbl &LOC signature vftbl
id &::~dtor offset data
ai_state … cdOffset name[0]
more_over pTypeDesc …
… pClassDesc

120. 메모리에서 모든 객체를 찾아 vftbl 이
주소를 출력한다. 있는 객체
Monster 의
vfptr: 0x4102c4 Monster* 타입?

121. 메모리의 모든 Monster 객체를 출력
>dat o –t Monster A.dmp

123. 찾은 Monster 객체에 대해 sizeof(T)
안에서
1500 숫자를 가지고 있는 객체만 출력
Monster 의
vfptr: 0x4102c4

124. 메모리의 모든 Monster 객체 중
32bit 1500 을 가지고 있는 것들 출력
>dat o –t Monster –s 16 –f i1500 A.dmp

126. 힙 메모리에서 객체 찾기 응용

127. 플레이어
class Player
: public Object
{
string name;
int ip_addr;
int cid;
virtual ~Player();
};

128. 문자열
class string
{
길이가 15
int len; 이하면 여기에
char buf[16];
char* ptr;
16 이상이면
}; 동적할당

129. 힙 메모리에서
이름이 test_player_9000 인
Player 객체 찾기

130. 길이가 16 이니 string 이 문자열 포인터를 가리킴.
먼저 문자열 주소를 찾자.
문자열 주소 0x00391840 을 포함하고 있는 Player
객체를 찾자.

131. 길이가 16 이니 string 이 문자열 포인터를 가리킴.
먼저 문자열 주소를 찾자.
문자열 주소 0x00391840 을 포함하고 있는 Player
객체를 찾자.

132. 이제 모든 객체를 찾을 수 있어요!
(vftbl 은 있어야 겠지만…)

133. 정리

134. 덤프는 프로그래머의 친구!
좀 더 많이 사용해보자!

135. 덤프 분석툴도
틈틈이 만들어 보자!
>dat

136. 감사합니다!

137. http://code.google.com/p/dump-analysis-tool/