집합의 경계
점 \( x \)가 집합 \( A \)의 경계에 속한다는 것은, \( x \)의 모든 근방이 집합 \( A \)와 그 여집합 \( X - A \)를 모두 만난다는 것을 의미한다.
즉, 어떤 점 \( x \)의 주변을 아무리 작게 잡아도 그 근방 안에는 항상 \( A \)에 속하는 점과 \( A \)에 속하지 않는 점이 동시에 존재한다면, 그 점 \( x \)는 집합 \( A \)의 경계에 있는 점이다.
직관적인 예
이 개념을 이해하기 위해 간단한 예를 살펴보자.
실수 직선 \( \mathbb{R} \) 위의 열린 구간 \( A = (0, 1) \)을 생각해 보자.
이 경우, 점 0과 1은 집합 \( A \)의 경계점이 된다. 왜냐하면 이 점들의 어떤 근방을 선택하더라도 그 근방은 항상 구간 \( (0,1) \) 안의 부분과 구간 밖의 부분을 동시에 포함하기 때문이다.
- 점 1
\( \epsilon \)이 충분히 작은 양수라고 하자. 근방 \( (1-\epsilon, 1+\epsilon) \)을 생각하면, 이 근방에는 \( (1-\epsilon,1) \)처럼 \( (0,1) \) 안에 있는 부분과 \( (1,1+\epsilon) \)처럼 \( (0,1) \) 밖에 있는 부분이 함께 존재한다. 따라서 점 1은 집합 \( A \)의 경계점이다.

- 점 0
마찬가지로 근방 \( (0-\epsilon, 0+\epsilon) \)을 생각하면, \( (0,0+\epsilon) \)은 구간 \( (0,1) \) 안에 있고 \( (0-\epsilon,0) \)은 구간 밖에 있다. 따라서 점 0 역시 집합 \( A \)의 경계점이다.

- 구간 (0,1) 내부의 점
이제 구간 \( (0,1) \) 안의 임의의 점 \( x \)를 생각해 보자. \( \epsilon \)을 충분히 작게 잡으면 근방 \( (x-\epsilon, x+\epsilon) \) 전체를 \( (0,1) \) 안에 포함시킬 수 있다. 이 근방은 \( X-A \)와는 교집합을 갖지 않는다. 따라서 이러한 점들은 경계점이 아니다.

- 구간 (0,1) 밖의 점
0과 1을 제외하고 구간 \( (0,1) \) 밖에 있는 점을 생각하자. \( \epsilon \)을 충분히 작게 선택하면 근방 \( (x-\epsilon, x+\epsilon) \) 전체를 \( X-A \) 안에 포함시킬 수 있다. 이 근방은 \( A \)와는 교집합을 갖지 않는다. 따라서 이러한 점들도 경계점이 아니다.

따라서 집합 \( A = (0,1) \)의 경계는 다음과 같다.
$$ \partial A = \{0,1 \} $$
정리하면, 어떤 점 \( x \)의 근방이 항상 집합 \( A \)와 \( A \)의 바깥 부분을 모두 만나게 된다면, 그 점 \( x \)는 집합 \( A \)의 경계에 있는 점이다.
증명
이 성질을 보이기 위해 두 가지 방향에서 생각해 보자.
1] 점 \( x \)가 \( A \)의 경계점인 경우
점 \( x \)가 집합 \( A \)의 경계에 있다고 가정하자.
$$ x \in \partial A $$
경계의 정의에 의해
\( x \in \text{Cl}(A) \) 이고 동시에 \( x \notin \text{Int}(A) \) 이다.
\( x \in \text{Cl}(A) \) 이므로 \( x \)의 모든 근방은 집합 \( A \)와 교집합을 갖는다.
또한 \( x \notin \text{Int}(A) \) 이므로 \( x \)의 어떤 근방도 \( A \)의 부분집합이 될 수 없다. 따라서 모든 근방은 반드시 \( X - A \)와도 교집합을 갖는다.
따라서 \( x \)의 모든 근방은 \( A \)와 \( X - A \)를 동시에 만난다.
2] 모든 근방이 \( A \)와 \( X-A \)를 모두 만나는 경우
이제 반대로, 점 \( x \)의 모든 근방이 집합 \( A \)와 \( X - A \)를 모두 만난다고 가정하자.
그러면 \( x \)는 두 집합의 폐포에 모두 속한다.
\( x \in \text{Cl}(A) \) 이고 동시에 \( x \in \text{Cl}(X - A) \) 이다.
여기서
\( \text{Cl}(X - A) = X - \text{Int}(A) \)
이므로 \( x \notin \text{Int}(A) \) 임을 알 수 있다.
결국
\( x \in \text{Cl}(A) \) 이고 \( x \notin \text{Int}(A) \)
이므로
\( x \in \text{Cl}(A) - \text{Int}(A) = \partial A \)
즉, 점 \( x \)는 집합 \( A \)의 경계점이다.