열린집합 (Open Sets)
집합 A가 열린집합이라는 것은, \( x \in A \)인 모든 원소 x에 대해 x를 중심으로 한 어떤 열린 이웃(neighborhood)이 존재하며, 그 이웃 전체가 A 안에 완전히 포함된다는 뜻이다.

즉 열린집합이란, 직관적으로 경계에 해당하는 점들을 포함하지 않는 집합이라고 이해할 수 있다.
보다 엄밀하게 말해, 위상공간 X에서 부분집합 A가 열린집합이라는 것은 A의 각 점 x에 대해 A 내부에 완전히 들어가는 이웃이 항상 존재할 때를 뜻한다.
참고. 이는 집합의 모든 점을 중심으로 그 점을 둘러싸는 작은 열린 영역을 잡을 수 있으며, 그 영역이 집합 밖의 경계를 건드리지 않고 온전히 집합 내부에 포함된다는 의미다.
기본적인 예시
가장 단순한 열린집합의 예는 실수 직선 위의 열린구간(open interval)이다.
열린구간이란? 열린구간은 \( \mathbb{R} \)에서 \( a < x < b \)를 만족하는 모든 실수 x의 집합으로, 여기서 a와 b는 \( a < b \)를 만족하는 실수이다.
이 집합은 (a,b)로 표기하며, 괄호는 양 끝점 a와 b가 집합에 포함되지 않음을 나타낸다.
예를 들어 열린구간 (3,10)은 실수 직선에서 열린집합에 해당한다.
이때 집합 A는 3과 10 사이의 무한히 많은 실수를 포함하지만, 3과 10 자체는 포함하지 않는다.

따라서 이 구간 안의 임의의 점 x에 대해, (3,10) 안에 완전히 포함되는 더 작은 열린구간을 항상 잡을 수 있다.
예를 들어 x=3.1이라면, (3.09, 3.11)과 같은 열린구간을 취할 수 있고, 이 구간은 (3,10) 내부에 완전히 포함된다.
이는 (3,10) 내부의 어떤 점에 대해서도 동일하게 성립한다. 두 실수 사이에는 언제나 무수히 많은 실수가 존재하기 때문이다.
참고. 예를 들어 3.001과 같은 값에 대해서도 \( 3.001 \pm 0.00000001 \)과 같은 매우 작은 이웃을 만들 수 있으며, 그 안에는 여전히 무한히 많은 실수가 존재한다.
이 예시는 1차원에서 열린집합의 의미를 가장 직관적으로 보여준다.
다른 예시
이 개념은 2차원 평면에서도 그대로 확장된다.
예를 들어, 중심이 (0,0)이고 반지름이 1인 원 내부의 점들의 집합을 생각해 보자.
$$ x^2+y^2<1 $$
이 부등식은 원점으로부터의 거리가 1보다 작은 모든 점들의 집합을 나타낸다. 즉 원주 위의 점을 포함하지 않고 내부 점만 포함한다.

이는 2차원에서의 대표적인 열린집합 예시다.
닫힌집합은 언제인가?
닫힌집합으로 만들고 싶다면, 원주 위의 점들까지 포함하면 된다.
$$ x^2+y^2 \le 1 $$
이 경우 원 위의 점들은 더 이상 완전히 내부에 머무는 이웃을 갖지 못하므로 열린집합의 조건을 만족하지 않는다.

닫힌집합에서는 경계점이 내부 이웃 전체를 집합 안에 가둘 수 없다.

참고. \( x^2+y^2=1 \)과 같은 원주만을 나타내는 집합은 내부가 없기 때문에 \( \mathbb{R}^2 \)에서는 열린집합도 닫힌집합도 아니다. 반면 \( x^2+y^2<1 \)은 내부만 포함하므로 열린집합이며, \( x^2+y^2\le 1 \)처럼 내부와 경계를 모두 포함하면 닫힌집합이 된다.
같은 원리는 3차원에서도 그대로 적용된다. 예를 들어 구 내부의 점들만 모은 집합은 역시 열린집합이다.

위상 선택과 열린집합
열린구간은 열린집합을 직관적으로 이해하는 데 매우 좋은 출발점이다.
그러나 열린집합의 개념은 훨씬 더 추상적이며, 단순히 열린구간만을 가리키지 않는다.
따라서 개념을 이해했다면, 이제는 더 일반적인 관점에서 열린집합을 바라볼 필요가 있다.
어떤 집합이 열린집합인지는 그 공간에 부여된 위상(topology)에 의해 결정된다.
핵심은 열린집합의 성질이 위상의 선택에 따라 크게 달라질 수 있다는 점이다.
어떤 위상에서는 닫혀 보이는 집합이, 다른 위상에서는 열린집합이 될 수도 있다.
즉, 어떤 위상을 선택하느냐에 따라 어떤 집합이든 열린집합이 될 가능성이 있다.
위상이란? 위상이란 열린집합으로 인정할 집합들의 모음으로, 임의의 열린집합들의 합집합이 다시 열린집합이고, 유한 개의 열린집합의 교집합 또한 열린집합이어야 한다는 조건을 만족한다.
따라서 열린구간이나 열린원판만을 떠올리는 데 그치지 말아야 한다.
위상수학에서 열린집합의 개념은 훨씬 폭넓고 다양한 형태의 집합을 포함할 수 있다.
간단한 위상 예시
단 두 원소만 가진 집합 \( \{a, b\} \)을 생각해 보자.
이 공간에는 최소한 두 가지 위상을 정의할 수 있다. 바로 자명위상(trivial topology)과 이산위상(discrete topology)이다.
- 자명위상
자명위상에서는 열린집합이 공집합 \( \emptyset \)과 전체집합 \( \{a,b\} \)밖에 없다. 열린집합 구조가 가장 단순한 형태다. - 이산위상
이산위상에서는 가능한 모든 부분집합이 열린집합이다. 즉 \( \{a\}, \{b\}, \{a,b\}, \emptyset \)이 모두 열린집합에 해당한다. 열린집합이 가장 풍부한 위상이다.
이제 집합 \( \{a\} \)가 두 위상에서 어떻게 달라지는지 보자.
- 자명위상에서는 {a}가 열린집합이 아니다
공집합과 전체집합 외에는 열린집합이 존재하지 않기 때문이다. - 이산위상에서는 {a}가 열린집합이다
이 위상에서는 모든 부분집합이 열린집합으로 정의되어 있기 때문이다.
따라서 \( \{a\} \)는 자명위상에서는 열린집합이 아니지만, 이산위상에서는 열린집합이 된다.
이 단순한 예는 열린집합의 개념이 선택된 위상과 깊이 연결되어 있음을 잘 보여준다.
열린집합 정리 (Open Set Theorem)
Theorem 1
위상공간 \( (X, T) \)에서 부분집합 \( S \subset X \)가 열린집합이라는 것은, \( S \)의 모든 점 \( s \in S \)에 대해 \( s \)를 포함하고 \( S \) 내부에 완전히 놓이는 열린 이웃 \( U \)가 존재한다는 뜻이다. 즉, 항상 \( U \subset S \)를 만족해야 한다.
따라서 이러한 정의를 만족하는 \( S \)는 위상공간 \( (X,T) \)에서 열린집합으로 분류된다.
이는 곧 \( S \)가 그 안의 모든 점에 대해 적절한 열린 이웃을 제공한다는 의미이며, 각 점 \( s \in S \)는 \( S \) 내부의 열린집합에 의해 둘러싸일 수 있다.
따라서 각 점 \( s \)에 대응하는 열린 이웃 \( U_s \)는 열린집합이자 동시에 \( S \)에 속한다.
$$ x \in U_s \subset S \subset X $$
열린집합은 이러한 열린 이웃들의 합집합으로 구성된 집합으로 이해할 수 있다.
즉, 부분집합 \( S \)의 모든 점 \( s \in S \)가 \( S \) 내부에 완전히 포함되는 열린 이웃 \( U_s \subset S \)를 가진다면, \( S \)는 그 이웃들의 합집합이므로 열린집합임을 결론지을 수 있다.
정리하면, 집합이 열린집합이라는 것은 그 집합 안의 모든 점에 대해, 그 점을 완전히 감싸는 열린 이웃이 존재함을 의미하며, 이는 열린집합의 필요충분조건이다.
예시. 테이블 위에 여러 개의 유리 구슬이 흩어져 있다고 하자. 각 구슬은 집합의 한 점을 나타낸다고 생각할 수 있다. 만약 이 집합이 열린집합이라면, 테이블의 가장자리에 닿지 않도록 모든 구슬 주변에 적절한 크기의 원을 그릴 수 있어야 한다. 이 원은 구슬을 중심으로 하되 테이블의 끝을 넘지 않아야 한다. 모든 구슬에 대해 이러한 원을 그릴 수 있다면, 구슬들의 집합은 열린집합에 해당한다. 즉, 열린집합이란 어떤 점을 선택하더라도 그 점을 중심으로 한 ‘안전한 열린 공간’을 확보할 수 있는 집합이라고 할 수 있다.

Theorem 2
집합 \( X \)와 그 위상의 기저 \( B \)가 주어졌을 때, 부분집합 \( A \subset X \)가 열린집합이 되기 위한 필요충분조건은 \( A \)의 모든 점 \( x \in A \)에 대해 \( x \)를 포함하고 \( A \) 내부에 완전히 놓이는 기저 원소 \( B_x \in B \)가 존재하는 것이다. 즉, 항상 \( B_x \subseteq A \)여야 한다.
이 정리는 기저를 통해 정의된 위상에서 열린집합이 가지는 성질을 명확하게 보여준다.
간단히 말하면, 열린집합 \( A \) 안의 모든 점은 기저 원소 \( B_x \)로 둘러싸일 수 있어야 하며, 그 \( B_x \)는 \( A \) 안에 온전히 포함되어야 한다.
이 조건이 성립할 때, \( A \)는 기저 \( B \)가 생성한 위상에서 열린집합임이 확정된다.
증명. \( A \)가 기저 \( B \)가 생성한 위상에서 열린집합이라면, 정의에 의해 \( A \)는 기저 원소들의 합집합으로 표현된다. 따라서 \( A \)의 임의의 점 \( x \)는 적어도 하나의 기저 원소 \( B_x \)에 포함되며, 이 \( B_x \)는 합집합을 이루는 구성요소이므로 \( A \) 내부에 놓인다. 반대로, \( A \)의 모든 점 \( x \in A \)가 \( B_x \subseteq A \)인 기저 원소 \( B_x \)에 포함된다면, 이러한 \( B_x \)들의 합집합이 \( A \)가 되므로 \( A \)는 열린집합이다.
예시
집합 \( X = \{1, 2, 3, 4, 5\} \)와 기저 \( B = \{\{1\}, \{2,3\}, \{4,5\}\} \)가 주어졌다고 하자. 이때 \( A = \{1, 2, 3\} \)이 열린집합인지 확인해 보자.

각 원소에 대해 다음과 같이 기저 원소를 대응시킬 수 있다.
- 원소 \( 1 \): \( \{1\} \subset A \)
- 원소 \( 2 \): \( \{2, 3\} \subset A \)
- 원소 \( 3 \): \( \{2, 3\} \subset A \)
모든 원소가 \( A \) 내부에 완전히 포함되는 기저 원소를 가지므로 \( A \)는 열린집합이다.
예시 2
같은 \( X = \{1, 2, 3, 4, 5\} \)와 동일한 기저 \( B = \{\{1\}, \{2,3\}, \{4,5\}\} \)에 대해 이번에는 \( A = \{2, 3, 4\} \)가 열린집합인지 확인해 보자.

- 원소 \( 2 \): \( \{2, 3\} \subset A \)
- 원소 \( 3 \): \( \{2, 3\} \subset A \)
- 원소 \( 4 \): 포함하는 기저 원소는 \( \{4,5\} \)뿐이며 이는 5를 포함하므로 \( A \)에 완전히 속하지 않는다.
따라서 \( A \)는 열린집합이 아니다. 모든 점을 \( A \) 내부의 기저 원소로 덮을 수 없기 때문이다.
Side Notes
열린집합과 관련된 몇 가지 보조적 성질을 덧붙이면 다음과 같다.
- 집합 \( A \)는 \( A = \text{Int}(A) \)일 때, 그리고 그럴 때에만 열린집합이다
위상공간 \( X \)에서 집합 \( A \)의 내부(Interior) \( \text{Int}(A) \)는 \( A \)에 포함되는 열린집합들의 합집합으로 정의된다. 열린집합인 경우 다음이 성립한다.
$$ A = \text{Int}(A) $$
이후 논의는 계속된다.