열린집합에 의한 연속성의 정의
함수 \( f : X \to Y \)가 연속이라는 것은, 임의의 점 \( x \in X \)와 \( f(x) \)를 포함하는 임의의 열린집합 \( U \subset Y \)에 대하여, \( x \)의 근방 \( V \)가 존재하여 \( f(V) \subset U \)가 성립하는 것과 동치이다.
조금 더 직관적으로 말하면, 함수 \( f: X \to Y \)는 공역 \( Y \)의 모든 열린집합 \( U \)에 대해 그 원상 \( f^{-1}(U) \)가 정의역 \( X \)에서 열린집합이 될 때 연속이다.

즉, 공역의 열린집합을 함수 \( f \)를 통해 정의역으로 되돌렸을 때 항상 열린집합이 유지된다면 그 함수는 연속이다.
이 정리는 열린집합이라는 위상수학의 핵심 개념을 이용해 연속성을 정의한다. 따라서 미적분학에서 배우는 \(\varepsilon\)-\(\delta\) 정의를 보다 일반적인 위상수학적 관점에서 이해할 수 있게 해 준다.
이 정의는 보통 연속성의 열린집합 정의(Open Set Definition of Continuity)라고 부른다.
참고: 이 정리는 함수의 연속성을 설명하는 두 가지 대표적인 접근법, 즉 열린집합을 이용한 위상수학적 정의와 \(\varepsilon\)-\(\delta\)를 이용한 해석학적 정의가 서로 완전히 동치임을 보여 준다. 따라서 위상수학에서 정의한 연속성과 미적분학에서 다루는 연속성은 본질적으로 같은 개념이다. 연속성의 해석학적 정의는 다음과 같다. "함수 \( f \)가 점 \( x_0 \in \mathbb{R} \)에서 연속이라는 것은, 임의의 \(\varepsilon > 0\)에 대하여 어떤 \(\delta > 0\)가 존재하여, 모든 \( x \in \mathbb{R} \)에 대해 \( |x - x_0| < \delta \)이면 \( |f(x) - f(x_0)| < \varepsilon \)이 성립하는 것"이다.
한편 연속성은 열린집합뿐 아니라 닫힌집합을 이용해서도 정의할 수 있다.
두 위상공간 \( X \)와 \( Y \)가 주어졌을 때, 함수 \( f: X \to Y \)가 연속일 필요충분조건은 \( Y \)의 모든 닫힌집합 \( C \)에 대해 원상 \( f^{-1}(C) \)가 \( X \)에서도 닫힌집합이 되는 것이다.
따라서 연속성은 열린집합을 기준으로 설명해도 되고, 닫힌집합을 기준으로 설명해도 된다. 이는 위상수학에서 열린집합과 닫힌집합이 서로 밀접하게 연결된 개념이기 때문이다.
예제
이제 구체적인 예를 통해 열린집합 정의가 실제로 어떻게 사용되는지 살펴보자.
함수 \( f : \mathbb{R} \to \mathbb{R} \)를 다음과 같이 정의한다.
$$ f(x)=x^2 $$
우리는 이 함수가 열린집합 정의에 따라 연속인지 확인하고자 한다.
정의에 따르면, 공역의 임의의 열린집합 \( U \)를 선택했을 때 그 원상 \( f^{-1}(U) \)가 정의역에서 열린집합이면 된다.
예를 들어 다음 열린구간을 선택하자.
$$ U=(1,4) $$
이 구간은 1과 4 사이의 모든 실수를 포함한다.

이제 \( f^{-1}(U) \)를 구해 보자.
이는 \( x^2 \)가 1과 4 사이에 들어가는 모든 \( x \)의 집합이다. 따라서 다음 부등식을 만족해야 한다.
$$ 1 < x^2 < 4 $$
이를 절댓값으로 표현하면
$$ 1 < |x| < 2 $$
가 되고, 결국
$$ x \in (-2,-1)\cup(1,2) $$
를 얻는다.
따라서
$$ f^{-1}(U)=(-2,-1)\cup(1,2) $$
이며, 이는 열린구간들의 합집합이므로 \( \mathbb{R} \)에서 열린집합이다.
이제 근방 조건을 직접 확인해 보자.
\( f^{-1}(U) \)의 한 점으로 \( x=1.5 \)를 선택한다.
그러면
$$ f(1.5)=1.5^2=2.25 $$
이고, 이는 분명히 \( U=(1,4) \) 안에 있다.

이제 \( x=1.5 \) 주변의 작은 열린구간
$$ V=(1.4,1.6) $$
를 선택하자.

구간의 양 끝점을 계산하면
$$ f(1.4)=1.96 \qquad \text{and} \qquad f(1.6)=2.56 $$
이다.
따라서 \( V \)의 상은
$$ f(V)=(1.96,2.56) $$
가 되며, 이 구간 전체가 \( U=(1,4) \) 안에 포함된다.
즉,
$$ f(V)\subset U $$
가 성립한다.
이는 \( x=1.5 \) 주변에서 함수값이 열린집합 \( U \)를 벗어나지 않도록 충분히 작은 근방 \( V \)를 잡을 수 있음을 의미한다.
같은 방식으로 \( f^{-1}(U) \)의 다른 모든 점에 대해서도 적절한 근방을 찾을 수 있다.
따라서 함수 \( f(x)=x^2 \)는 열린집합에 의한 연속성의 정의를 만족하며, 연속함수임을 알 수 있다.
참고: 연속성을 증명할 때는 특정한 한 점만 확인해서는 충분하지 않다. 함수가 연속이라는 것을 보이려면 정의역의 모든 점에서 조건이 성립해야 한다. 즉, 임의의 점 \( x \in X \)와 \( f(x) \)를 포함하는 임의의 열린집합 \( U \)에 대하여 \( f(V)\subset U \)를 만족하는 근방 \( V \)가 존재함을 보여야 한다.
증명
이제 두 정의가 서로 동치임을 증명해 보자.
A] 첫 번째 방향
먼저 함수 \( f \)가 열린집합 정의에 따라 연속이라고 가정한다.
\( x \in X \)와 \( f(x)\in U \)를 만족하는 열린집합 \( U \subset Y \)를 선택하자.
그리고
$$ V=f^{-1}(U) $$
로 정의한다.
\( f \)가 연속이므로 열린집합의 원상은 열린집합이다. 따라서 \( V \)는 \( X \)에서 열린집합이다.
또한 \( x \in V \)이고, 정의에 의해 \( f(V)\subset U \)가 성립한다.
따라서 \( f(x) \)를 포함하는 임의의 열린집합 \( U \)에 대해 \( x \)를 포함하는 열린집합 \( V \)가 존재함을 알 수 있다.
B] 두 번째 방향
이번에는 반대로, 임의의 점 \( x \in X \)와 \( f(x) \)를 포함하는 임의의 열린집합 \( U \subset Y \)에 대해 \( f(V)\subset U \)를 만족하는 근방 \( V \)가 존재한다고 가정하자.
이제 \( Y \)의 임의의 열린집합 \( W \subset Y \)에 대해 \( f^{-1}(W) \)가 열린집합임을 보여야 한다.
\( x \in f^{-1}(W) \)인 임의의 점을 선택하면 \( f(x)\in W \)이다.
\( W \)는 열린집합이므로 가정에 따라 \( x \)의 어떤 근방 \( V_x \)가 존재하여
$$ f(V_x)\subset W $$
를 만족한다.
따라서
$$ V_x\subset f^{-1}(W) $$
가 성립한다.
즉, \( f^{-1}(W) \)의 모든 점은 그 집합 안에 완전히 포함되는 열린근방을 하나씩 가진다.
따라서 \( f^{-1}(W) \)는 열린집합이다.
결론
결국 다음 두 명제는 서로 동치이다.
- 열린집합의 원상이 항상 열린집합이다.
- 각 점에서 적절한 근방을 선택할 수 있다.
따라서 열린집합을 이용한 정의와 근방을 이용한 정의는 동일한 연속성 개념을 서로 다른 관점에서 표현한 것에 불과하다.