紹爾-謝拉赫引理

组合数学和極值集合論（英语：extremal set theory）中，紹爾-謝拉赫引理（英語：Sauer–Shelah lemma）斷言，若集合族的VC维低，則該族不能有太多個集合。引理得名於諾貝特·紹爾^[1]和薩哈龍·謝拉赫（英语：Saharon Shelah）^[2]，兩人分別獨立於1972年發表此結果。^{[註 1]}較之略早，在1971年，弗拉基米尔·瓦普尼克和亞歷克塞·澤范蘭傑斯合著的論文^[6]已有此結果（「VC維」即以兩人為名）。謝拉赫發表引理時，亦歸功於米哈·佩爾萊斯（英语：Micha Perles），故引理又稱為佩爾萊斯-紹爾-謝拉赫引理。^[7]

紹爾-謝拉赫引理，經帕约尔推廣的版本：對於每個有限族（綠色），都存在同樣多個集合組成的另一族（藍色），使得藍色族中每個集合，都被綠色族「打碎（英语：shattered set）」。

布萨格洛等人稱其為「關於VC維的最根本結論之一」^[7]。引理在若干方面有應用，就各發現者的研究動機而言，紹爾是研究集族的組合學，謝拉赫研究模型论，VC二氏則研究统计学。後來，引理亦用於离散几何^[8]和图论^[9]。

定義及敍述

設${\displaystyle \textstyle {\mathcal {F}}=\{S_{1},S_{2},\dots \}}$ 為一族集合，${\displaystyle T}$ 為另一集，此時所謂${\displaystyle T}$ 為${\displaystyle {\mathcal {F}}}$ 的碎裂集（英语：shattered set），意思是${\displaystyle T}$ 的每個子集（包括空集和${\displaystyle T}$ 本身），皆可表示成${\displaystyle T}$ 與該族某集之交${\displaystyle T\cap S_{i}}$ 。${\displaystyle {\mathcal {F}}}$ 的VC維是其打碎的最大集的大小。

利用以上術語，紹爾-謝拉赫引理可以寫成：

若${\displaystyle {\mathcal {F}}}$ 是一族集合，且各集合中，合共衹有${\displaystyle n}$ 個不同元素，但 ${\displaystyle \textstyle |{\mathcal {F}}|>\sum _{i=0}^{k-1}{\binom {n}{i}}}$ ，則${\displaystyle {\mathcal {F}}}$ 打碎某個${\displaystyle k}$ 元集合。

所以，若${\displaystyle {\mathcal {F}}}$ 的VC維為${\displaystyle k}$ （故不打碎任何${\displaystyle k+1}$ 元集），則${\displaystyle {\mathcal {F}}}$ 中至多衹有${\displaystyle \textstyle \sum _{i=0}^{k}{\binom {n}{i}}=O(n^{k})}$ 個集合。

引理所給的界已是最優：考慮${\displaystyle n}$ 元集${\displaystyle \{1,2,\dots ,n\}}$ 中，所有小於${\displaystyle k}$ 個元素的子集，所成的族${\displaystyle {\mathcal {F}}}$ 。該族的大小恰為${\displaystyle \textstyle \sum _{i=0}^{k-1}{\binom {n}{i}}}$ ，但是不打碎任何${\displaystyle k}$ 元集。^[10]

打碎多少集合

帕约尔將紹爾-謝拉赫引理加強為：^[12]

有限族${\displaystyle {\mathcal {F}}}$ 必打碎至少${\displaystyle |{\mathcal {F}}|}$ 個集合。

紹爾-謝拉赫引理為其直接推論，因為${\displaystyle n}$ 元全集的子集中，衹有${\displaystyle \textstyle \sum _{i=0}^{k-1}{\binom {n}{i}}}$ 個的元素個數小於${\displaystyle k}$ 。故${\displaystyle \textstyle |{\mathcal {F}}|>\sum _{i=0}^{k-1}{\binom {n}{i}}}$ 時，即使全部小集皆已打碎，仍不足${\displaystyle |{\mathcal {F}}|}$ 個，故必有打碎某個不少於${\displaystyle k}$ 元的集合。

亦可將「碎裂」的概念加以限縮，變成「順序碎裂」（order-shattered）。此時，任意集族順序打碎的集合數，必恰好等於該族的大小。^[11]

證

紹爾-謝拉赫引理的帕約爾變式可使用数学归纳法證明，此證法一說出自諾加·阿隆^[13]，一說出自朗·阿哈羅尼（英语：Ron Aharoni）及朗·霍爾茲曼（Ron Holzman）^[11]。

作為歸納法的起始步驟，單一個集合組成的族${\displaystyle {\mathcal {F}}}$ ，能打碎空集，已足${\displaystyle |{\mathcal {F}}|}$ 個。

至於遞推步驟，可假設引理對任意少於${\displaystyle |{\mathcal {F}}|}$ 個集合組成的族皆成立，且族${\displaystyle {\mathcal {F}}}$ 有至少兩個集合，故可選取元素${\displaystyle x}$ 為其一的元素，但不屬於另一集。如此便可將${\displaystyle {\mathcal {F}}}$ 的集合分成兩類：包含${\displaystyle x}$ 的集合歸入子族${\displaystyle {\mathcal {F}}_{1}}$ ，不含${\displaystyle x}$ 的則歸入${\displaystyle {\mathcal {F}}_{0}}$ 。

由歸納假設，兩子族各自打碎的集合數，其和至少為${\displaystyle |{\mathcal {F}}_{0}|+|{\mathcal {F}}_{1}|=|{\mathcal {F}}|}$ 。

該些碎裂集不能有元素${\displaystyle x}$ ，因為若要打碎某個有${\displaystyle x}$ 的集合${\displaystyle A}$ ，則族中需要有含${\displaystyle x}$ 的集合，也需要有不含${\displaystyle x}$ 的集合，纔能使該族各集與${\displaystyle A}$ 的交集出齊${\displaystyle A}$ 的全體子集。

若集${\displaystyle S}$ 衹被一個子族打碎，則數算兩子族打碎的集合時，${\displaystyle S}$ 計為一個，數${\displaystyle {\mathcal {F}}}$ 打碎的集合時亦計為一個。但${\displaystyle S}$ 也可能同時被兩子族打碎，如此，數算兩子族打碎的集合時，會將${\displaystyle S}$ 計兩次；不過${\displaystyle {\mathcal {F}}}$ 既打碎${\displaystyle S}$ ，也打碎${\displaystyle S\cup \{x\}}$ ，所以${\displaystyle S}$ （和${\displaystyle S\cup \{x\}}$ ）在數${\displaystyle {\mathcal {F}}}$ 打碎的集合時，也計為兩次。由此，${\displaystyle {\mathcal {F}}}$ 打碎的集合數，不小於兩子族各自打碎集合數之和，從而不小於${\displaystyle |{\mathcal {F}}|}$ 。

紹爾-謝拉赫引理的原始形式還有另一種證明，利用线性代数及容斥原理，該證法由弗龍克爾·彼得（英语：Péter Frankl）和保奇·亞諾什（英语：János Pach）給出。^[8][10]

應用

VC二氏原先將引理應用於證明，若考慮一族VC維固定的事件，則衹需有限多個取樣點，即可近似任意的概率分佈（使取樣所得的事件概率近似該分佈下的事件概率），且取樣點的個數衹取決於VC維數。具體而言，有兩種意義下的近似，各由參數${\displaystyle \varepsilon }$ 定義：

1. 取樣集${\displaystyle S}$ 上的概率分佈定義為原分佈的「${\displaystyle \varepsilon }$ 近似」（英語：${\displaystyle \varepsilon }$ -approximation），意思是每個事件被${\displaystyle S}$ 以該分佈取樣的概率，與原概率所差不過${\displaystyle \varepsilon }$ 。
2. 取樣集${\displaystyle S}$ （不設權重）定義為「ε網（英语：ε-net (computational geometry)）」，意思是概率不小於${\displaystyle \varepsilon }$ 的任一事件中，必含${\displaystyle S}$ 中至少一點。

由定義，${\displaystyle \varepsilon }$ 近似必為${\displaystyle \varepsilon }$ 網，反之則不一定。

VC二氏以此引理證明，若某集族的VC維為${\displaystyle d}$ ，則必有大小不過${\displaystyle O({\tfrac {d}{\varepsilon ^{2}}}\log {\tfrac {d}{\varepsilon }})}$ 的${\displaystyle \varepsilon }$ 近似。其後，Haussler & Welzl (1987)^[14]和Komlós，Pach & Woeginger (1992)^[15]等發表了類似的結果，證明必存在大小為${\displaystyle O({\tfrac {d}{\varepsilon }}\log {\tfrac {1}{\varepsilon }})}$ 的${\displaystyle \varepsilon }$ 網，具體上界為${\displaystyle {\tfrac {d}{\varepsilon }}\ln {\tfrac {1}{\varepsilon }}+{\tfrac {2d}{\varepsilon }}\ln \ln {\tfrac {1}{\varepsilon }}+{\tfrac {6d}{\varepsilon }}}$ 。^[8]證明存在小${\displaystyle \varepsilon }$ 網的主要方法是，先揀選${\displaystyle O({\tfrac {d}{\varepsilon }}\log {\tfrac {1}{\varepsilon }})}$ 個點的隨機樣本${\displaystyle x}$ ，再獨立揀選另${\displaystyle O({\tfrac {d}{\varepsilon }}\log ^{2}{\tfrac {1}{\varepsilon }})}$ 個點的隨機樣本${\displaystyle y}$ ，然後證明以下的不等式：存在某個較大事件${\displaystyle E}$ 與${\displaystyle x}$ 不交的概率${\displaystyle p_{1}}$ ，與存在同樣的事件，且該事件與${\displaystyle y}$ 相交點數大於中位值的概率${\displaystyle p_{2}}$ ，兩概率之比至多為${\displaystyle 2}$ 。若固定${\displaystyle E}$ 和${\displaystyle x\cup y}$ ，則${\displaystyle x}$ 不交${\displaystyle E}$ 而${\displaystyle y}$ 與${\displaystyle E}$ 相交點數多於中位值的概率很小。由紹爾-謝拉赫引理，${\displaystyle E}$ 與${\displaystyle x\cup y}$ 的交集的可能情況並不太多，計算「存在${\displaystyle E}$ 滿足條件」的概率時，衹需對每種交集的可能性考慮一個${\displaystyle E}$ ，因此由併集上界，可得${\displaystyle p_{1}\leq 2p_{2}<1}$ ，故${\displaystyle x}$ 有非零概率為${\displaystyle \varepsilon }$ 網。^[8]

以上論證說明隨機取樣足夠多個點就可能是${\displaystyle \varepsilon }$ 網。此性質以及${\displaystyle \varepsilon }$ 網、${\displaystyle \varepsilon }$ 近似兩概念本身，皆在机器学习和概率近似正確學習（英语：probably approximately correct learning）方面有應用。^[16]计算几何方面的應用則有範圍搜索（英语：range searching）^[14]、去随机化（英语：derandomization）^[17]、近似算法^[18][19]。

Kozma & Moran (2013)利用紹爾-謝拉赫引理的推廣，證明若干圖論結果，例如：圖的強定向（英语：strong orientation）^{[註 2]}方案數介於其連通子圖數與邊雙連通（英语：k-edge-connected graph）子圖數之間。^[9]

註

1. 多個來源斷言此處（以及與下文VC二氏的發現）的獨立性^[3]，如^[4][5]。
2. 為每條邊選定一方向，使全幅圖強連通。

參考文獻

1. Sauer, N. On the density of families of sets. Journal of Combinatorial Theory（英语：Journal of Combinatorial Theory）. Series A. 1972, 13: 145–147. MR 0307902. doi:10.1016/0097-3165(72)90019-2   （英语）. 
2. Shelah, Saharon. A combinatorial problem; stability and order for models and theories in infinitary languages. Pacific Journal of Mathematics. 1972, 41: 247–261. MR 0307903. doi:10.2140/pjm.1972.41.247  . （原始内容存档于2013-10-05） （英语）. 
3. Bottou, Leon. . [2022-03-07]. （原始内容存档于2022-03-19） （英语）. 
4. Bollobás, Béla; Radcliff, A.J. Defect Sauer results. Journal of Combinatorial Theory, Series A. 1995, 72: 189–208. doi:10.1016/0097-3165(95)90060-8 （英语）. 
5. Smola, Alexander J.; Mendelson, Shahar. Advanced Lectures on Machine Learning. Springer. 2003: 12. ISBN 9783540364344 （英语）. 
6. Vapnik, V. N.; Červonenkis, A. Ja. The uniform convergence of frequencies of the appearance of events to their probabilities. Akademija Nauk SSSR. 1971, 16: 264–279. MR 0288823 （英语）. 
7. Buzaglo, Sarit; Pinchasi, Rom; Rote, Günter. Topological hypergraphs. Pach, János (编). Thirty Essays on Geometric Graph Theory. Springer. 2013: 71–81. doi:10.1007/978-1-4614-0110-0_6   （英语）. 
8. Pach, János; Agarwal, Pankaj K. Combinatorial geometry. Wiley-Interscience Series in Discrete Mathematics and Optimization. New York: John Wiley & Sons Inc.: 247–251. 1995. ISBN 0-471-58890-3. MR 1354145. doi:10.1002/9781118033203   （英语）. 
9. Kozma, László; Moran, Shay. . Electronic Journal of Combinatorics（英语：Electronic Journal of Combinatorics）. 2013, 20 (3). P44 [2022-03-06]. Bibcode:2012arXiv1211.1319K. MR 3118952. arXiv:1211.1319  . （原始内容存档于2022-05-25） （英语）. 
10. Gowers, Timothy. . Gowers's Weblog: Mathematics related discussions. Example 3. 2008-07-31 [2022-03-12]. （原始内容存档于2022-07-09） （英语）. 
11. Anstee, R. P.; Rónyai, Lajos; Sali, Attila. Shattering news. Graphs and Combinatorics（英语：Graphs and Combinatorics）. 2002, 18 (1): 59–73. MR 1892434. doi:10.1007/s003730200003   （英语）. 
12. Pajor, Alain. Sous-espaces ${\displaystyle l_{1}^{n}}$  des espaces de Banach. Travaux en Cours 16. Paris: Hermann. 1985. ISBN 2-7056-6021-6. MR 0903247 （法语）.  由^[11]引述。
13. Kalai, Gil. . Combinatorics and More. 2008-09-28 [2022-03-13]. （原始内容存档于2022-03-13） （英语）. 
14. Haussler, David; Welzl, Emo. ε-nets and simplex range queries. Discrete and Computational Geometry（英语：Discrete and Computational Geometry）. 1987, 2 (2): 127–151. MR 0884223. doi:10.1007/BF02187876  . 
15. Komlós, János; Pach, János; Woeginger, Gerhard. Almost tight bounds for ε-nets. Discrete and Computational Geometry（英语：Discrete and Computational Geometry）. 1992, 7 (2): 163–173. MR 1139078. doi:10.1007/BF02187833  . .
16. Blumer, Anselm; Ehrenfeucht, Andrzej; Haussler, David; Warmuth, Manfred K. Learnability and the Vapnik–Chervonenkis dimension. Journal of the ACM. 1989, 36 (4): 929–965. MR 1072253. doi:10.1145/76359.76371. 
17. Chazelle, B.; Friedman, J. A deterministic view of random sampling and its use in geometry. Combinatorica（英语：Combinatorica）. 1990, 10 (3): 229–249. MR 1092541. doi:10.1007/BF02122778  . 
18. Brönnimann, H.; Goodrich, M. T. Almost optimal set covers in finite VC-dimension. Discrete and Computational Geometry（英语：Discrete and Computational Geometry）. 1995, 14 (4): 463–479. MR 1360948. doi:10.1007/BF02570718  . 
19. Har-Peled, Sariel. On complexity, sampling, and ε-nets and ε-samples. Geometric approximation algorithms. Mathematical Surveys and Monographs 173. Providence, RI: American Mathematical Society. 2011: 61–85. ISBN 978-0-8218-4911-8. MR 2760023.