Question: What is Pod placement?

Answer: P o d   p l a c e m e n t   i s   d o n e   i n   a c c o r d a n c e   w i t h   t h e   t i e r s   o f   s e n s i t i v i t y   o f   t h e   a p p l i c a t i o n .   S e n s i t i v e   a p p l i c a t i o n s   a r e   r u n n i n g   i s o l a t e d   o n   n o d e s   o r   w i t h   s p e c i f i c   s a n d b o x e d   r u n t i m e s .   P o d s   t h a t   a r e   o n   d i f f e r e n t   t i e r s   o f   s e n s i t i v i t y ,   f o r   e x a m p l e ,   a n   a p p l i c a t i o n   p o d   a n d   t h e   K u b e r n e t e s   A P I   s e r v e r ,   s h o u l d   b e   d e p l o y e d   o n t o   s e p a r a t e   n o d e s .   T h e   p u r p o s e   o f   n o d e   i s o l a t i o n   i s   t o   p r e v e n t   a n   a p p l i c a t i o n   c o n t a i n e r   b r e a k o u t   t o   d i r e c t l y   p r o v i d i n g   a c c e s s   t o   a p p l i c a t i o n s   w i t h   h i g h e r   l e v e l   o f   s e n s i t i v i t y   t o   e a s i l y   p i v o t   w i t h i n   t h e   c l u s t e r .   T h i s   s e p a r a t i o n   s h o u l d   b e   e n f o r c e d   t o   p r e v e n t   p o d s   a c c i d e n t a l l y   b e i n g   d e p l o y e d   o n t o   t h e   s a m e   n o d e .   T h i s   c o u l d   b e   e n f o r c e d   w i t h   t h e   f o l l o w i n g   f e a t u r e s :


Question: What is Secrets?

Answer: C o n f i g M a p s   a r e   n o t   u s e d   t o   h o l d   c o n f i d e n t i a l   d a t a .   E n c r y p t i o n   a t   r e s t   i s   c o n f i g u r e d   f o r   t h e   S e c r e t   A P I .   I f   a p p r o p r i a t e ,   a   m e c h a n i s m   t o   i n j e c t   s e c r e t s   s t o r e d   i n   t h i r d - p a r t y   s t o r a g e   i s   d e p l o y e d   a n d   a v a i l a b l e .   S e r v i c e   a c c o u n t   t o k e n s   a r e   n o t   m o u n t e d   i n   p o d s   t h a t   d o n ' t   r e q u i r e   t h e m .   B o u n d   s e r v i c e   a c c o u n t   t o k e n   v o l u m e   i s   i n - u s e   i n s t e a d   o f   n o n - e x p i r i n g   t o k e n s .   S e c r e t s   r e q u i r e d   f o r   p o d s   s h o u l d   b e   s t o r e d   w i t h i n   K u b e r n e t e s   S e c r e t s   a s   o p p o s e d   t o   a l t e r n a t i v e s   s u c h   a s   C o n f i g M a p .   S e c r e t   r e s o u r c e s   s t o r e d   w i t h i n   e t c d   s h o u l d   b e   e n c r y p t e d   a t   r e s t .   P o d s   n e e d i n g   s e c r e t s   s h o u l d   h a v e   t h e s e   a u t o m a t i c a l l y   m o u n t e d   t h r o u g h   v o l u m e s ,   p r e f e r a b l y   s t o r e d   i n   m e m o r y   l i k e   w i t h   t h e   e m p t y D i r . m e d i u m   o p t i o n .   M e c h a n i s m   c a n   b e   u s e d   t o   a l s o   i n j e c t   s e c r e t s   f r o m   t h i r d - p a r t y   s t o r a g e s   a s   v o l u m e ,   l i k e   t h e   S e c r e t s   S t o r e   C S I   D r i v e r .   T h i s   s h o u l d   b e   d o n e   p r e f e r e n t i a l l y   a s   c o m p a r e d   t o   p r o v i d i n g   t h e   p o d s   s e r v i c e   a c c o u n t   R B A C   a c c e s s   t o   s e c r e t s .   T h i s   w o u l d   a l l o w   a d d i n g   s e c r e t s   i n t o   t h e   p o d   a s   e n v i r o n m e n t   v a r i a b l e s   o r   f i l e s .   P l e a s e   n o t e   t h


Question: What is Images?

Answer: M i n i m i z e   u n n e c e s s a r y   c o n t e n t   i n   c o n t a i n e r   i m a g e s .   C o n t a i n e r   i m a g e s   a r e   c o n f i g u r e d   t o   b e   r u n   a s   u n p r i v i l e g e d   u s e r .   R e f e r e n c e s   t o   c o n t a i n e r   i m a g e s   a r e   m a d e   b y   s h a 2 5 6   d i g e s t s   ( r a t h e r   t h a n   t a g s )   o r   t h e   p r o v e n a n c e   o f   t h e   i m a g e   i s   v a l i d a t e d   b y   v e r i f y i n g   t h e   i m a g e ' s   d i g i t a l   s i g n a t u r e   a t   d e p l o y   t i m e   v i a   a d m i s s i o n   c o n t r o l .   C o n t a i n e r   i m a g e s   a r e   r e g u l a r l y   s c a n n e d   d u r i n g   c r e a t i o n   a n d   i n   d e p l o y m e n t ,   a n d   k n o w n   v u l n e r a b l e   s o f t w a r e   i s   p a t c h e d .   C o n t a i n e r   i m a g e   s h o u l d   c o n t a i n   t h e   b a r e   m i n i m u m   t o   r u n   t h e   p r o g r a m   t h e y   p a c k a g e .   P r e f e r a b l y ,   o n l y   t h e   p r o g r a m   a n d   i t s   d e p e n d e n c i e s ,   b u i l d i n g   t h e   i m a g e   f r o m   t h e   m i n i m a l   p o s s i b l e   b a s e .   I n   p a r t i c u l a r ,   i m a g e   u s e d   i n   p r o d u c t i o n   s h o u l d   n o t   c o n t a i n   s h e l l s   o r   d e b u g g i n g   u t i l i t i e s ,   a s   a n   e p h e m e r a l   d e b u g   c o n t a i n e r   c a n   b e   u s e d   f o r   t r o u b l e s h o o t i n g .   B u i l d   i m a g e s   t o   d i r e c t l y   s t a r t   w i t h   a n   u n p r i v i l e g e d   u s e r   b y   u s i n g   t h e   U S E R   i n s t r u c t i o n   i n   D o c k e r f i l e .   T h e   S e c u r i t y   C o n t e x t   a l l o w s   a   c o n t a i n e r   i m a g e   t o   b e   s t a r t e d   w i t h   a   s p e c i f i c   u s e r   a n d   g r o u p   w i t h   r u n A s U s e r   a n d   r u n A s G r o u p ,   e v e n   i


Question: What is Admission controllers?

Answer: A n   a p p r o p r i a t e   s e l e c t i o n   o f   a d m i s s i o n   c o n t r o l l e r s   i s   e n a b l e d .   A   p o d   s e c u r i t y   p o l i c y   i s   e n f o r c e d   b y   t h e   P o d   S e c u r i t y   A d m i s s i o n   o r / a n d   a   w e b h o o k   a d m i s s i o n   c o n t r o l l e r .   T h e   a d m i s s i o n   c h a i n   p l u g i n s   a n d   w e b h o o k s   a r e   s e c u r e l y   c o n f i g u r e d .   A d m i s s i o n   c o n t r o l l e r s   c a n   h e l p   i m p r o v e   t h e   s e c u r i t y   o f   t h e   c l u s t e r .   H o w e v e r ,   t h e y   c a n   p r e s e n t   r i s k s   t h e m s e l v e s   a s   t h e y   e x t e n d   t h e   A P I   s e r v e r   a n d   s h o u l d   b e   p r o p e r l y   s e c u r e d .   T h e   f o l l o w i n g   l i s t s   p r e s e n t   a   n u m b e r   o f   a d m i s s i o n   c o n t r o l l e r s   t h a t   c o u l d   b e   c o n s i d e r e d   t o   e n h a n c e   t h e   s e c u r i t y   p o s t u r e   o f   y o u r   c l u s t e r   a n d   a p p l i c a t i o n .   I t   i n c l u d e s   c o n t r o l l e r s   t h a t   m a y   b e   r e f e r e n c e d   i n   o t h e r   p a r t s   o f   t h i s   d o c u m e n t .   T h i s   f i r s t   g r o u p   o f   a d m i s s i o n   c o n t r o l l e r s   i n c l u d e s   p l u g i n s   e n a b l e d   b y   d e f a u l t ,   c o n s i d e r   t o   l e a v e   t h e m   e n a b l e d   u n l e s s   y o u   k n o w   w h a t   y o u   a r e   d o i n g :   T h e   s e c o n d   g r o u p   i n c l u d e s   p l u g i n s   t h a t   a r e   n o t   e n a b l e d   b y   d e f a u l t   b u t   a r e   i n   g e n e r a l   a v a i l a b i l i t y   s t a t e   a n d   a r e   r e c o m m e n d e d   t o   i m p r o v e   y o u r   s e c u r i t y   p o s t u r e :   T h e   t h i r d   g r o u p   i n c l u d e s   p l u g i n s   t h a t   a r e   n o t   e n a b l e d   b y   d e f


Question: What is What's next?

Answer: P r i v i l e g e   e s c a l a t i o n   v i a   P o d   c r e a t i o n   w a r n s   y o u   a b o u t   a   s p e c i f i c   a c c e s s   c o n t r o l   r i s k ;   c h e c k   h o w   y o u ' r e   m a n a g i n g   t h a t   t h r e a t . I f   y o u   u s e   K u b e r n e t e s   R B A C ,   r e a d   R B A C   G o o d   P r a c t i c e s   f o r   f u r t h e r   i n f o r m a t i o n   o n   a u t h o r i z a t i o n . S e c u r i n g   a   C l u s t e r   f o r   i n f o r m a t i o n   o n   p r o t e c t i n g   a   c l u s t e r   f r o m   a c c i d e n t a l   o r   m a l i c i o u s   a c c e s s . C l u s t e r   M u l t i - t e n a n c y   g u i d e   f o r   c o n f i g u r a t i o n   o p t i o n s   r e c o m m e n d a t i o n s   a n d   b e s t   p r a c t i c e s   o n   m u l t i - t e n a n c y . B l o g   p o s t   " A   C l o s e r   L o o k   a t   N S A / C I S A   K u b e r n e t e s   H a r d e n i n g   G u i d a n c e "   f o r   c o m p l e m e n t a r y   r e s o u r c e   o n   h a r d e n i n g   K u b e r n e t e s   c l u s t e r s .   I f   y o u   u s e   K u b e r n e t e s   R B A C ,   r e a d   R B A C   G o o d   P r a c t i c e s   f o r   f u r t h e r   i n f o r m a t i o n   o n   a u t h o r i z a t i o n .


Question: What is 8.17 - Application Security Checklist?

Answer: T h i s   c h e c k l i s t   a i m s   t o   p r o v i d e   b a s i c   g u i d e l i n e s   o n   s e c u r i n g   a p p l i c a t i o n s   r u n n i n g   i n   K u b e r n e t e s   f r o m   a   d e v e l o p e r ' s   p e r s p e c t i v e .   T h i s   l i s t   i s   n o t   m e a n t   t o   b e   e x h a u s t i v e   a n d   i s   i n t e n d e d   t o   e v o l v e   o v e r   t i m e .   O n   h o w   t o   r e a d   a n d   u s e   t h i s   d o c u m e n t :   T h e   o r d e r   o f   t o p i c s   d o e s   n o t   r e f l e c t   a n   o r d e r   o f   p r i o r i t y . S o m e   c h e c k l i s t   i t e m s   a r e   d e t a i l e d   i n   t h e   p a r a g r a p h   b e l o w   t h e   l i s t   o f   e a c h   s e c t i o n . T h i s   c h e c k l i s t   a s s u m e s   t h a t   a   d e v e l o p e r   i s   a   K u b e r n e t e s   c l u s t e r   u s e r   w h o   i n t e r a c t s   w i t h   n a m e s p a c e d   s c o p e   o b j e c t s .


Question: What is Base security hardening?

Answer: T h e   f o l l o w i n g   c h e c k l i s t   p r o v i d e s   b a s e   s e c u r i t y   h a r d e n i n g   r e c o m m e n d a t i o n s   t h a t   w o u l d   a p p l y   t o   m o s t   a p p l i c a t i o n s   d e p l o y i n g   t o   K u b e r n e t e s .


Question: What is Application design?

Answer: F o l l o w   t h e   r i g h t   s e c u r i t y   p r i n c i p l e s   w h e n   d e s i g n i n g   a p p l i c a t i o n s .   A p p l i c a t i o n   c o n f i g u r e d   w i t h   a p p r o p r i a t e   Q o S   c l a s s   t h r o u g h   r e s o u r c e   r e q u e s t   a n d   l i m i t s .   M e m o r y   l i m i t   i s   s e t   f o r   t h e   w o r k l o a d s   w i t h   a   l i m i t   e q u a l   t o   o r   g r e a t e r   t h a n   t h e   r e q u e s t .   C P U   l i m i t   m i g h t   b e   s e t   o n   s e n s i t i v e   w o r k l o a d s .   M e m o r y   l i m i t   i s   s e t   f o r   t h e   w o r k l o a d s   w i t h   a   l i m i t   e q u a l   t o   o r   g r e a t e r   t h a n   t h e   r e q u e s t .   C P U   l i m i t   m i g h t   b e   s e t   o n   s e n s i t i v e   w o r k l o a d s .


Question: What is Service account?

Answer: A v o i d   u s i n g   t h e   d e f a u l t   S e r v i c e A c c o u n t .   I n s t e a d ,   c r e a t e   S e r v i c e A c c o u n t s   f o r   e a c h   w o r k l o a d   o r   m i c r o s e r v i c e .   a u t o m o u n t S e r v i c e A c c o u n t T o k e n   s h o u l d   b e   s e t   t o   f a l s e   u n l e s s   t h e   p o d   s p e c i f i c a l l y   r e q u i r e s   a c c e s s   t o   t h e   K u b e r n e t e s   A P I   t o   o p e r a t e .


Question: What is Pod-level securityContext recommendations?

Answer: S e t   r u n A s N o n R o o t :   t r u e .   C o n f i g u r e   t h e   c o n t a i n e r   t o   e x e c u t e   a s   a   l e s s   p r i v i l e g e d   u s e r   ( f o r   e x a m p l e ,   u s i n g   r u n A s U s e r   a n d   r u n A s G r o u p ) ,   a n d   c o n f i g u r e   a p p r o p r i a t e   p e r m i s s i o n s   o n   f i l e s   o r   d i r e c t o r i e s   i n s i d e   t h e   c o n t a i n e r   i m a g e .   O p t i o n a l l y   a d d   a   s u p p l e m e n t a r y   g r o u p   w i t h   f s G r o u p   t o   a c c e s s   p e r s i s t e n t   v o l u m e s .   T h e   a p p l i c a t i o n   d e p l o y s   i n t o   a   n a m e s p a c e   t h a t   e n f o r c e s   a n   a p p r o p r i a t e   P o d   s e c u r i t y   s t a n d a r d .   I f   y o u   c a n n o t   c o n t r o l   t h i s   e n f o r c e m e n t   f o r   t h e   c l u s t e r ( s )   w h e r e   t h e   a p p l i c a t i o n   i s   d e p l o y e d ,   t a k e   t h i s   i n t o   a c c o u n t   e i t h e r   t h r o u g h   d o c u m e n t a t i o n   o r   a d d i t i o n a l   d e f e n s e   i n   d e p t h .


Question: What is Container-level securityContext recommendations?

Answer: D i s a b l e   p r i v i l e g e   e s c a l a t i o n s   u s i n g   a l l o w P r i v i l e g e E s c a l a t i o n :   f a l s e .   C o n f i g u r e   t h e   r o o t   f i l e s y s t e m   t o   b e   r e a d - o n l y   w i t h   r e a d O n l y R o o t F i l e s y s t e m :   t r u e .   A v o i d   r u n n i n g   p r i v i l e g e d   c o n t a i n e r s   ( s e t   p r i v i l e g e d :   f a l s e ) .   D r o p   a l l   c a p a b i l i t i e s   f r o m   t h e   c o n t a i n e r s   a n d   a d d   b a c k   o n l y   s p e c i f i c   o n e s   t h a t   a r e   n e e d e d   f o r   o p e r a t i o n   o f   t h e   c o n t a i n e r .


Question: What is Role Based Access Control (RBAC)?

Answer: P e r m i s s i o n s   s u c h   a s   c r e a t e ,   p a t c h ,   u p d a t e   a n d   d e l e t e   s h o u l d   b e   o n l y   g r a n t e d   i f   n e c e s s a r y .   A v o i d   c r e a t i n g   R B A C   p e r m i s s i o n s   t o   c r e a t e   o r   u p d a t e   r o l e s   w h i c h   c a n   l e a d   t o   p r i v i l e g e   e s c a l a t i o n .   R e v i e w   b i n d i n g s   f o r   t h e   s y s t e m : u n a u t h e n t i c a t e d   g r o u p   a n d   r e m o v e   t h e m   w h e r e   p o s s i b l e ,   a s   t h i s   g i v e s   a c c e s s   t o   a n y o n e   w h o   c a n   c o n t a c t   t h e   A P I   s e r v e r   a t   a   n e t w o r k   l e v e l .   T h e   c r e a t e ,   u p d a t e   a n d   d e l e t e   v e r b s   s h o u l d   b e   p e r m i t t e d   j u d i c i o u s l y .   T h e   p a t c h   v e r b   i f   a l l o w e d   o n   a   N a m e s p a c e   c a n   a l l o w   u s e r s   t o   u p d a t e   l a b e l s   o n   t h e   n a m e s p a c e   o r   d e p l o y m e n t s   w h i c h   c a n   i n c r e a s e   t h e   a t t a c k   s u r f a c e .   F o r   s e n s i t i v e   w o r k l o a d s ,   c o n s i d e r   p r o v i d i n g   a   r e c o m m e n d e d   V a l i d a t i n g A d m i s s i o n P o l i c y   t h a t   f u r t h e r   r e s t r i c t s   t h e   p e r m i t t e d   w r i t e   a c t i o n s .


Question: What is Image security?

Answer: U s i n g   a n   i m a g e   s c a n n i n g   t o o l   t o   s c a n   a n   i m a g e   b e f o r e   d e p l o y i n g   c o n t a i n e r s   i n   t h e   K u b e r n e t e s   c l u s t e r .   U s e   c o n t a i n e r   s i g n i n g   t o   v a l i d a t e   t h e   c o n t a i n e r   i m a g e   s i g n a t u r e   b e f o r e   d e p l o y i n g   t o   t h e   K u b e r n e t e s   c l u s t e r .


Question: What is Network policies?

Answer: C o n f i g u r e   N e t w o r k P o l i c i e s   t o   o n l y   a l l o w   e x p e c t e d   i n g r e s s   a n d   e g r e s s   t r a f f i c   f r o m   t h e   p o d s .   M a k e   s u r e   t h a t   y o u r   c l u s t e r   p r o v i d e s   a n d   e n f o r c e s   N e t w o r k P o l i c y .   I f   y o u   a r e   w r i t i n g   a n   a p p l i c a t i o n   t h a t   u s e r s   w i l l   d e p l o y   t o   d i f f e r e n t   c l u s t e r s ,   c o n s i d e r   w h e t h e r   y o u   c a n   a s s u m e   t h a t   N e t w o r k P o l i c y   i s   a v a i l a b l e   a n d   e n f o r c e d .


Question: What is Advanced security hardening?

Answer: T h i s   s e c t i o n   o f   t h i s   g u i d e   c o v e r s   s o m e   a d v a n c e d   s e c u r i t y   h a r d e n i n g   p o i n t s   w h i c h   m i g h t   b e   v a l u a b l e   b a s e d   o n   d i f f e r e n t   K u b e r n e t e s   e n v i r o n m e n t   s e t u p .


Question: What is Linux container security?

Answer: C o n f i g u r e   S e c u r i t y   C o n t e x t   f o r   t h e   p o d - c o n t a i n e r .   S e t   t h e   S e c c o m p   P r o f i l e   f o r   a   C o n t a i n e r .   R e s t r i c t   a   C o n t a i n e r ' s   A c c e s s   t o   R e s o u r c e s   w i t h   A p p A r m o r .   A s s i g n   S E L i n u x   L a b e l s   t o   a   C o n t a i n e r .


Question: What is Runtime classes?

Answer: C o n f i g u r e   a p p r o p r i a t e   r u n t i m e   c l a s s e s   f o r   c o n t a i n e r s .   S o m e   c o n t a i n e r s   m a y   r e q u i r e   a   d i f f e r e n t   i s o l a t i o n   l e v e l   f r o m   w h a t   i s   p r o v i d e d   b y   t h e   d e f a u l t   r u n t i m e   o f   t h e   c l u s t e r .   r u n t i m e C l a s s N a m e   c a n   b e   u s e d   i n   a   p o d s p e c   t o   d e f i n e   a   d i f f e r e n t   r u n t i m e   c l a s s .   F o r   s e n s i t i v e   w o r k l o a d s   c o n s i d e r   u s i n g   k e r n e l   e m u l a t i o n   t o o l s   l i k e   g V i s o r ,   o r   v i r t u a l i z e d   i s o l a t i o n   u s i n g   a   m e c h a n i s m   s u c h   a s   k a t a - c o n t a i n e r s .   I n   h i g h   t r u s t   e n v i r o n m e n t s ,   c o n s i d e r   u s i n g   c o n f i d e n t i a l   v i r t u a l   m a c h i n e s   t o   i m p r o v e   c l u s t e r   s e c u r i t y   e v e n   f u r t h e r .


Question: What is 9 - Policies?

Answer: K u b e r n e t e s   p o l i c i e s   a r e   c o n f i g u r a t i o n s   t h a t   m a n a g e   o t h e r   c o n f i g u r a t i o n s   o r   r u n t i m e   b e h a v i o r s .   K u b e r n e t e s   o f f e r s   v a r i o u s   f o r m s   o f   p o l i c i e s ,   d e s c r i b e d   b e l o w :


Question: What is Apply policies using API objects?

Answer: S o m e   A P I   o b j e c t s   a c t   a s   p o l i c i e s .   H e r e   a r e   s o m e   e x a m p l e s :   N e t w o r k P o l i c i e s   c a n   b e   u s e d   t o   r e s t r i c t   i n g r e s s   a n d   e g r e s s   t r a f f i c   f o r   a   w o r k l o a d . L i m i t R a n g e s   m a n a g e   r e s o u r c e   a l l o c a t i o n   c o n s t r a i n t s   a c r o s s   d i f f e r e n t   o b j e c t   k i n d s . R e s o u r c e Q u o t a s   l i m i t   r e s o u r c e   c o n s u m p t i o n   f o r   a   n a m e s p a c e .


Question: What is Apply policies using admission controllers?

Answer: A n   a d m i s s i o n   c o n t r o l l e r   r u n s   i n   t h e   A P I   s e r v e r   a n d   c a n   v a l i d a t e   o r   m u t a t e   A P I   r e q u e s t s .   S o m e   a d m i s s i o n   c o n t r o l l e r s   a c t   t o   a p p l y   p o l i c i e s .   F o r   e x a m p l e ,   t h e   A l w a y s P u l l I m a g e s   a d m i s s i o n   c o n t r o l l e r   m o d i f i e s   a   n e w   P o d   t o   s e t   t h e   i m a g e   p u l l   p o l i c y   t o   A l w a y s .   K u b e r n e t e s   h a s   s e v e r a l   b u i l t - i n   a d m i s s i o n   c o n t r o l l e r s   t h a t   a r e   c o n f i g u r a b l e   v i a   t h e   A P I   s e r v e r   - - e n a b l e - a d m i s s i o n - p l u g i n s   f l a g .   D e t a i l s   o n   a d m i s s i o n   c o n t r o l l e r s ,   w i t h   t h e   c o m p l e t e   l i s t   o f   a v a i l a b l e   a d m i s s i o n   c o n t r o l l e r s ,   a r e   d o c u m e n t e d   i n   a   d e d i c a t e d   s e c t i o n :   A d m i s s i o n   C o n t r o l l e r s


Question: What is Apply policies using ValidatingAdmissionPolicy?

Answer: V a l i d a t i n g   a d m i s s i o n   p o l i c i e s   a l l o w   c o n f i g u r a b l e   v a l i d a t i o n   c h e c k s   t o   b e   e x e c u t e d   i n   t h e   A P I   s e r v e r   u s i n g   t h e   C o m m o n   E x p r e s s i o n   L a n g u a g e   ( C E L ) .   F o r   e x a m p l e ,   a   V a l i d a t i n g A d m i s s i o n P o l i c y   c a n   b e   u s e d   t o   d i s a l l o w   u s e   o f   t h e   l a t e s t   i m a g e   t a g .   A   V a l i d a t i n g A d m i s s i o n P o l i c y   o p e r a t e s   o n   a n   A P I   r e q u e s t   a n d   c a n   b e   u s e d   t o   b l o c k ,   a u d i t ,   a n d   w a r n   u s e r s   a b o u t   n o n - c o m p l i a n t   c o n f i g u r a t i o n s .   D e t a i l s   o n   t h e   V a l i d a t i n g A d m i s s i o n P o l i c y   A P I ,   w i t h   e x a m p l e s ,   a r e   d o c u m e n t e d   i n   a   d e d i c a t e d   s e c t i o n :   V a l i d a t i n g   A d m i s s i o n   P o l i c y


Question: What is Apply policies using dynamic admission control?

Answer: D y n a m i c   a d m i s s i o n   c o n t r o l l e r s   ( o r   a d m i s s i o n   w e b h o o k s )   r u n   o u t s i d e   t h e   A P I   s e r v e r   a s   s e p a r a t e   a p p l i c a t i o n s   t h a t   r e g i s t e r   t o   r e c e i v e   w e b h o o k s   r e q u e s t s   t o   p e r f o r m   v a l i d a t i o n   o r   m u t a t i o n   o f   A P I   r e q u e s t s .   D y n a m i c   a d m i s s i o n   c o n t r o l l e r s   c a n   b e   u s e d   t o   a p p l y   p o l i c i e s   o n   A P I   r e q u e s t s   a n d   t r i g g e r   o t h e r   p o l i c y - b a s e d   w o r k f l o w s .   A   d y n a m i c   a d m i s s i o n   c o n t r o l l e r   c a n   p e r f o r m   c o m p l e x   c h e c k s   i n c l u d i n g   t h o s e   t h a t   r e q u i r e   r e t r i e v a l   o f   o t h e r   c l u s t e r   r e s o u r c e s   a n d   e x t e r n a l   d a t a .   F o r   e x a m p l e ,   a n   i m a g e   v e r i f i c a t i o n   c h e c k   c a n   l o o k u p   d a t a   f r o m   O C I   r e g i s t r i e s   t o   v a l i d a t e   t h e   c o n t a i n e r   i m a g e   s i g n a t u r e s   a n d   a t t e s t a t i o n s .   D e t a i l s   o n   d y n a m i c   a d m i s s i o n   c o n t r o l   a r e   d o c u m e n t e d   i n   a   d e d i c a t e d   s e c t i o n :   D y n a m i c   A d m i s s i o n   C o n t r o l


Question: What is Implementations?

Answer: D y n a m i c   A d m i s s i o n   C o n t r o l l e r s   t h a t   a c t   a s   f l e x i b l e   p o l i c y   e n g i n e s   a r e   b e i n g   d e v e l o p e d   i n   t h e   K u b e r n e t e s   e c o s y s t e m ,   s u c h   a s :   K u b e w a r d e n K y v e r n o O P A   G a t e k e e p e r P o l a r i s


Question: What is Apply policies using Kubelet configurations?

Answer: K u b e r n e t e s   a l l o w s   c o n f i g u r i n g   t h e   K u b e l e t   o n   e a c h   w o r k e r   n o d e .   S o m e   K u b e l e t   c o n f i g u r a t i o n s   a c t   a s   p o l i c i e s :   P r o c e s s   I D   l i m i t s   a n d   r e s e r v a t i o n s   a r e   u s e d   t o   l i m i t   a n d   r e s e r v e   a l l o c a t a b l e   P I D s . N o d e   R e s o u r c e   M a n a g e r s   c a n   m a n a g e   c o m p u t e ,   m e m o r y ,   a n d   d e v i c e   r e s o u r c e s   f o r   l a t e n c y - c r i t i c a l   a n d   h i g h - t h r o u g h p u t   w o r k l o a d s .


Question: What is 9.1 - Limit Ranges?

Answer: B y   d e f a u l t ,   c o n t a i n e r s   r u n   w i t h   u n b o u n d e d   c o m p u t e   r e s o u r c e s   o n   a   K u b e r n e t e s   c l u s t e r .   U s i n g   K u b e r n e t e s   r e s o u r c e   q u o t a s ,   a d m i n i s t r a t o r s   ( a l s o   t e r m e d   c l u s t e r   o p e r a t o r s )   c a n   r e s t r i c t   c o n s u m p t i o n   a n d   c r e a t i o n   o f   c l u s t e r   r e s o u r c e s   ( s u c h   a s   C P U   t i m e ,   m e m o r y ,   a n d   p e r s i s t e n t   s t o r a g e )   w i t h i n   a   s p e c i f i e d   n a m e s p a c e .   W i t h i n   a   n a m e s p a c e ,   a   P o d   c a n   c o n s u m e   a s   m u c h   C P U   a n d   m e m o r y   a s   i s   a l l o w e d   b y   t h e   R e s o u r c e Q u o t a s   t h a t   a p p l y   t o   t h a t   n a m e s p a c e .   A s   a   c l u s t e r   o p e r a t o r ,   o r   a s   a   n a m e s p a c e - l e v e l   a d m i n i s t r a t o r ,   y o u   m i g h t   a l s o   b e   c o n c e r n e d   a b o u t   m a k i n g   s u r e   t h a t   a   s i n g l e   o b j e c t   c a n n o t   m o n o p o l i z e   a l l   a v a i l a b l e   r e s o u r c e s   w i t h i n   a   n a m e s p a c e .   A   L i m i t R a n g e   i s   a   p o l i c y   t o   c o n s t r a i n   t h e   r e s o u r c e   a l l o c a t i o n s   ( l i m i t s   a n d   r e q u e s t s )   t h a t   y o u   c a n   s p e c i f y   f o r   e a c h   a p p l i c a b l e   o b j e c t   k i n d   ( s u c h   a s   P o d   o r   P e r s i s t e n t V o l u m e C l a i m )   i n   a   n a m e s p a c e .   A   L i m i t R a n g e   p r o v i d e s   c o n s t r a i n t s   t h a t   c a n :   E n f o r c e   m i n i m u m   a n d   m a x i m u m   c o m p u t e   r e s o u r c e s   u s a g e   p e r   P o d   o r   C o n t a i n e r   i n   a   n a m e s p a c e . E n f o r c e   m i n i m u m   a n d   m a x i m u m   s t o r a g e   r e q u e s t   p e r   P e r


Question: What is Constraints on resource limits and requests?

Answer: T h e   a d m i n i s t r a t o r   c r e a t e s   a   L i m i t R a n g e   i n   a   n a m e s p a c e . U s e r s   c r e a t e   ( o r   t r y   t o   c r e a t e )   o b j e c t s   i n   t h a t   n a m e s p a c e ,   s u c h   a s   P o d s   o r   P e r s i s t e n t V o l u m e C l a i m s . F i r s t ,   t h e   L i m i t R a n g e   a d m i s s i o n   c o n t r o l l e r   a p p l i e s   d e f a u l t   r e q u e s t   a n d   l i m i t   v a l u e s   f o r   a l l   P o d s   ( a n d   t h e i r   c o n t a i n e r s )   t h a t   d o   n o t   s e t   c o m p u t e   r e s o u r c e   r e q u i r e m e n t s . S e c o n d ,   t h e   L i m i t R a n g e   t r a c k s   u s a g e   t o   e n s u r e   i t   d o e s   n o t   e x c e e d   r e s o u r c e   m i n i m u m ,   m a x i m u m   a n d   r a t i o   d e f i n e d   i n   a n y   L i m i t R a n g e   p r e s e n t   i n   t h e   n a m e s p a c e . I f   y o u   a t t e m p t   t o   c r e a t e   o r   u p d a t e   a n   o b j e c t   ( P o d   o r   P e r s i s t e n t V o l u m e C l a i m )   t h a t   v i o l a t e s   a   L i m i t R a n g e   c o n s t r a i n t ,   y o u r   r e q u e s t   t o   t h e   A P I   s e r v e r   w i l l   f a i l   w i t h   a n H T T P   s t a t u s   c o d e   4 0 3   F o r b i d d e n   a n d   a   m e s s a g e   e x p l a i n i n g   t h e   c o n s t r a i n t   t h a t   h a s   b e e n   v i o l a t e d . I f   y o u   a d d   a   L i m i t R a n g e   i n   a   n a m e s p a c e   t h a t   a p p l i e s   t o   c o m p u t e - r e l a t e d   r e s o u r c e s   s u c h   a s   c p u   a n d   m e m o r y ,   y o u   m u s t   s p e c i f y   r e q u e s t s   o r   l i m i t s   f o r   t h o s e   v a l u e s .   O t h e r w i s e ,   t h e   s y s t e m   m a y   r e j e c t   P o d   c r e a t i o n . L i m i t R a n g e   v a l i d a t i o n s   o c c u r   o n l y   a t   P o d   a d m i s s i o n   s t a g e ,   n o t   o n   r u n


Question: What is LimitRange and admission checks for Pods?

Answer: A   L i m i t R a n g e   d o e s   n o t   c h e c k   t h e   c o n s i s t e n c y   o f   t h e   d e f a u l t   v a l u e s   i t   a p p l i e s .   T h i s   m e a n s   t h a t   a   d e f a u l t   v a l u e   f o r   t h e   l i m i t   t h a t   i s   s e t   b y   L i m i t R a n g e   m a y   b e   l e s s   t h a n   t h e   r e q u e s t   v a l u e   s p e c i f i e d   f o r   t h e   c o n t a i n e r   i n   t h e   s p e c   t h a t   a   c l i e n t   s u b m i t s   t o   t h e   A P I   s e r v e r .   I f   t h a t   h a p p e n s ,   t h e   f i n a l   P o d   w i l l   n o t   b e   s c h e d u l a b l e .   F o r   e x a m p l e ,   y o u   d e f i n e   a   L i m i t R a n g e   w i t h   b e l o w   m a n i f e s t : N o t e : T h e   f o l l o w i n g   e x a m p l e s   o p e r a t e   w i t h i n   t h e   d e f a u l t   n a m e s p a c e   o f   y o u r   c l u s t e r ,   a s   t h e   n a m e s p a c e   p a r a m e t e r   i s   u n d e f i n e d   a n d   t h e   L i m i t R a n g e   s c o p e   i s   l i m i t e d   t o   t h e   n a m e s p a c e   l e v e l .   T h i s   i m p l i e s   t h a t   a n y   r e f e r e n c e s   o r   o p e r a t i o n s   w i t h i n   t h e s e   e x a m p l e s   w i l l   i n t e r a c t   w i t h   e l e m e n t s   w i t h i n   t h e   d e f a u l t   n a m e s p a c e   o f   y o u r   c l u s t e r .   Y o u   c a n   o v e r r i d e   t h e   o p e r a t i n g   n a m e s p a c e   b y   c o n f i g u r i n g   n a m e s p a c e   i n   t h e   m e t a d a t a . n a m e s p a c e   f i e l d .


Question: What is Note:?

Answer: a p i V e r s i o n :   v 1   k i n d :   L i m i t R a n g e   m e t a d a t a :   n a m e :   c p u - r e s o u r c e - c o n s t r a i n t   s p e c :   l i m i t s :   -   d e f a u l t :   #   t h i s   s e c t i o n   d e f i n e s   d e f a u l t   l i m i t s   c p u :   5 0 0 m   d e f a u l t R e q u e s t :   #   t h i s   s e c t i o n   d e f i n e s   d e f a u l t   r e q u e s t s   c p u :   5 0 0 m   m a x :   #   m a x   a n d   m i n   d e f i n e   t h e   l i m i t   r a n g e   c p u :   " 1 "   m i n :   c p u :   1 0 0 m   t y p e :   C o n t a i n e r   a l o n g   w i t h   a   P o d   t h a t   d e c l a r e s   a   C P U   r e s o u r c e   r e q u e s t   o f   7 0 0 m ,   b u t   n o t   a   l i m i t :   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   e x a m p l e - c o n f l i c t - w i t h - l i m i t r a n g e - c p u   s p e c :   c o n t a i n e r s :   -   n a m e :   d e m o   i m a g e :   r e g i s t r y . k 8 s . i o / p a u s e : 3 . 8   r e s o u r c e s :   r e q u e s t s :   c p u :   7 0 0 m   t h e n   t h a t   P o d   w i l l   n o t   b e   s c h e d u l e d ,   f a i l i n g   w i t h   a n   e r r o r   s i m i l a r   t o :   P o d   " e x a m p l e - c o n f l i c t - w i t h - l i m i t r a n g e - c p u "   i s   i n v a l i d :   s p e c . c o n t a i n e r s [ 0 ] . r e s o u r c e s . r e q u e s t s :   I n v a l i d   v a l u e :   " 7 0 0 m " :   m u s t   b e   l e s s   t h a n   o r   e q u a l   t o   c p u   l i m i t   I f   y o u   s e t   b o t h   r e q u e s t   a n d   l i m i t ,   t h e n   t h a t   n e w   P o d   w i l l   b e   s c h e d u l e d   s u c c e s s f u l l y   e v e n   w i t h   t h e   s a m e   L i m i t R a n g e   i n   p l a c e :   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   e x a m p l e - n o - c o n f l i c t - w i t h - l i m i t r a n g e - c p u   s p e c :   c o n t a i n e r s :   -   n


Question: What is Example resource constraints?

Answer: E x a m p l e s   o f   p o l i c i e s   t h a t   c o u l d   b e   c r e a t e d   u s i n g   L i m i t R a n g e   a r e :   I n   a   2   n o d e   c l u s t e r   w i t h   a   c a p a c i t y   o f   8   G i B   R A M   a n d   1 6   c o r e s ,   c o n s t r a i n   P o d s   i n   a   n a m e s p a c e   t o   r e q u e s t   1 0 0 m   o f   C P U   w i t h   a   m a x   l i m i t   o f   5 0 0 m   f o r   C P U   a n d   r e q u e s t   2 0 0 M i   f o r   M e m o r y   w i t h   a   m a x   l i m i t   o f   6 0 0 M i   f o r   M e m o r y . D e f i n e   d e f a u l t   C P U   l i m i t   a n d   r e q u e s t   t o   1 5 0 m   a n d   m e m o r y   d e f a u l t   r e q u e s t   t o   3 0 0 M i   f o r   C o n t a i n e r s   s t a r t e d   w i t h   n o   c p u   a n d   m e m o r y   r e q u e s t s   i n   t h e i r   s p e c s .   I n   t h e   c a s e   w h e r e   t h e   t o t a l   l i m i t s   o f   t h e   n a m e s p a c e   i s   l e s s   t h a n   t h e   s u m   o f   t h e   l i m i t s   o f   t h e   P o d s / C o n t a i n e r s ,   t h e r e   m a y   b e   c o n t e n t i o n   f o r   r e s o u r c e s .   I n   t h i s   c a s e ,   t h e   C o n t a i n e r s   o r   P o d s   w i l l   n o t   b e   c r e a t e d .   N e i t h e r   c o n t e n t i o n   n o r   c h a n g e s   t o   a   L i m i t R a n g e   w i l l   a f f e c t   a l r e a d y   c r e a t e d   r e s o u r c e s .


Question: What is What's next?

Answer: F o r   e x a m p l e s   o n   u s i n g   l i m i t s ,   s e e :   h o w   t o   c o n f i g u r e   m i n i m u m   a n d   m a x i m u m   C P U   c o n s t r a i n t s   p e r   n a m e s p a c e . h o w   t o   c o n f i g u r e   m i n i m u m   a n d   m a x i m u m   M e m o r y   c o n s t r a i n t s   p e r   n a m e s p a c e . h o w   t o   c o n f i g u r e   d e f a u l t   C P U   R e q u e s t s   a n d   L i m i t s   p e r   n a m e s p a c e . h o w   t o   c o n f i g u r e   d e f a u l t   M e m o r y   R e q u e s t s   a n d   L i m i t s   p e r   n a m e s p a c e . h o w   t o   c o n f i g u r e   m i n i m u m   a n d   m a x i m u m   S t o r a g e   c o n s u m p t i o n   p e r   n a m e s p a c e . a   d e t a i l e d   e x a m p l e   o n   c o n f i g u r i n g   q u o t a   p e r   n a m e s p a c e .   R e f e r   t o   t h e   L i m i t R a n g e r   d e s i g n   d o c u m e n t   f o r   c o n t e x t   a n d   h i s t o r i c a l   i n f o r m a t i o n .


Question: What is 9.2 - Resource Quotas?

Answer: W h e n   s e v e r a l   u s e r s   o r   t e a m s   s h a r e   a   c l u s t e r   w i t h   a   f i x e d   n u m b e r   o f   n o d e s ,   t h e r e   i s   a   c o n c e r n   t h a t   o n e   t e a m   c o u l d   u s e   m o r e   t h a n   i t s   f a i r   s h a r e   o f   r e s o u r c e s .   R e s o u r c e   q u o t a s   a r e   a   t o o l   f o r   a d m i n i s t r a t o r s   t o   a d d r e s s   t h i s   c o n c e r n .   A   r e s o u r c e   q u o t a ,   d e f i n e d   b y   a   R e s o u r c e Q u o t a   o b j e c t ,   p r o v i d e s   c o n s t r a i n t s   t h a t   l i m i t   a g g r e g a t e   r e s o u r c e   c o n s u m p t i o n   p e r   n a m e s p a c e .   A   R e s o u r c e Q u o t a   c a n   a l s o   l i m i t   t h e   q u a n t i t y   o f   o b j e c t s   t h a t   c a n   b e   c r e a t e d   i n   a   n a m e s p a c e   b y   A P I   k i n d ,   a s   w e l l   a s   t h e   t o t a l   a m o u n t   o f   i n f r a s t r u c t u r e   r e s o u r c e s   t h a t   m a y   b e   c o n s u m e d   b y   A P I   o b j e c t s   f o u n d   i n   t h a t   n a m e s p a c e .


Question: What is How Kubernetes ResourceQuotas work?

Answer: R e s o u r c e Q u o t a s   w o r k   l i k e   t h i s :   D i f f e r e n t   t e a m s   w o r k   i n   d i f f e r e n t   n a m e s p a c e s .   T h i s   s e p a r a t i o n   c a n   b e   e n f o r c e d   w i t h   R B A C   o r   a n y   o t h e r   a u t h o r i z a t i o n   m e c h a n i s m . A   c l u s t e r   a d m i n i s t r a t o r   c r e a t e s   a t   l e a s t   o n e   R e s o u r c e Q u o t a   f o r   e a c h   n a m e s p a c e . T o   m a k e   s u r e   t h e   e n f o r c e m e n t   s t a y s   e n f o r c e d ,   t h e   c l u s t e r   a d m i n i s t r a t o r   s h o u l d   a l s o   r e s t r i c t   a c c e s s   t o   d e l e t e   o r   u p d a t e   t h a t   R e s o u r c e Q u o t a ;   f o r   e x a m p l e ,   b y   d e f i n i n g   a   V a l i d a t i n g A d m i s s i o n P o l i c y . U s e r s   c r e a t e   r e s o u r c e s   ( p o d s ,   s e r v i c e s ,   e t c . )   i n   t h e   n a m e s p a c e ,   a n d   t h e   q u o t a   s y s t e m   t r a c k s   u s a g e   t o   e n s u r e   i t   d o e s   n o t   e x c e e d   h a r d   r e s o u r c e   l i m i t s   d e f i n e d   i n   a   R e s o u r c e Q u o t a . Y o u   c a n   a p p l y   a   s c o p e   t o   a   R e s o u r c e Q u o t a   t o   l i m i t   w h e r e   i t   a p p l i e s , I f   c r e a t i n g   o r   u p d a t i n g   a   r e s o u r c e   v i o l a t e s   a   q u o t a   c o n s t r a i n t ,   t h e   c o n t r o l   p l a n e   r e j e c t s   t h a t   r e q u e s t   w i t h   H T T P   s t a t u s   c o d e   4 0 3   F o r b i d d e n .   T h e   e r r o r   i n c l u d e s   a   m e s s a g e   e x p l a i n i n g   t h e   c o n s t r a i n t   t h a t   w o u l d   h a v e   b e e n   v i o l a t e d . I f   q u o t a s   a r e   e n a b l e d   i n   a   n a m e s p a c e   f o r   r e s o u r c e   s u c h   a s   c p u   a n d   m e m o r y ,   u s e r s   m u s t   s p e c i f y   r e q u e s t s   o r   l i


Question: What is Note:?

Answer: Y o u   c a n   d e f i n e   a   L i m i t R a n g e   t o   f o r c e   d e f a u l t s   o n   p o d s   t h a t   m a k e   n o   c o m p u t e   r e s o u r c e   r e q u i r e m e n t s   ( s o   t h a t   u s e r s   d o n ' t   h a v e   t o   r e m e m b e r   t o   d o   t h a t ) .   Y o u   o f t e n   d o   n o t   c r e a t e   P o d s   d i r e c t l y ;   f o r   e x a m p l e ,   y o u   m o r e   u s u a l l y   c r e a t e   a   w o r k l o a d   m a n a g e m e n t   o b j e c t   s u c h   a s   a   D e p l o y m e n t .   I f   y o u   c r e a t e   a   D e p l o y m e n t   t h a t   t r i e s   t o   u s e   m o r e   r e s o u r c e s   t h a n   a r e   a v a i l a b l e ,   t h e   c r e a t i o n   o f   t h e   D e p l o y m e n t   ( o r   o t h e r   w o r k l o a d   m a n a g e m e n t   o b j e c t )   s u c c e e d s ,   b u t   t h e   D e p l o y m e n t   m a y   n o t   b e   a b l e   t o   g e t   a l l   o f   t h e   P o d s   i t   m a n a g e s   t o   e x i s t .   I n   t h a t   c a s e   y o u   c a n   c h e c k   t h e   s t a t u s   o f   t h e   D e p l o y m e n t ,   f o r   e x a m p l e   w i t h   k u b e c t l   d e s c r i b e ,   t o   s e e   w h a t   h a s   h a p p e n e d .   F o r   c p u   a n d   m e m o r y   r e s o u r c e s ,   R e s o u r c e Q u o t a s   e n f o r c e   t h a t   e v e r y   ( n e w )   p o d   i n   t h a t   n a m e s p a c e   s e t s   a   l i m i t   f o r   t h a t   r e s o u r c e .   I f   y o u   e n f o r c e   a   r e s o u r c e   q u o t a   i n   a   n a m e s p a c e   f o r   e i t h e r   c p u   o r   m e m o r y ,   y o u   a n d   o t h e r   c l i e n t s ,   m u s t   s p e c i f y   e i t h e r   r e q u e s t s   o r   l i m i t s   f o r   t h a t   r e s o u r c e ,   f o r   e v e r y   n e w   P o d   y o u   s u b m i t .   I f   y o u   d o n ' t ,   t h e   c o n t r o l   p l a n e   m a y   r e j e c t   a d m i s s i o n   f o r   t h a t


Question: What is Enabling Resource Quota?

Answer: R e s o u r c e Q u o t a   s u p p o r t   i s   e n a b l e d   b y   d e f a u l t   f o r   m a n y   K u b e r n e t e s   d i s t r i b u t i o n s .   I t   i s   e n a b l e d   w h e n   t h e   A P I   s e r v e r   - - e n a b l e - a d m i s s i o n - p l u g i n s =   f l a g   h a s   R e s o u r c e Q u o t a   a s   o n e   o f   i t s   a r g u m e n t s .   A   r e s o u r c e   q u o t a   i s   e n f o r c e d   i n   a   p a r t i c u l a r   n a m e s p a c e   w h e n   t h e r e   i s   a   R e s o u r c e Q u o t a   i n   t h a t   n a m e s p a c e .


Question: What is Types of resource quota?

Answer: T h e   R e s o u r c e Q u o t a   m e c h a n i s m   l e t s   y o u   e n f o r c e   d i f f e r e n t   k i n d s   o f   l i m i t s .   T h i s   s e c t i o n   d e s c r i b e s   t h e   t y p e s   o f   l i m i t   t h a t   y o u   c a n   e n f o r c e .


Question: What is Quota for infrastructure resources?

Answer: Y o u   c a n   l i m i t   t h e   t o t a l   s u m   o f   c o m p u t e   r e s o u r c e s   t h a t   c a n   b e   r e q u e s t e d   i n   a   g i v e n   n a m e s p a c e .   T h e   f o l l o w i n g   r e s o u r c e   t y p e s   a r e   s u p p o r t e d :


Question: What is Quota for extended resources?

Answer: I n   a d d i t i o n   t o   t h e   r e s o u r c e s   m e n t i o n e d   a b o v e ,   i n   r e l e a s e   1 . 1 0 ,   q u o t a   s u p p o r t   f o r   e x t e n d e d   r e s o u r c e s   i s   a d d e d .   A s   o v e r c o m m i t   i s   n o t   a l l o w e d   f o r   e x t e n d e d   r e s o u r c e s ,   i t   m a k e s   n o   s e n s e   t o   s p e c i f y   b o t h   r e q u e s t s   a n d   l i m i t s   f o r   t h e   s a m e   e x t e n d e d   r e s o u r c e   i n   a   q u o t a .   S o   f o r   e x t e n d e d   r e s o u r c e s ,   o n l y   q u o t a   i t e m s   w i t h   p r e f i x   r e q u e s t s .   a r e   a l l o w e d .   T a k e   t h e   G P U   r e s o u r c e   a s   a n   e x a m p l e ,   i f   t h e   r e s o u r c e   n a m e   i s   n v i d i a . c o m / g p u ,   a n d   y o u   w a n t   t o   l i m i t   t h e   t o t a l   n u m b e r   o f   G P U s   r e q u e s t e d   i n   a   n a m e s p a c e   t o   4 ,   y o u   c a n   d e f i n e   a   q u o t a   a s   f o l l o w s :   r e q u e s t s . n v i d i a . c o m / g p u :   4   S e e   V i e w i n g   a n d   S e t t i n g   Q u o t a s   f o r   m o r e   d e t a i l s .


Question: What is Quota for storage?

Answer: Y o u   c a n   l i m i t   t h e   t o t a l   s u m   o f   s t o r a g e   f o r   v o l u m e s   t h a t   c a n   b e   r e q u e s t e d   i n   a   g i v e n   n a m e s p a c e .   I n   a d d i t i o n ,   y o u   c a n   l i m i t   c o n s u m p t i o n   o f   s t o r a g e   r e s o u r c e s   b a s e d   o n   a s s o c i a t e d   S t o r a g e C l a s s .   F o r   e x a m p l e ,   i f   y o u   w a n t   t o   q u o t a   s t o r a g e   w i t h   g o l d   S t o r a g e C l a s s   s e p a r a t e   f r o m   a   b r o n z e   S t o r a g e C l a s s ,   y o u   c a n   d e f i n e   a   q u o t a   a s   f o l l o w s :   g o l d . s t o r a g e c l a s s . s t o r a g e . k 8 s . i o / r e q u e s t s . s t o r a g e :   5 0 0 G i b r o n z e . s t o r a g e c l a s s . s t o r a g e . k 8 s . i o / r e q u e s t s . s t o r a g e :   1 0 0 G i


Question: What is Note:?

Answer: W h e n   u s i n g   a   C R I   c o n t a i n e r   r u n t i m e ,   c o n t a i n e r   l o g s   w i l l   c o u n t   a g a i n s t   t h e   e p h e m e r a l   s t o r a g e   q u o t a .   T h i s   c a n   r e s u l t   i n   t h e   u n e x p e c t e d   e v i c t i o n   o f   p o d s   t h a t   h a v e   e x h a u s t e d   t h e i r   s t o r a g e   q u o t a s .   R e f e r   t o   L o g g i n g   A r c h i t e c t u r e   f o r   d e t a i l s .


Question: What is Quota on object count?

Answer: Y o u   c a n   s e t   q u o t a   f o r   t h e   t o t a l   n u m b e r   o f   o n e   p a r t i c u l a r   r e s o u r c e   k i n d   i n   t h e   K u b e r n e t e s   A P I ,   u s i n g   t h e   f o l l o w i n g   s y n t a x :   c o u n t / < r e s o u r c e > . < g r o u p >   f o r   r e s o u r c e s   f r o m   n o n - c o r e   A P I   g r o u p s c o u n t / < r e s o u r c e >   f o r   r e s o u r c e s   f r o m   t h e   c o r e   A P I   g r o u p   F o r   e x a m p l e ,   t h e   P o d T e m p l a t e   A P I   i s   i n   t h e   c o r e   A P I   g r o u p   a n d   s o   i f   y o u   w a n t   t o   l i m i t   t h e   n u m b e r   o f   P o d T e m p l a t e   o b j e c t s   i n   a   n a m e s p a c e ,   y o u   u s e   c o u n t / p o d t e m p l a t e s .   T h e s e   t y p e s   o f   q u o t a s   a r e   u s e f u l   t o   p r o t e c t   a g a i n s t   e x h a u s t i o n   o f   c o n t r o l   p l a n e   s t o r a g e .   F o r   e x a m p l e ,   y o u   m a y   w a n t   t o   l i m i t   t h e   n u m b e r   o f   S e c r e t s   i n   a   s e r v e r   g i v e n   t h e i r   l a r g e   s i z e .   T o o   m a n y   S e c r e t s   i n   a   c l u s t e r   c a n   a c t u a l l y   p r e v e n t   s e r v e r s   a n d   c o n t r o l l e r s   f r o m   s t a r t i n g .   Y o u   c a n   s e t   a   q u o t a   f o r   J o b s   t o   p r o t e c t   a g a i n s t   a   p o o r l y   c o n f i g u r e d   C r o n J o b .   C r o n J o b s   t h a t   c r e a t e   t o o   m a n y   J o b s   i n   a   n a m e s p a c e   c a n   l e a d   t o   a   d e n i a l   o f   s e r v i c e .   I f   y o u   d e f i n e   a   q u o t a   t h i s   w a y ,   i t   a p p l i e s   t o   K u b e r n e t e s '   A P I s   t h a t   a r e   p a r t   o f   t h e   A P I   s e r v e r ,   a n d   t o   a n y   c u s t o m   r e s o u r c e s   b a c k e d   b y   a   C u s t o m R e s o u r c e D e f i n i t i o n .   F o


Question: What is Generic syntax?

Answer: T h i s   i s   a   l i s t   o f   c o m m o n   e x a m p l e s   o f   o b j e c t   k i n d s   t h a t   y o u   m a y   w a n t   t o   p u t   u n d e r   o b j e c t   c o u n t   q u o t a ,   l i s t e d   b y   t h e   c o n f i g u r a t i o n   s t r i n g   t h a t   y o u   w o u l d   u s e .   c o u n t / p o d s c o u n t / p e r s i s t e n t v o l u m e c l a i m s c o u n t / s e r v i c e s c o u n t / s e c r e t s c o u n t / c o n f i g m a p s c o u n t / d e p l o y m e n t s . a p p s c o u n t / r e p l i c a s e t s . a p p s c o u n t / s t a t e f u l s e t s . a p p s c o u n t / j o b s . b a t c h c o u n t / c r o n j o b s . b a t c h


Question: What is Specialized syntax?

Answer: T h e r e   i s   a n o t h e r   s y n t a x   o n l y   t o   s e t   t h e   s a m e   t y p e   o f   q u o t a ,   t h a t   o n l y   w o r k s   f o r   c e r t a i n   A P I   k i n d s .   T h e   f o l l o w i n g   t y p e s   a r e   s u p p o r t e d :   F o r   e x a m p l e ,   p o d s   q u o t a   c o u n t s   a n d   e n f o r c e s   a   m a x i m u m   o n   t h e   n u m b e r   o f   p o d s   c r e a t e d   i n   a   s i n g l e   n a m e s p a c e   t h a t   a r e   n o t   t e r m i n a l .   Y o u   m i g h t   w a n t   t o   s e t   a   p o d s   q u o t a   o n   a   n a m e s p a c e   t o   a v o i d   t h e   c a s e   w h e r e   a   u s e r   c r e a t e s   m a n y   s m a l l   p o d s   a n d   e x h a u s t s   t h e   c l u s t e r ' s   s u p p l y   o f   P o d   I P s .   Y o u   c a n   f i n d   m o r e   e x a m p l e s   o n   V i e w i n g   a n d   S e t t i n g   Q u o t a s .


Question: What is Quota Scopes?

Answer: E a c h   q u o t a   c a n   h a v e   a n   a s s o c i a t e d   s e t   o f   s c o p e s .   A   q u o t a   w i l l   o n l y   m e a s u r e   u s a g e   f o r   a   r e s o u r c e   i f   i t   m a t c h e s   t h e   i n t e r s e c t i o n   o f   e n u m e r a t e d   s c o p e s .   W h e n   a   s c o p e   i s   a d d e d   t o   t h e   q u o t a ,   i t   l i m i t s   t h e   n u m b e r   o f   r e s o u r c e s   i t   s u p p o r t s   t o   t h o s e   t h a t   p e r t a i n   t o   t h e   s c o p e .   R e s o u r c e s   s p e c i f i e d   o n   t h e   q u o t a   o u t s i d e   o f   t h e   a l l o w e d   s e t   r e s u l t s   i n   a   v a l i d a t i o n   e r r o r .   T h e   B e s t E f f o r t   s c o p e   r e s t r i c t s   a   q u o t a   t o   t r a c k i n g   t h e   f o l l o w i n g   r e s o u r c e :   p o d s   T h e   T e r m i n a t i n g ,   N o t T e r m i n a t i n g ,   N o t B e s t E f f o r t   a n d   P r i o r i t y C l a s s   s c o p e s   r e s t r i c t   a   q u o t a   t o   t r a c k i n g   t h e   f o l l o w i n g   r e s o u r c e s :   p o d s c p u m e m o r y r e q u e s t s . c p u r e q u e s t s . m e m o r y l i m i t s . c p u l i m i t s . m e m o r y   N o t e   t h a t   y o u   c a n n o t   s p e c i f y   b o t h   t h e   T e r m i n a t i n g   a n d   t h e   N o t T e r m i n a t i n g   s c o p e s   i n   t h e   s a m e   q u o t a ,   a n d   y o u   c a n n o t   s p e c i f y   b o t h   t h e   B e s t E f f o r t   a n d   N o t B e s t E f f o r t   s c o p e s   i n   t h e   s a m e   q u o t a   e i t h e r .   T h e   s c o p e S e l e c t o r   s u p p o r t s   t h e   f o l l o w i n g   v a l u e s   i n   t h e   o p e r a t o r   f i e l d :   I n N o t I n E x i s t s D o e s N o t E x i s t   W h e n   u s i n g   o n e   o f   t h e   f o l l o w i n g   v a l u e s   a s   t h e   s c o p e N a m e   w h e n   d e f i n i n g   t h e   s c o p e S e l


Question: What is Resource Quota Per PriorityClass?

Answer: P o d s   c a n   b e   c r e a t e d   a t   a   s p e c i f i c   p r i o r i t y .   Y o u   c a n   c o n t r o l   a   p o d ' s   c o n s u m p t i o n   o f   s y s t e m   r e s o u r c e s   b a s e d   o n   a   p o d ' s   p r i o r i t y ,   b y   u s i n g   t h e   s c o p e S e l e c t o r   f i e l d   i n   t h e   q u o t a   s p e c .   A   q u o t a   i s   m a t c h e d   a n d   c o n s u m e d   o n l y   i f   s c o p e S e l e c t o r   i n   t h e   q u o t a   s p e c   s e l e c t s   t h e   p o d .   W h e n   q u o t a   i s   s c o p e d   f o r   p r i o r i t y   c l a s s   u s i n g   s c o p e S e l e c t o r   f i e l d ,   q u o t a   o b j e c t   i s   r e s t r i c t e d   t o   t r a c k   o n l y   f o l l o w i n g   r e s o u r c e s :   p o d s c p u m e m o r y e p h e m e r a l - s t o r a g e l i m i t s . c p u l i m i t s . m e m o r y l i m i t s . e p h e m e r a l - s t o r a g e r e q u e s t s . c p u r e q u e s t s . m e m o r y r e q u e s t s . e p h e m e r a l - s t o r a g e   T h i s   e x a m p l e   c r e a t e s   a   q u o t a   o b j e c t   a n d   m a t c h e s   i t   w i t h   p o d s   a t   s p e c i f i c   p r i o r i t i e s .   T h e   e x a m p l e   w o r k s   a s   f o l l o w s :   P o d s   i n   t h e   c l u s t e r   h a v e   o n e   o f   t h e   t h r e e   p r i o r i t y   c l a s s e s ,   " l o w " ,   " m e d i u m " ,   " h i g h " . O n e   q u o t a   o b j e c t   i s   c r e a t e d   f o r   e a c h   p r i o r i t y .   S a v e   t h e   f o l l o w i n g   Y A M L   t o   a   f i l e   q u o t a . y a m l .   a p i V e r s i o n :   v 1   k i n d :   L i s t   i t e m s :   -   a p i V e r s i o n :   v 1   k i n d :   R e s o u r c e Q u o t a   m e t a d a t a :   n a m e :   p o d s - h i g h   s p e c :   h a r d :   c p u :   " 1 0 0 0 "   m e m o r y :   " 2 0 0 G i "   p o d s :   " 1 0 "   s c o p e S e l e c t o r :   m a t c h E x p r e s s i o n s :


Question: What is Cross-namespace Pod Affinity Quota?

Answer: O p e r a t o r s   c a n   u s e   C r o s s N a m e s p a c e P o d A f f i n i t y   q u o t a   s c o p e   t o   l i m i t   w h i c h   n a m e s p a c e s   a r e   a l l o w e d   t o   h a v e   p o d s   w i t h   a f f i n i t y   t e r m s   t h a t   c r o s s   n a m e s p a c e s .   S p e c i f i c a l l y ,   i t   c o n t r o l s   w h i c h   p o d s   a r e   a l l o w e d   t o   s e t   n a m e s p a c e s   o r   n a m e s p a c e S e l e c t o r   f i e l d s   i n   p o d   a f f i n i t y   t e r m s .   P r e v e n t i n g   u s e r s   f r o m   u s i n g   c r o s s - n a m e s p a c e   a f f i n i t y   t e r m s   m i g h t   b e   d e s i r e d   s i n c e   a   p o d   w i t h   a n t i - a f f i n i t y   c o n s t r a i n t s   c a n   b l o c k   p o d s   f r o m   a l l   o t h e r   n a m e s p a c e s   f r o m   g e t t i n g   s c h e d u l e d   i n   a   f a i l u r e   d o m a i n .   U s i n g   t h i s   s c o p e   o p e r a t o r s   c a n   p r e v e n t   c e r t a i n   n a m e s p a c e s   ( f o o - n s   i n   t h e   e x a m p l e   b e l o w )   f r o m   h a v i n g   p o d s   t h a t   u s e   c r o s s - n a m e s p a c e   p o d   a f f i n i t y   b y   c r e a t i n g   a   r e s o u r c e   q u o t a   o b j e c t   i n   t h a t   n a m e s p a c e   w i t h   C r o s s N a m e s p a c e P o d A f f i n i t y   s c o p e   a n d   h a r d   l i m i t   o f   0 :   a p i V e r s i o n :   v 1   k i n d :   R e s o u r c e Q u o t a   m e t a d a t a :   n a m e :   d i s a b l e - c r o s s - n a m e s p a c e - a f f i n i t y   n a m e s p a c e :   f o o - n s   s p e c :   h a r d :   p o d s :   " 0 "   s c o p e S e l e c t o r :   m a t c h E x p r e s s i o n s :   -   s c o p e N a m e :   C r o s s N a m e s p a c e P o d A f f i n i t y   o p e r a t o r :   E x i s t s   I f   o p e r a t o r s   w a n t   t o   d i s a l l o w   u s i n g   n a m e s p a c e s   a n d   n a m e s p a c e


Question: What is Resource Quota Per VolumeAttributesClass?

Answer: P e r s i s t e n t V o l u m e C l a i m s   c a n   b e   c r e a t e d   w i t h   a   s p e c i f i c   v o l u m e   a t t r i b u t e s   c l a s s ,   a n d   m i g h t   b e   m o d i f i e d   a f t e r   c r e a t i o n .   Y o u   c a n   c o n t r o l   a   P V C ' s   c o n s u m p t i o n   o f   s t o r a g e   r e s o u r c e s   b a s e d   o n   t h e   a s s o c i a t e d   v o l u m e   a t t r i b u t e s   c l a s s e s ,   b y   u s i n g   t h e   s c o p e S e l e c t o r   f i e l d   i n   t h e   q u o t a   s p e c .   T h e   P V C   r e f e r e n c e s   t h e   a s s o c i a t e d   v o l u m e   a t t r i b u t e s   c l a s s   b y   t h e   f o l l o w i n g   f i e l d s :   s p e c . v o l u m e A t t r i b u t e s C l a s s N a m e s t a t u s . c u r r e n t V o l u m e A t t r i b u t e s C l a s s N a m e s t a t u s . m o d i f y V o l u m e S t a t u s . t a r g e t V o l u m e A t t r i b u t e s C l a s s N a m e   A   q u o t a   i s   m a t c h e d   a n d   c o n s u m e d   o n l y   i f   s c o p e S e l e c t o r   i n   t h e   q u o t a   s p e c   s e l e c t s   t h e   P V C .   W h e n   t h e   q u o t a   i s   s c o p e d   f o r   t h e   v o l u m e   a t t r i b u t e s   c l a s s   u s i n g   t h e   s c o p e S e l e c t o r   f i e l d ,   t h e   q u o t a   o b j e c t   i s   r e s t r i c t e d   t o   t r a c k   o n l y   t h e   f o l l o w i n g   r e s o u r c e s :   p e r s i s t e n t v o l u m e c l a i m s r e q u e s t s . s t o r a g e   T h i s   e x a m p l e   c r e a t e s   a   q u o t a   o b j e c t   a n d   m a t c h e s   i t   w i t h   P V C   a t   s p e c i f i c   v o l u m e   a t t r i b u t e s   c l a s s e s .   T h e   e x a m p l e   w o r k s   a s   f o l l o w s :   P V C s   i n   t h e   c l u s t e r   h a v e   a t   l e a s t   o n e   o f   t h e   t h r e e   v o l u m e   a t t r i b u t e s   c l a s s e s ,   " g o l d " ,   " s i l v e r " ,   " c


Question: What is Requests compared to Limits?

Answer: W h e n   a l l o c a t i n g   c o m p u t e   r e s o u r c e s ,   e a c h   c o n t a i n e r   m a y   s p e c i f y   a   r e q u e s t   a n d   a   l i m i t   v a l u e   f o r   e i t h e r   C P U   o r   m e m o r y .   T h e   q u o t a   c a n   b e   c o n f i g u r e d   t o   q u o t a   e i t h e r   v a l u e .   I f   t h e   q u o t a   h a s   a   v a l u e   s p e c i f i e d   f o r   r e q u e s t s . c p u   o r   r e q u e s t s . m e m o r y ,   t h e n   i t   r e q u i r e s   t h a t   e v e r y   i n c o m i n g   c o n t a i n e r   m a k e s   a n   e x p l i c i t   r e q u e s t   f o r   t h o s e   r e s o u r c e s .   I f   t h e   q u o t a   h a s   a   v a l u e   s p e c i f i e d   f o r   l i m i t s . c p u   o r   l i m i t s . m e m o r y ,   t h e n   i t   r e q u i r e s   t h a t   e v e r y   i n c o m i n g   c o n t a i n e r   s p e c i f i e s   a n   e x p l i c i t   l i m i t   f o r   t h o s e   r e s o u r c e s .


Question: What is Viewing and Setting Quotas?

Answer: k u b e c t l   s u p p o r t s   c r e a t i n g ,   u p d a t i n g ,   a n d   v i e w i n g   q u o t a s :   k u b e c t l   c r e a t e   n a m e s p a c e   m y s p a c e   c a t   < < E O F   >   c o m p u t e - r e s o u r c e s . y a m l   a p i V e r s i o n :   v 1   k i n d :   R e s o u r c e Q u o t a   m e t a d a t a :   n a m e :   c o m p u t e - r e s o u r c e s   s p e c :   h a r d :   r e q u e s t s . c p u :   " 1 "   r e q u e s t s . m e m o r y :   " 1 G i "   l i m i t s . c p u :   " 2 "   l i m i t s . m e m o r y :   " 2 G i "   r e q u e s t s . n v i d i a . c o m / g p u :   4   E O F   k u b e c t l   c r e a t e   - f   . / c o m p u t e - r e s o u r c e s . y a m l   - - n a m e s p a c e = m y s p a c e   c a t   < < E O F   >   o b j e c t - c o u n t s . y a m l   a p i V e r s i o n :   v 1   k i n d :   R e s o u r c e Q u o t a   m e t a d a t a :   n a m e :   o b j e c t - c o u n t s   s p e c :   h a r d :   c o n f i g m a p s :   " 1 0 "   p e r s i s t e n t v o l u m e c l a i m s :   " 4 "   p o d s :   " 4 "   r e p l i c a t i o n c o n t r o l l e r s :   " 2 0 "   s e c r e t s :   " 1 0 "   s e r v i c e s :   " 1 0 "   s e r v i c e s . l o a d b a l a n c e r s :   " 2 "   E O F   k u b e c t l   c r e a t e   - f   . / o b j e c t - c o u n t s . y a m l   - - n a m e s p a c e = m y s p a c e   k u b e c t l   g e t   q u o t a   - - n a m e s p a c e = m y s p a c e   N A M E   A G E   c o m p u t e - r e s o u r c e s   3 0 s   o b j e c t - c o u n t s   3 2 s   k u b e c t l   d e s c r i b e   q u o t a   c o m p u t e - r e s o u r c e s   - - n a m e s p a c e = m y s p a c e   N a m e :   c o m p u t e - r e s o u r c e s   N a m e s p a c e :   m y s p a c e   R e s o u r c e   U s e d   H a r d   - - - - - - - -   - - - -   - - - -   l i m i t s . c p u   0   2   l i m i t s . m e m o r y   0   2 G i   r e q u e s t s . c p u   0   1   r e q u e s t s . m e m o r y   0   1 G i   r e q u e s t


Question: What is Quota and Cluster Capacity?

Answer: R e s o u r c e Q u o t a s   a r e   i n d e p e n d e n t   o f   t h e   c l u s t e r   c a p a c i t y .   T h e y   a r e   e x p r e s s e d   i n   a b s o l u t e   u n i t s .   S o ,   i f   y o u   a d d   n o d e s   t o   y o u r   c l u s t e r ,   t h i s   d o e s   n o t   a u t o m a t i c a l l y   g i v e   e a c h   n a m e s p a c e   t h e   a b i l i t y   t o   c o n s u m e   m o r e   r e s o u r c e s .   S o m e t i m e s   m o r e   c o m p l e x   p o l i c i e s   m a y   b e   d e s i r e d ,   s u c h   a s :   P r o p o r t i o n a l l y   d i v i d e   t o t a l   c l u s t e r   r e s o u r c e s   a m o n g   s e v e r a l   t e a m s . A l l o w   e a c h   t e n a n t   t o   g r o w   r e s o u r c e   u s a g e   a s   n e e d e d ,   b u t   h a v e   a   g e n e r o u s   l i m i t   t o   p r e v e n t   a c c i d e n t a l   r e s o u r c e   e x h a u s t i o n . D e t e c t   d e m a n d   f r o m   o n e   n a m e s p a c e ,   a d d   n o d e s ,   a n d   i n c r e a s e   q u o t a .   S u c h   p o l i c i e s   c o u l d   b e   i m p l e m e n t e d   u s i n g   R e s o u r c e Q u o t a s   a s   b u i l d i n g   b l o c k s ,   b y   w r i t i n g   a   " c o n t r o l l e r "   t h a t   w a t c h e s   t h e   q u o t a   u s a g e   a n d   a d j u s t s   t h e   q u o t a   h a r d   l i m i t s   o f   e a c h   n a m e s p a c e   a c c o r d i n g   t o   o t h e r   s i g n a l s .   N o t e   t h a t   r e s o u r c e   q u o t a   d i v i d e s   u p   a g g r e g a t e   c l u s t e r   r e s o u r c e s ,   b u t   i t   c r e a t e s   n o   r e s t r i c t i o n s   a r o u n d   n o d e s :   p o d s   f r o m   s e v e r a l   n a m e s p a c e s   m a y   r u n   o n   t h e   s a m e   n o d e .


Question: What is Limit Priority Class consumption by default?

Answer: I t   m a y   b e   d e s i r e d   t h a t   p o d s   a t   a   p a r t i c u l a r   p r i o r i t y ,   s u c h   a s   " c l u s t e r - s e r v i c e s " ,   s h o u l d   b e   a l l o w e d   i n   a   n a m e s p a c e ,   i f   a n d   o n l y   i f ,   a   m a t c h i n g   q u o t a   o b j e c t   e x i s t s .   W i t h   t h i s   m e c h a n i s m ,   o p e r a t o r s   a r e   a b l e   t o   r e s t r i c t   u s a g e   o f   c e r t a i n   h i g h   p r i o r i t y   c l a s s e s   t o   a   l i m i t e d   n u m b e r   o f   n a m e s p a c e s   a n d   n o t   e v e r y   n a m e s p a c e   w i l l   b e   a b l e   t o   c o n s u m e   t h e s e   p r i o r i t y   c l a s s e s   b y   d e f a u l t .   T o   e n f o r c e   t h i s ,   k u b e - a p i s e r v e r   f l a g   - - a d m i s s i o n - c o n t r o l - c o n f i g - f i l e   s h o u l d   b e   u s e d   t o   p a s s   p a t h   t o   t h e   f o l l o w i n g   c o n f i g u r a t i o n   f i l e :   a p i V e r s i o n :   a p i s e r v e r . c o n f i g . k 8 s . i o / v 1   k i n d :   A d m i s s i o n C o n f i g u r a t i o n   p l u g i n s :   -   n a m e :   " R e s o u r c e Q u o t a "   c o n f i g u r a t i o n :   a p i V e r s i o n :   a p i s e r v e r . c o n f i g . k 8 s . i o / v 1   k i n d :   R e s o u r c e Q u o t a C o n f i g u r a t i o n   l i m i t e d R e s o u r c e s :   -   r e s o u r c e :   p o d s   m a t c h S c o p e s :   -   s c o p e N a m e :   P r i o r i t y C l a s s   o p e r a t o r :   I n   v a l u e s :   [ " c l u s t e r - s e r v i c e s " ]   T h e n ,   c r e a t e   a   r e s o u r c e   q u o t a   o b j e c t   i n   t h e   k u b e - s y s t e m   n a m e s p a c e :   a p i V e r s i o n :   v 1   k i n d :   R e s o u r c e Q u o t a   m e t a d a t a :   n a m e :   p o d s - c l u s t e r - s e r v i c e s   s p e c :   s c o p e S e l e c t o r :   m a t c h E x p r e s s i o n s :   -   o p e r a t o r


Question: What is What's next?

Answer: S e e   a   d e t a i l e d   e x a m p l e   f o r   h o w   t o   u s e   r e s o u r c e   q u o t a . R e a d   t h e   R e s o u r c e Q u o t a   A P I   r e f e r e n c e L e a r n   a b o u t   L i m i t R a n g e s Y o u   c a n   r e a d   t h e   h i s t o r i c a l   R e s o u r c e Q u o t a   d e s i g n   d o c u m e n t   f o r   m o r e   i n f o r m a t i o n . Y o u   c a n   a l s o   r e a d   t h e   Q u o t a   s u p p o r t   f o r   p r i o r i t y   c l a s s   d e s i g n   d o c u m e n t .


Question: What is 9.3 - Process ID Limits And Reservations?

Answer: K u b e r n e t e s   a l l o w   y o u   t o   l i m i t   t h e   n u m b e r   o f   p r o c e s s   I D s   ( P I D s )   t h a t   a   P o d   c a n   u s e .   Y o u   c a n   a l s o   r e s e r v e   a   n u m b e r   o f   a l l o c a t a b l e   P I D s   f o r   e a c h   n o d e   f o r   u s e   b y   t h e   o p e r a t i n g   s y s t e m   a n d   d a e m o n s   ( r a t h e r   t h a n   b y   P o d s ) .   P r o c e s s   I D s   ( P I D s )   a r e   a   f u n d a m e n t a l   r e s o u r c e   o n   n o d e s .   I t   i s   t r i v i a l   t o   h i t   t h e   t a s k   l i m i t   w i t h o u t   h i t t i n g   a n y   o t h e r   r e s o u r c e   l i m i t s ,   w h i c h   c a n   t h e n   c a u s e   i n s t a b i l i t y   t o   a   h o s t   m a c h i n e .   C l u s t e r   a d m i n i s t r a t o r s   r e q u i r e   m e c h a n i s m s   t o   e n s u r e   t h a t   P o d s   r u n n i n g   i n   t h e   c l u s t e r   c a n n o t   i n d u c e   P I D   e x h a u s t i o n   t h a t   p r e v e n t s   h o s t   d a e m o n s   ( s u c h   a s   t h e   k u b e l e t   o r   k u b e - p r o x y ,   a n d   p o t e n t i a l l y   a l s o   t h e   c o n t a i n e r   r u n t i m e )   f r o m   r u n n i n g .   I n   a d d i t i o n ,   i t   i s   i m p o r t a n t   t o   e n s u r e   t h a t   P I D s   a r e   l i m i t e d   a m o n g   P o d s   i n   o r d e r   t o   e n s u r e   t h e y   h a v e   l i m i t e d   i m p a c t   o n   o t h e r   w o r k l o a d s   o n   t h e   s a m e   n o d e .


Question: What is Note:?

Answer: Y o u   c a n   c o n f i g u r e   a   k u b e l e t   t o   l i m i t   t h e   n u m b e r   o f   P I D s   a   g i v e n   P o d   c a n   c o n s u m e .   F o r   e x a m p l e ,   i f   y o u r   n o d e ' s   h o s t   O S   i s   s e t   t o   u s e   a   m a x i m u m   o f   2 6 2 1 4 4   P I D s   a n d   e x p e c t   t o   h o s t   l e s s   t h a n   2 5 0   P o d s ,   o n e   c a n   g i v e   e a c h   P o d   a   b u d g e t   o f   1 0 0 0   P I D s   t o   p r e v e n t   u s i n g   u p   t h a t   n o d e ' s   o v e r a l l   n u m b e r   o f   a v a i l a b l e   P I D s .   I f   t h e   a d m i n   w a n t s   t o   o v e r c o m m i t   P I D s   s i m i l a r   t o   C P U   o r   m e m o r y ,   t h e y   m a y   d o   s o   a s   w e l l   w i t h   s o m e   a d d i t i o n a l   r i s k s .   E i t h e r   w a y ,   a   s i n g l e   P o d   w i l l   n o t   b e   a b l e   t o   b r i n g   t h e   w h o l e   m a c h i n e   d o w n .   T h i s   k i n d   o f   r e s o u r c e   l i m i t i n g   h e l p s   t o   p r e v e n t   s i m p l e   f o r k   b o m b s   f r o m   a f f e c t i n g   o p e r a t i o n   o f   a n   e n t i r e   c l u s t e r .   P e r - P o d   P I D   l i m i t i n g   a l l o w s   a d m i n i s t r a t o r s   t o   p r o t e c t   o n e   P o d   f r o m   a n o t h e r ,   b u t   d o e s   n o t   e n s u r e   t h a t   a l l   P o d s   s c h e d u l e d   o n t o   t h a t   h o s t   a r e   u n a b l e   t o   i m p a c t   t h e   n o d e   o v e r a l l .   P e r - P o d   l i m i t i n g   a l s o   d o e s   n o t   p r o t e c t   t h e   n o d e   a g e n t s   t h e m s e l v e s   f r o m   P I D   e x h a u s t i o n .   Y o u   c a n   a l s o   r e s e r v e   a n   a m o u n t   o f   P I D s   f o r   n o d e   o v e r h e a d ,   s e p a r a t e   f r o m   t h e   a l l o c a t i o n   t o   P o d s .   T h i s   i s   s i m i l a r   t o   h o w   y o u   c a n   r e s e


Question: What is Node PID limits?

Answer: K u b e r n e t e s   a l l o w s   y o u   t o   r e s e r v e   a   n u m b e r   o f   p r o c e s s   I D s   f o r   t h e   s y s t e m   u s e .   T o   c o n f i g u r e   t h e   r e s e r v a t i o n ,   u s e   t h e   p a r a m e t e r   p i d = < n u m b e r >   i n   t h e   - - s y s t e m - r e s e r v e d   a n d   - - k u b e - r e s e r v e d   c o m m a n d   l i n e   o p t i o n s   t o   t h e   k u b e l e t .   T h e   v a l u e   y o u   s p e c i f i e d   d e c l a r e s   t h a t   t h e   s p e c i f i e d   n u m b e r   o f   p r o c e s s   I D s   w i l l   b e   r e s e r v e d   f o r   t h e   s y s t e m   a s   a   w h o l e   a n d   f o r   K u b e r n e t e s   s y s t e m   d a e m o n s   r e s p e c t i v e l y .


Question: What is Pod PID limits?

Answer: K u b e r n e t e s   a l l o w s   y o u   t o   l i m i t   t h e   n u m b e r   o f   p r o c e s s e s   r u n n i n g   i n   a   P o d .   Y o u   s p e c i f y   t h i s   l i m i t   a t   t h e   n o d e   l e v e l ,   r a t h e r   t h a n   c o n f i g u r i n g   i t   a s   a   r e s o u r c e   l i m i t   f o r   a   p a r t i c u l a r   P o d .   E a c h   N o d e   c a n   h a v e   a   d i f f e r e n t   P I D   l i m i t . T o   c o n f i g u r e   t h e   l i m i t ,   y o u   c a n   s p e c i f y   t h e   c o m m a n d   l i n e   p a r a m e t e r   - - p o d - m a x - p i d s   t o   t h e   k u b e l e t ,   o r   s e t   P o d P i d s L i m i t   i n   t h e   k u b e l e t   c o n f i g u r a t i o n   f i l e .


Question: What is PID based eviction?

Answer: Y o u   c a n   c o n f i g u r e   k u b e l e t   t o   s t a r t   t e r m i n a t i n g   a   P o d   w h e n   i t   i s   m i s b e h a v i n g   a n d   c o n s u m i n g   a b n o r m a l   a m o u n t   o f   r e s o u r c e s .   T h i s   f e a t u r e   i s   c a l l e d   e v i c t i o n .   Y o u   c a n   C o n f i g u r e   O u t   o f   R e s o u r c e   H a n d l i n g   f o r   v a r i o u s   e v i c t i o n   s i g n a l s .   U s e   p i d . a v a i l a b l e   e v i c t i o n   s i g n a l   t o   c o n f i g u r e   t h e   t h r e s h o l d   f o r   n u m b e r   o f   P I D s   u s e d   b y   P o d .   Y o u   c a n   s e t   s o f t   a n d   h a r d   e v i c t i o n   p o l i c i e s .   H o w e v e r ,   e v e n   w i t h   t h e   h a r d   e v i c t i o n   p o l i c y ,   i f   t h e   n u m b e r   o f   P I D s   g r o w i n g   v e r y   f a s t ,   n o d e   c a n   s t i l l   g e t   i n t o   u n s t a b l e   s t a t e   b y   h i t t i n g   t h e   n o d e   P I D s   l i m i t .   E v i c t i o n   s i g n a l   v a l u e   i s   c a l c u l a t e d   p e r i o d i c a l l y   a n d   d o e s   N O T   e n f o r c e   t h e   l i m i t .   P I D   l i m i t i n g   -   p e r   P o d   a n d   p e r   N o d e   s e t s   t h e   h a r d   l i m i t .   O n c e   t h e   l i m i t   i s   h i t ,   w o r k l o a d   w i l l   s t a r t   e x p e r i e n c i n g   f a i l u r e s   w h e n   t r y i n g   t o   g e t   a   n e w   P I D .   I t   m a y   o r   m a y   n o t   l e a d   t o   r e s c h e d u l i n g   o f   a   P o d ,   d e p e n d i n g   o n   h o w   w o r k l o a d   r e a c t s   o n   t h e s e   f a i l u r e s   a n d   h o w   l i v e n e s s   a n d   r e a d i n e s s   p r o b e s   a r e   c o n f i g u r e d   f o r   t h e   P o d .   H o w e v e r ,   i f   l i m i t s   w e r e   s e t   c o r r e c t l y ,   y o u   c a n   g u a r a n t e e   t h a t   o t h e r   P o d s   w o r k l o a


Question: What is What's next?

Answer: R e f e r   t o   t h e   P I D   L i m i t i n g   e n h a n c e m e n t   d o c u m e n t   f o r   m o r e   i n f o r m a t i o n . F o r   h i s t o r i c a l   c o n t e x t ,   r e a d   P r o c e s s   I D   L i m i t i n g   f o r   S t a b i l i t y   I m p r o v e m e n t s   i n   K u b e r n e t e s   1 . 1 4 . R e a d   M a n a g i n g   R e s o u r c e s   f o r   C o n t a i n e r s . L e a r n   h o w   t o   C o n f i g u r e   O u t   o f   R e s o u r c e   H a n d l i n g .


Question: What is 9.4 - Node Resource Managers?

Answer: I n   o r d e r   t o   s u p p o r t   l a t e n c y - c r i t i c a l   a n d   h i g h - t h r o u g h p u t   w o r k l o a d s ,   K u b e r n e t e s   o f f e r s   a   s u i t e   o f   R e s o u r c e   M a n a g e r s .   T h e   m a n a g e r s   a i m   t o   c o - o r d i n a t e   a n d   o p t i m i s e   t h e   a l i g n m e n t   o f   n o d e ' s   r e s o u r c e s   f o r   p o d s   c o n f i g u r e d   w i t h   a   s p e c i f i c   r e q u i r e m e n t   f o r   C P U s ,   d e v i c e s ,   a n d   m e m o r y   ( h u g e p a g e s )   r e s o u r c e s .


Question: What is Hardware topology alignment policies?

Answer: T o p o l o g y   M a n a g e r   i s   a   k u b e l e t   c o m p o n e n t   t h a t   a i m s   t o   c o o r d i n a t e   t h e   s e t   o f   c o m p o n e n t s   t h a t   a r e   r e s p o n s i b l e   f o r   t h e s e   o p t i m i z a t i o n s .   T h e   o v e r a l l   r e s o u r c e   m a n a g e m e n t   p r o c e s s   i s   g o v e r n e d   u s i n g   t h e   p o l i c y   y o u   s p e c i f y .   T o   l e a r n   m o r e ,   r e a d   C o n t r o l   T o p o l o g y   M a n a g e m e n t   P o l i c i e s   o n   a   N o d e .


Question: What is Policies for assigning CPUs to Pods?

Answer: O n c e   a   P o d   i s   b o u n d   t o   a   N o d e ,   t h e   k u b e l e t   o n   t h a t   n o d e   m a y   n e e d   t o   e i t h e r   m u l t i p l e x   t h e   e x i s t i n g   h a r d w a r e   ( f o r   e x a m p l e ,   s h a r i n g   C P U s   a c r o s s   m u l t i p l e   P o d s )   o r   a l l o c a t e   h a r d w a r e   b y   d e d i c a t i n g   s o m e   r e s o u r c e   ( f o r   e x a m p l e ,   a s s i g n i n g   o n e   o f   m o r e   C P U s   f o r   a   P o d ' s   e x c l u s i v e   u s e ) .   B y   d e f a u l t ,   t h e   k u b e l e t   u s e s   C F S   q u o t a   t o   e n f o r c e   p o d   C P U   l i m i t s .   W h e n   t h e   n o d e   r u n s   m a n y   C P U - b o u n d   p o d s ,   t h e   w o r k l o a d   c a n   m o v e   t o   d i f f e r e n t   C P U   c o r e s   d e p e n d i n g   o n   w h e t h e r   t h e   p o d   i s   t h r o t t l e d   a n d   w h i c h   C P U   c o r e s   a r e   a v a i l a b l e   a t   s c h e d u l i n g   t i m e .   M a n y   w o r k l o a d s   a r e   n o t   s e n s i t i v e   t o   t h i s   m i g r a t i o n   a n d   t h u s   w o r k   f i n e   w i t h o u t   a n y   i n t e r v e n t i o n .   H o w e v e r ,   i n   w o r k l o a d s   w h e r e   C P U   c a c h e   a f f i n i t y   a n d   s c h e d u l i n g   l a t e n c y   s i g n i f i c a n t l y   a f f e c t   w o r k l o a d   p e r f o r m a n c e ,   t h e   k u b e l e t   a l l o w s   a l t e r n a t i v e   C P U   m a n a g e m e n t   p o l i c i e s   t o   d e t e r m i n e   s o m e   p l a c e m e n t   p r e f e r e n c e s   o n   t h e   n o d e .   T h i s   i s   i m p l e m e n t e d   u s i n g   t h e   C P U   M a n a g e r   a n d   i t s   p o l i c y .   T h e r e   a r e   t w o   a v a i l a b l e   p o l i c i e s :   n o n e :   t h e   n o n e   p o l i c y   e x p l i c i t l y   e n a b l e s   t h e   e x i s t i n g   d e f a u l t   C P U   a f f i


Question: What is Note:?

Answer: C P U   M a n a g e r   d o e s n ' t   s u p p o r t   o f f l i n i n g   a n d   o n l i n i n g   o f   C P U s   a t   r u n t i m e .


Question: What is Static policy?

Answer: T h e   s t a t i c   p o l i c y   e n a b l e s   f i n e r - g r a i n e d   C P U   m a n a g e m e n t   a n d   e x c l u s i v e   C P U   a s s i g n m e n t .   T h i s   p o l i c y   m a n a g e s   a   s h a r e d   p o o l   o f   C P U s   t h a t   i n i t i a l l y   c o n t a i n s   a l l   C P U s   i n   t h e   n o d e .   T h e   a m o u n t   o f   e x c l u s i v e l y   a l l o c a t a b l e   C P U s   i s   e q u a l   t o   t h e   t o t a l   n u m b e r   o f   C P U s   i n   t h e   n o d e   m i n u s   a n y   C P U   r e s e r v a t i o n s   s e t   b y   t h e   k u b e l e t   c o n f i g u r a t i o n .   C P U s   r e s e r v e d   b y   t h e s e   o p t i o n s   a r e   t a k e n ,   i n   i n t e g e r   q u a n t i t y ,   f r o m   t h e   i n i t i a l   s h a r e d   p o o l   i n   a s c e n d i n g   o r d e r   b y   p h y s i c a l   c o r e   I D .   T h i s   s h a r e d   p o o l   i s   t h e   s e t   o f   C P U s   o n   w h i c h   a n y   c o n t a i n e r s   i n   B e s t E f f o r t   a n d   B u r s t a b l e   p o d s   r u n .   C o n t a i n e r s   i n   G u a r a n t e e d   p o d s   w i t h   f r a c t i o n a l   C P U   r e q u e s t s   a l s o   r u n   o n   C P U s   i n   t h e   s h a r e d   p o o l .   O n l y   c o n t a i n e r s   t h a t   a r e   p a r t   o f   a   G u a r a n t e e d   p o d   a n d   h a v e   i n t e g e r   C P U   r e q u e s t s   a r e   a s s i g n e d   e x c l u s i v e   C P U s .


Question: What is Note:?

Answer: A s   G u a r a n t e e d   p o d s   w h o s e   c o n t a i n e r s   f i t   t h e   r e q u i r e m e n t s   f o r   b e i n g   s t a t i c a l l y   a s s i g n e d   a r e   s c h e d u l e d   t o   t h e   n o d e ,   C P U s   a r e   r e m o v e d   f r o m   t h e   s h a r e d   p o o l   a n d   p l a c e d   i n   t h e   c p u s e t   f o r   t h e   c o n t a i n e r .   C F S   q u o t a   i s   n o t   u s e d   t o   b o u n d   t h e   C P U   u s a g e   o f   t h e s e   c o n t a i n e r s   a s   t h e i r   u s a g e   i s   b o u n d   b y   t h e   s c h e d u l i n g   d o m a i n   i t s e l f .   I n   o t h e r s   w o r d s ,   t h e   n u m b e r   o f   C P U s   i n   t h e   c o n t a i n e r   c p u s e t   i s   e q u a l   t o   t h e   i n t e g e r   C P U   l i m i t   s p e c i f i e d   i n   t h e   p o d   s p e c .   T h i s   s t a t i c   a s s i g n m e n t   i n c r e a s e s   C P U   a f f i n i t y   a n d   d e c r e a s e s   c o n t e x t   s w i t c h e s   d u e   t o   t h r o t t l i n g   f o r   t h e   C P U - b o u n d   w o r k l o a d .   C o n s i d e r   t h e   c o n t a i n e r s   i n   t h e   f o l l o w i n g   p o d   s p e c s :   s p e c :   c o n t a i n e r s :   -   n a m e :   n g i n x   i m a g e :   n g i n x   T h e   p o d   a b o v e   r u n s   i n   t h e   B e s t E f f o r t   Q o S   c l a s s   b e c a u s e   n o   r e s o u r c e   r e q u e s t s   o r   l i m i t s   a r e   s p e c i f i e d .   I t   r u n s   i n   t h e   s h a r e d   p o o l .   s p e c :   c o n t a i n e r s :   -   n a m e :   n g i n x   i m a g e :   n g i n x   r e s o u r c e s :   l i m i t s :   m e m o r y :   " 2 0 0 M i "   r e q u e s t s :   m e m o r y :   " 1 0 0 M i "   T h e   p o d   a b o v e   r u n s   i n   t h e   B u r s t a b l e   Q o S   c l a s s   b e c a u s e   r e s o u r c e   r e q u e s t s   d o   n o t   e q u a l   l i m i t s   a n d   t h e   c p u   q u


Question: What is Static policy options?

Answer: H e r e   a r e   t h e   a v a i l a b l e   p o l i c y   o p t i o n s   f o r   t h e   s t a t i c   C P U   m a n a g e m e n t   p o l i c y ,   l i s t e d   i n   a l p h a b e t i c a l   o r d e r :   Y o u   c a n   t o g g l e   g r o u p s   o f   o p t i o n s   o n   a n d   o f f   b a s e d   u p o n   t h e i r   m a t u r i t y   l e v e l   u s i n g   t h e   f o l l o w i n g   f e a t u r e   g a t e s :   C P U M a n a g e r P o l i c y B e t a O p t i o n s   ( d e f a u l t   e n a b l e d ) .   D i s a b l e   t o   h i d e   b e t a - l e v e l   o p t i o n s . C P U M a n a g e r P o l i c y A l p h a O p t i o n s   ( d e f a u l t   d i s a b l e d ) .   E n a b l e   t o   s h o w   a l p h a - l e v e l   o p t i o n s .   Y o u   w i l l   s t i l l   h a v e   t o   e n a b l e   e a c h   o p t i o n   u s i n g   t h e   c p u M a n a g e r P o l i c y O p t i o n s   f i e l d   i n   t h e   k u b e l e t   c o n f i g u r a t i o n   f i l e .   F o r   m o r e   d e t a i l   a b o u t   t h e   i n d i v i d u a l   o p t i o n s   y o u   c a n   c o n f i g u r e ,   r e a d   o n .


Question: What is full-pcpus-only?

Answer: I f   t h e   f u l l - p c p u s - o n l y   p o l i c y   o p t i o n   i s   s p e c i f i e d ,   t h e   s t a t i c   p o l i c y   w i l l   a l w a y s   a l l o c a t e   f u l l   p h y s i c a l   c o r e s .   B y   d e f a u l t ,   w i t h o u t   t h i s   o p t i o n ,   t h e   s t a t i c   p o l i c y   a l l o c a t e s   C P U s   u s i n g   a   t o p o l o g y - a w a r e   b e s t - f i t   a l l o c a t i o n .   O n   S M T   e n a b l e d   s y s t e m s ,   t h e   p o l i c y   c a n   a l l o c a t e   i n d i v i d u a l   v i r t u a l   c o r e s ,   w h i c h   c o r r e s p o n d   t o   h a r d w a r e   t h r e a d s .   T h i s   c a n   l e a d   t o   d i f f e r e n t   c o n t a i n e r s   s h a r i n g   t h e   s a m e   p h y s i c a l   c o r e s ;   t h i s   b e h a v i o u r   i n   t u r n   c o n t r i b u t e s   t o   t h e   n o i s y   n e i g h b o u r s   p r o b l e m .   W i t h   t h e   o p t i o n   e n a b l e d ,   t h e   p o d   w i l l   b e   a d m i t t e d   b y   t h e   k u b e l e t   o n l y   i f   t h e   C P U   r e q u e s t   o f   a l l   i t s   c o n t a i n e r s   c a n   b e   f u l f i l l e d   b y   a l l o c a t i n g   f u l l   p h y s i c a l   c o r e s .   I f   t h e   p o d   d o e s   n o t   p a s s   t h e   a d m i s s i o n ,   i t   w i l l   b e   p u t   i n   F a i l e d   s t a t e   w i t h   t h e   m e s s a g e   S M T A l i g n m e n t E r r o r .


Question: What is distribute-cpus-across-numa?

Answer: I f   t h e   d i s t r i b u t e - c p u s - a c r o s s - n u m a p o l i c y   o p t i o n   i s   s p e c i f i e d ,   t h e   s t a t i c   p o l i c y   w i l l   e v e n l y   d i s t r i b u t e   C P U s   a c r o s s   N U M A   n o d e s   i n   c a s e s   w h e r e   m o r e   t h a n   o n e   N U M A   n o d e   i s   r e q u i r e d   t o   s a t i s f y   t h e   a l l o c a t i o n .   B y   d e f a u l t ,   t h e   C P U M a n a g e r   w i l l   p a c k   C P U s   o n t o   o n e   N U M A   n o d e   u n t i l   i t   i s   f i l l e d ,   w i t h   a n y   r e m a i n i n g   C P U s   s i m p l y   s p i l l i n g   o v e r   t o   t h e   n e x t   N U M A   n o d e .   T h i s   c a n   c a u s e   u n d e s i r e d   b o t t l e n e c k s   i n   p a r a l l e l   c o d e   r e l y i n g   o n   b a r r i e r s   ( a n d   s i m i l a r   s y n c h r o n i z a t i o n   p r i m i t i v e s ) ,   a s   t h i s   t y p e   o f   c o d e   t e n d s   t o   r u n   o n l y   a s   f a s t   a s   i t s   s l o w e s t   w o r k e r   ( w h i c h   i s   s l o w e d   d o w n   b y   t h e   f a c t   t h a t   f e w e r   C P U s   a r e   a v a i l a b l e   o n   a t   l e a s t   o n e   N U M A   n o d e ) .   B y   d i s t r i b u t i n g   C P U s   e v e n l y   a c r o s s   N U M A   n o d e s ,   a p p l i c a t i o n   d e v e l o p e r s   c a n   m o r e   e a s i l y   e n s u r e   t h a t   n o   s i n g l e   w o r k e r   s u f f e r s   f r o m   N U M A   e f f e c t s   m o r e   t h a n   a n y   o t h e r ,   i m p r o v i n g   t h e   o v e r a l l   p e r f o r m a n c e   o f   t h e s e   t y p e s   o f   a p p l i c a t i o n s .


Question: What is align-by-socket?

Answer: I f   t h e   a l i g n - b y - s o c k e t   p o l i c y   o p t i o n   i s   s p e c i f i e d ,   C P U s   w i l l   b e   c o n s i d e r e d   a l i g n e d   a t   t h e   s o c k e t   b o u n d a r y   w h e n   d e c i d i n g   h o w   t o   a l l o c a t e   C P U s   t o   a   c o n t a i n e r .   B y   d e f a u l t ,   t h e   C P U M a n a g e r   a l i g n s   C P U   a l l o c a t i o n s   a t   t h e   N U M A   b o u n d a r y ,   w h i c h   c o u l d   r e s u l t   i n   p e r f o r m a n c e   d e g r a d a t i o n   i f   C P U s   n e e d   t o   b e   p u l l e d   f r o m   m o r e   t h a n   o n e   N U M A   n o d e   t o   s a t i s f y   t h e   a l l o c a t i o n .   A l t h o u g h   i t   t r i e s   t o   e n s u r e   t h a t   a l l   C P U s   a r e   a l l o c a t e d   f r o m   t h e   m i n i m u m   n u m b e r   o f   N U M A   n o d e s ,   t h e r e   i s   n o   g u a r a n t e e   t h a t   t h o s e   N U M A   n o d e s   w i l l   b e   o n   t h e   s a m e   s o c k e t .   B y   d i r e c t i n g   t h e   C P U M a n a g e r   t o   e x p l i c i t l y   a l i g n   C P U s   a t   t h e   s o c k e t   b o u n d a r y   r a t h e r   t h a n   t h e   N U M A   b o u n d a r y ,   w e   a r e   a b l e   t o   a v o i d   s u c h   i s s u e s .   N o t e ,   t h i s   p o l i c y   o p t i o n   i s   n o t   c o m p a t i b l e   w i t h   T o p o l o g y M a n a g e r   s i n g l e - n u m a - n o d e   p o l i c y   a n d   d o e s   n o t   a p p l y   t o   h a r d w a r e   w h e r e   t h e   n u m b e r   o f   s o c k e t s   i s   g r e a t e r   t h a n   n u m b e r   o f   N U M A   n o d e s .


Question: What is distribute-cpus-across-cores?

Answer: I f   t h e   d i s t r i b u t e - c p u s - a c r o s s - c o r e s   p o l i c y   o p t i o n   i s   s p e c i f i e d ,   t h e   s t a t i c   p o l i c y   w i l l   a t t e m p t   t o   a l l o c a t e   v i r t u a l   c o r e s   ( h a r d w a r e   t h r e a d s )   a c r o s s   d i f f e r e n t   p h y s i c a l   c o r e s .   B y   d e f a u l t ,   t h e   C P U M a n a g e r   t e n d s   t o   p a c k   C P U s   o n t o   a s   f e w   p h y s i c a l   c o r e s   a s   p o s s i b l e ,   w h i c h   c a n   l e a d   t o   c o n t e n t i o n   a m o n g   C P U s   o n   t h e   s a m e   p h y s i c a l   c o r e   a n d   r e s u l t   i n   p e r f o r m a n c e   b o t t l e n e c k s .   B y   e n a b l i n g   t h e   d i s t r i b u t e - c p u s - a c r o s s - c o r e s   p o l i c y ,   t h e   s t a t i c   p o l i c y   e n s u r e s   t h a t   C P U s   a r e   d i s t r i b u t e d   a c r o s s   a s   m a n y   p h y s i c a l   c o r e s   a s   p o s s i b l e ,   r e d u c i n g   t h e   c o n t e n t i o n   o n   t h e   s a m e   p h y s i c a l   c o r e   a n d   t h e r e b y   i m p r o v i n g   o v e r a l l   p e r f o r m a n c e .   H o w e v e r ,   i t   i s   i m p o r t a n t   t o   n o t e   t h a t   t h i s   s t r a t e g y   m i g h t   b e   l e s s   e f f e c t i v e   w h e n   t h e   s y s t e m   i s   h e a v i l y   l o a d e d .   U n d e r   s u c h   c o n d i t i o n s ,   t h e   b e n e f i t   o f   r e d u c i n g   c o n t e n t i o n   d i m i n i s h e s .   C o n v e r s e l y ,   d e f a u l t   b e h a v i o r   c a n   h e l p   i n   r e d u c i n g   i n t e r - c o r e   c o m m u n i c a t i o n   o v e r h e a d ,   p o t e n t i a l l y   p r o v i d i n g   b e t t e r   p e r f o r m a n c e   u n d e r   h i g h   l o a d   c o n d i t i o n s .


Question: What is strict-cpu-reservation?

Answer: T h e   r e s e r v e d S y s t e m C P U s   p a r a m e t e r   i n   K u b e l e t C o n f i g u r a t i o n ,   o r   t h e   d e p r e c a t e d   k u b e l e t   c o m m a n d   l i n e   o p t i o n   - - r e s e r v e d - c p u s ,   d e f i n e s   a n   e x p l i c i t   C P U   s e t   f o r   O S   s y s t e m   d a e m o n s   a n d   k u b e r n e t e s   s y s t e m   d a e m o n s .   M o r e   d e t a i l s   o f   t h i s   p a r a m e t e r   c a n   b e   f o u n d   o n   t h e   E x p l i c i t l y   R e s e r v e d   C P U   L i s t   p a g e .   B y   d e f a u l t ,   t h i s   i s o l a t i o n   i s   i m p l e m e n t e d   o n l y   f o r   g u a r a n t e e d   p o d s   w i t h   i n t e g e r   C P U   r e q u e s t s   n o t   f o r   b u r s t a b l e   a n d   b e s t - e f f o r t   p o d s   ( a n d   g u a r a n t e e d   p o d s   w i t h   f r a c t i o n a l   C P U   r e q u e s t s ) .   A d m i s s i o n   i s   o n l y   c o m p a r i n g   t h e   C P U   r e q u e s t s   a g a i n s t   t h e   a l l o c a t a b l e   C P U s .   S i n c e   t h e   C P U   l i m i t   i s   h i g h e r   t h a n   t h e   r e q u e s t ,   t h e   d e f a u l t   b e h a v i o u r   a l l o w s   b u r s t a b l e   a n d   b e s t - e f f o r t   p o d s   t o   u s e   u p   t h e   c a p a c i t y   o f   r e s e r v e d S y s t e m C P U s   a n d   c a u s e   h o s t   O S   s e r v i c e s   t o   s t a r v e   i n   r e a l   l i f e   d e p l o y m e n t s .   I f   t h e   s t r i c t - c p u - r e s e r v a t i o n   p o l i c y   o p t i o n   i s   e n a b l e d ,   t h e   s t a t i c   p o l i c y   w i l l   n o t   a l l o w   a n y   w o r k l o a d   t o   u s e   t h e   C P U   c o r e s   s p e c i f i e d   i n   r e s e r v e d S y s t e m C P U s .


Question: What is prefer-align-cpus-by-uncorecache?

Answer: I f   t h e   p r e f e r - a l i g n - c p u s - b y - u n c o r e c a c h e   p o l i c y   i s   s p e c i f i e d ,   t h e   s t a t i c   p o l i c y   w i l l   a l l o c a t e   C P U   r e s o u r c e s   f o r   i n d i v i d u a l   c o n t a i n e r s   s u c h   t h a t   a l l   C P U s   a s s i g n e d   t o   a   c o n t a i n e r   s h a r e   t h e   s a m e   u n c o r e   c a c h e   b l o c k   ( a l s o   k n o w n   a s   t h e   L a s t - L e v e l   C a c h e   o r   L L C ) .   B y   d e f a u l t ,   t h e   C P U M a n a g e r   w i l l   t i g h t l y   p a c k   C P U   a s s i g n m e n t s   w h i c h   c a n   r e s u l t   i n   c o n t a i n e r s   b e i n g   a s s i g n e d   C P U s   f r o m   m u l t i p l e   u n c o r e   c a c h e s .   T h i s   o p t i o n   e n a b l e s   t h e   C P U M a n a g e r   t o   a l l o c a t e   C P U s   i n   a   w a y   t h a t   m a x i m i z e s   t h e   e f f i c i e n t   u s e   o f   t h e   u n c o r e   c a c h e .   A l l o c a t i o n   i s   p e r f o r m e d   o n   a   b e s t - e f f o r t   b a s i s ,   a i m i n g   t o   a f f i n e   a s   m a n y   C P U s   a s   p o s s i b l e   w i t h i n   t h e   s a m e   u n c o r e   c a c h e .   I f   t h e   c o n t a i n e r ' s   C P U   r e q u i r e m e n t   e x c e e d s   t h e   C P U   c a p a c i t y   o f   a   s i n g l e   u n c o r e   c a c h e ,   t h e   C P U M a n a g e r   m i n i m i z e s   t h e   n u m b e r   o f   u n c o r e   c a c h e s   u s e d   i n   o r d e r   t o   m a i n t a i n   o p t i m a l   u n c o r e   c a c h e   a l i g n m e n t .   S p e c i f i c   w o r k l o a d s   c a n   b e n e f i t   i n   p e r f o r m a n c e   f r o m   t h e   r e d u c t i o n   o f   i n t e r - c a c h e   l a t e n c y   a n d   n o i s y   n e i g h b o r s   a t   t h e   c a c h e   l e v e l .   I f   t h e   C P U M a n a g e r   c a n n o t   a l i g n   o p t i m a l l y   w h i


Question: What is Memory Management Policies?

Answer: T h e   K u b e r n e t e s   M e m o r y   M a n a g e r   e n a b l e s   t h e   f e a t u r e   o f   g u a r a n t e e d   m e m o r y   ( a n d   h u g e p a g e s )   a l l o c a t i o n   f o r   p o d s   i n   t h e   G u a r a n t e e d   Q o S   c l a s s .   T h e   M e m o r y   M a n a g e r   e m p l o y s   h i n t   g e n e r a t i o n   p r o t o c o l   t o   y i e l d   t h e   m o s t   s u i t a b l e   N U M A   a f f i n i t y   f o r   a   p o d .   T h e   M e m o r y   M a n a g e r   f e e d s   t h e   c e n t r a l   m a n a g e r   ( T o p o l o g y   M a n a g e r )   w i t h   t h e s e   a f f i n i t y   h i n t s .   B a s e d   o n   b o t h   t h e   h i n t s   a n d   T o p o l o g y   M a n a g e r   p o l i c y ,   t h e   p o d   i s   r e j e c t e d   o r   a d m i t t e d   t o   t h e   n o d e .   M o r e o v e r ,   t h e   M e m o r y   M a n a g e r   e n s u r e s   t h a t   t h e   m e m o r y   w h i c h   a   p o d   r e q u e s t s   i s   a l l o c a t e d   f r o m   a   m i n i m u m   n u m b e r   o f   N U M A   n o d e s .


Question: What is Other resource managers?

Answer: T h e   c o n f i g u r a t i o n   o f   i n d i v i d u a l   m a n a g e r s   i s   e l a b o r a t e d   i n   d e d i c a t e d   d o c u m e n t s :   D e v i c e   M a n a g e r


Question: What is 10 - Scheduling, Preemption and Eviction?

Answer: I n   K u b e r n e t e s ,   s c h e d u l i n g   r e f e r s   t o   m a k i n g   s u r e   t h a t   P o d s   a r e   m a t c h e d   t o   N o d e s   s o   t h a t   t h e   k u b e l e t   c a n   r u n   t h e m .   P r e e m p t i o n   i s   t h e   p r o c e s s   o f   t e r m i n a t i n g   P o d s   w i t h   l o w e r   P r i o r i t y   s o   t h a t   P o d s   w i t h   h i g h e r   P r i o r i t y   c a n   s c h e d u l e   o n   N o d e s .   E v i c t i o n   i s   t h e   p r o c e s s   o f   t e r m i n a t i n g   o n e   o r   m o r e   P o d s   o n   N o d e s .


Question: What is Scheduling?

Answer: K u b e r n e t e s   S c h e d u l e r A s s i g n i n g   P o d s   t o   N o d e s P o d   O v e r h e a d P o d   T o p o l o g y   S p r e a d   C o n s t r a i n t s T a i n t s   a n d   T o l e r a t i o n s S c h e d u l i n g   F r a m e w o r k D y n a m i c   R e s o u r c e   A l l o c a t i o n S c h e d u l e r   P e r f o r m a n c e   T u n i n g R e s o u r c e   B i n   P a c k i n g   f o r   E x t e n d e d   R e s o u r c e s P o d   S c h e d u l i n g   R e a d i n e s s D e s c h e d u l e r


Question: What is Pod Disruption?

Answer: P o d   d i s r u p t i o n   i s   t h e   p r o c e s s   b y   w h i c h   P o d s   o n   N o d e s   a r e   t e r m i n a t e d   e i t h e r   v o l u n t a r i l y   o r   i n v o l u n t a r i l y .   V o l u n t a r y   d i s r u p t i o n s   a r e   s t a r t e d   i n t e n t i o n a l l y   b y   a p p l i c a t i o n   o w n e r s   o r   c l u s t e r   a d m i n i s t r a t o r s .   I n v o l u n t a r y   d i s r u p t i o n s   a r e   u n i n t e n t i o n a l   a n d   c a n   b e   t r i g g e r e d   b y   u n a v o i d a b l e   i s s u e s   l i k e   N o d e s   r u n n i n g   o u t   o f   r e s o u r c e s ,   o r   b y   a c c i d e n t a l   d e l e t i o n s .   P o d   P r i o r i t y   a n d   P r e e m p t i o n N o d e - p r e s s u r e   E v i c t i o n A P I - i n i t i a t e d   E v i c t i o n


Question: What is 10.1 - Kubernetes Scheduler?

Answer: I n   K u b e r n e t e s ,   s c h e d u l i n g   r e f e r s   t o   m a k i n g   s u r e   t h a t   P o d s   a r e   m a t c h e d   t o   N o d e s   s o   t h a t   K u b e l e t   c a n   r u n   t h e m .


Question: What is Scheduling overview?

Answer: A   s c h e d u l e r   w a t c h e s   f o r   n e w l y   c r e a t e d   P o d s   t h a t   h a v e   n o   N o d e   a s s i g n e d .   F o r   e v e r y   P o d   t h a t   t h e   s c h e d u l e r   d i s c o v e r s ,   t h e   s c h e d u l e r   b e c o m e s   r e s p o n s i b l e   f o r   f i n d i n g   t h e   b e s t   N o d e   f o r   t h a t   P o d   t o   r u n   o n .   T h e   s c h e d u l e r   r e a c h e s   t h i s   p l a c e m e n t   d e c i s i o n   t a k i n g   i n t o   a c c o u n t   t h e   s c h e d u l i n g   p r i n c i p l e s   d e s c r i b e d   b e l o w .   I f   y o u   w a n t   t o   u n d e r s t a n d   w h y   P o d s   a r e   p l a c e d   o n t o   a   p a r t i c u l a r   N o d e ,   o r   i f   y o u ' r e   p l a n n i n g   t o   i m p l e m e n t   a   c u s t o m   s c h e d u l e r   y o u r s e l f ,   t h i s   p a g e   w i l l   h e l p   y o u   l e a r n   a b o u t   s c h e d u l i n g .


Question: What is kube-scheduler?

Answer: k u b e - s c h e d u l e r   i s   t h e   d e f a u l t   s c h e d u l e r   f o r   K u b e r n e t e s   a n d   r u n s   a s   p a r t   o f   t h e   c o n t r o l   p l a n e .   k u b e - s c h e d u l e r   i s   d e s i g n e d   s o   t h a t ,   i f   y o u   w a n t   a n d   n e e d   t o ,   y o u   c a n   w r i t e   y o u r   o w n   s c h e d u l i n g   c o m p o n e n t   a n d   u s e   t h a t   i n s t e a d .   K u b e - s c h e d u l e r   s e l e c t s   a n   o p t i m a l   n o d e   t o   r u n   n e w l y   c r e a t e d   o r   n o t   y e t   s c h e d u l e d   ( u n s c h e d u l e d )   p o d s .   S i n c e   c o n t a i n e r s   i n   p o d s   -   a n d   p o d s   t h e m s e l v e s   -   c a n   h a v e   d i f f e r e n t   r e q u i r e m e n t s ,   t h e   s c h e d u l e r   f i l t e r s   o u t   a n y   n o d e s   t h a t   d o n ' t   m e e t   a   P o d ' s   s p e c i f i c   s c h e d u l i n g   n e e d s .   A l t e r n a t i v e l y ,   t h e   A P I   l e t s   y o u   s p e c i f y   a   n o d e   f o r   a   P o d   w h e n   y o u   c r e a t e   i t ,   b u t   t h i s   i s   u n u s u a l   a n d   i s   o n l y   d o n e   i n   s p e c i a l   c a s e s .   I n   a   c l u s t e r ,   N o d e s   t h a t   m e e t   t h e   s c h e d u l i n g   r e q u i r e m e n t s   f o r   a   P o d   a r e   c a l l e d   f e a s i b l e   n o d e s .   I f   n o n e   o f   t h e   n o d e s   a r e   s u i t a b l e ,   t h e   p o d   r e m a i n s   u n s c h e d u l e d   u n t i l   t h e   s c h e d u l e r   i s   a b l e   t o   p l a c e   i t .   T h e   s c h e d u l e r   f i n d s   f e a s i b l e   N o d e s   f o r   a   P o d   a n d   t h e n   r u n s   a   s e t   o f   f u n c t i o n s   t o   s c o r e   t h e   f e a s i b l e   N o d e s   a n d   p i c k s   a   N o d e   w i t h   t h e   h i g h e s t   s c o r e   a m o n g   t h e   f e a s i b l e   o n e s   t o   r u n   t


Question: What is Node selection in kube-scheduler?

Answer: k u b e - s c h e d u l e r   s e l e c t s   a   n o d e   f o r   t h e   p o d   i n   a   2 - s t e p   o p e r a t i o n :   F i l t e r i n g S c o r i n g   T h e   f i l t e r i n g   s t e p   f i n d s   t h e   s e t   o f   N o d e s   w h e r e   i t ' s   f e a s i b l e   t o   s c h e d u l e   t h e   P o d .   F o r   e x a m p l e ,   t h e   P o d F i t s R e s o u r c e s   f i l t e r   c h e c k s   w h e t h e r   a   c a n d i d a t e   N o d e   h a s   e n o u g h   a v a i l a b l e   r e s o u r c e s   t o   m e e t   a   P o d ' s   s p e c i f i c   r e s o u r c e   r e q u e s t s .   A f t e r   t h i s   s t e p ,   t h e   n o d e   l i s t   c o n t a i n s   a n y   s u i t a b l e   N o d e s ;   o f t e n ,   t h e r e   w i l l   b e   m o r e   t h a n   o n e .   I f   t h e   l i s t   i s   e m p t y ,   t h a t   P o d   i s n ' t   ( y e t )   s c h e d u l a b l e .   I n   t h e   s c o r i n g   s t e p ,   t h e   s c h e d u l e r   r a n k s   t h e   r e m a i n i n g   n o d e s   t o   c h o o s e   t h e   m o s t   s u i t a b l e   P o d   p l a c e m e n t .   T h e   s c h e d u l e r   a s s i g n s   a   s c o r e   t o   e a c h   N o d e   t h a t   s u r v i v e d   f i l t e r i n g ,   b a s i n g   t h i s   s c o r e   o n   t h e   a c t i v e   s c o r i n g   r u l e s .   F i n a l l y ,   k u b e - s c h e d u l e r   a s s i g n s   t h e   P o d   t o   t h e   N o d e   w i t h   t h e   h i g h e s t   r a n k i n g .   I f   t h e r e   i s   m o r e   t h a n   o n e   n o d e   w i t h   e q u a l   s c o r e s ,   k u b e - s c h e d u l e r   s e l e c t s   o n e   o f   t h e s e   a t   r a n d o m .   T h e r e   a r e   t w o   s u p p o r t e d   w a y s   t o   c o n f i g u r e   t h e   f i l t e r i n g   a n d   s c o r i n g   b e h a v i o r   o f   t h e   s c h e d u l e r :   S c h e d u l i n g   P o l i c i e s   a l l o w   y o u   t o   c o n f i g u r e   P r e