Question: What is Graceful termination of preemption victims?

Answer: W h e n   P o d s   a r e   p r e e m p t e d ,   t h e   v i c t i m s   g e t   t h e i r   g r a c e f u l   t e r m i n a t i o n   p e r i o d .   T h e y   h a v e   t h a t   m u c h   t i m e   t o   f i n i s h   t h e i r   w o r k   a n d   e x i t .   I f   t h e y   d o n ' t ,   t h e y   a r e   k i l l e d .   T h i s   g r a c e f u l   t e r m i n a t i o n   p e r i o d   c r e a t e s   a   t i m e   g a p   b e t w e e n   t h e   p o i n t   t h a t   t h e   s c h e d u l e r   p r e e m p t s   P o d s   a n d   t h e   t i m e   w h e n   t h e   p e n d i n g   P o d   ( P )   c a n   b e   s c h e d u l e d   o n   t h e   N o d e   ( N ) .   I n   t h e   m e a n t i m e ,   t h e   s c h e d u l e r   k e e p s   s c h e d u l i n g   o t h e r   p e n d i n g   P o d s .   A s   v i c t i m s   e x i t   o r   g e t   t e r m i n a t e d ,   t h e   s c h e d u l e r   t r i e s   t o   s c h e d u l e   P o d s   i n   t h e   p e n d i n g   q u e u e .   T h e r e f o r e ,   t h e r e   i s   u s u a l l y   a   t i m e   g a p   b e t w e e n   t h e   p o i n t   t h a t   s c h e d u l e r   p r e e m p t s   v i c t i m s   a n d   t h e   t i m e   t h a t   P o d   P   i s   s c h e d u l e d .   I n   o r d e r   t o   m i n i m i z e   t h i s   g a p ,   o n e   c a n   s e t   g r a c e f u l   t e r m i n a t i o n   p e r i o d   o f   l o w e r   p r i o r i t y   P o d s   t o   z e r o   o r   a   s m a l l   n u m b e r .


Question: What is PodDisruptionBudget is supported, but not guaranteed?

Answer: A   P o d D i s r u p t i o n B u d g e t   ( P D B )   a l l o w s   a p p l i c a t i o n   o w n e r s   t o   l i m i t   t h e   n u m b e r   o f   P o d s   o f   a   r e p l i c a t e d   a p p l i c a t i o n   t h a t   a r e   d o w n   s i m u l t a n e o u s l y   f r o m   v o l u n t a r y   d i s r u p t i o n s .   K u b e r n e t e s   s u p p o r t s   P D B   w h e n   p r e e m p t i n g   P o d s ,   b u t   r e s p e c t i n g   P D B   i s   b e s t   e f f o r t .   T h e   s c h e d u l e r   t r i e s   t o   f i n d   v i c t i m s   w h o s e   P D B   a r e   n o t   v i o l a t e d   b y   p r e e m p t i o n ,   b u t   i f   n o   s u c h   v i c t i m s   a r e   f o u n d ,   p r e e m p t i o n   w i l l   s t i l l   h a p p e n ,   a n d   l o w e r   p r i o r i t y   P o d s   w i l l   b e   r e m o v e d   d e s p i t e   t h e i r   P D B s   b e i n g   v i o l a t e d .


Question: What is Inter-Pod affinity on lower-priority Pods?

Answer: A   N o d e   i s   c o n s i d e r e d   f o r   p r e e m p t i o n   o n l y   w h e n   t h e   a n s w e r   t o   t h i s   q u e s t i o n   i s   y e s :   " I f   a l l   t h e   P o d s   w i t h   l o w e r   p r i o r i t y   t h a n   t h e   p e n d i n g   P o d   a r e   r e m o v e d   f r o m   t h e   N o d e ,   c a n   t h e   p e n d i n g   P o d   b e   s c h e d u l e d   o n   t h e   N o d e ? "


Question: What is Note:?

Answer: I f   a   p e n d i n g   P o d   h a s   i n t e r - p o d   a f f i n i t y   t o   o n e   o r   m o r e   o f   t h e   l o w e r - p r i o r i t y   P o d s   o n   t h e   N o d e ,   t h e   i n t e r - P o d   a f f i n i t y   r u l e   c a n n o t   b e   s a t i s f i e d   i n   t h e   a b s e n c e   o f   t h o s e   l o w e r - p r i o r i t y   P o d s .   I n   t h i s   c a s e ,   t h e   s c h e d u l e r   d o e s   n o t   p r e e m p t   a n y   P o d s   o n   t h e   N o d e .   I n s t e a d ,   i t   l o o k s   f o r   a n o t h e r   N o d e .   T h e   s c h e d u l e r   m i g h t   f i n d   a   s u i t a b l e   N o d e   o r   i t   m i g h t   n o t .   T h e r e   i s   n o   g u a r a n t e e   t h a t   t h e   p e n d i n g   P o d   c a n   b e   s c h e d u l e d .   O u r   r e c o m m e n d e d   s o l u t i o n   f o r   t h i s   p r o b l e m   i s   t o   c r e a t e   i n t e r - P o d   a f f i n i t y   o n l y   t o w a r d s   e q u a l   o r   h i g h e r   p r i o r i t y   P o d s .


Question: What is Cross node preemption?

Answer: S u p p o s e   a   N o d e   N   i s   b e i n g   c o n s i d e r e d   f o r   p r e e m p t i o n   s o   t h a t   a   p e n d i n g   P o d   P   c a n   b e   s c h e d u l e d   o n   N .   P   m i g h t   b e c o m e   f e a s i b l e   o n   N   o n l y   i f   a   P o d   o n   a n o t h e r   N o d e   i s   p r e e m p t e d .   H e r e ' s   a n   e x a m p l e :   P o d   P   i s   b e i n g   c o n s i d e r e d   f o r   N o d e   N . P o d   Q   i s   r u n n i n g   o n   a n o t h e r   N o d e   i n   t h e   s a m e   Z o n e   a s   N o d e   N . P o d   P   h a s   Z o n e - w i d e   a n t i - a f f i n i t y   w i t h   P o d   Q   ( t o p o l o g y K e y :   t o p o l o g y . k u b e r n e t e s . i o / z o n e ) . T h e r e   a r e   n o   o t h e r   c a s e s   o f   a n t i - a f f i n i t y   b e t w e e n   P o d   P   a n d   o t h e r   P o d s   i n   t h e   Z o n e . I n   o r d e r   t o   s c h e d u l e   P o d   P   o n   N o d e   N ,   P o d   Q   c a n   b e   p r e e m p t e d ,   b u t   s c h e d u l e r   d o e s   n o t   p e r f o r m   c r o s s - n o d e   p r e e m p t i o n .   S o ,   P o d   P   w i l l   b e   d e e m e d   u n s c h e d u l a b l e   o n   N o d e   N .   I f   P o d   Q   w e r e   r e m o v e d   f r o m   i t s   N o d e ,   t h e   P o d   a n t i - a f f i n i t y   v i o l a t i o n   w o u l d   b e   g o n e ,   a n d   P o d   P   c o u l d   p o s s i b l y   b e   s c h e d u l e d   o n   N o d e   N .   W e   m a y   c o n s i d e r   a d d i n g   c r o s s   N o d e   p r e e m p t i o n   i n   f u t u r e   v e r s i o n s   i f   t h e r e   i s   e n o u g h   d e m a n d   a n d   i f   w e   f i n d   a n   a l g o r i t h m   w i t h   r e a s o n a b l e   p e r f o r m a n c e .


Question: What is Troubleshooting?

Answer: P o d   p r i o r i t y   a n d   p r e e m p t i o n   c a n   h a v e   u n w a n t e d   s i d e   e f f e c t s .   H e r e   a r e   s o m e   e x a m p l e s   o f   p o t e n t i a l   p r o b l e m s   a n d   w a y s   t o   d e a l   w i t h   t h e m .


Question: What is Pods are preempted unnecessarily?

Answer: P r e e m p t i o n   r e m o v e s   e x i s t i n g   P o d s   f r o m   a   c l u s t e r   u n d e r   r e s o u r c e   p r e s s u r e   t o   m a k e   r o o m   f o r   h i g h e r   p r i o r i t y   p e n d i n g   P o d s .   I f   y o u   g i v e   h i g h   p r i o r i t i e s   t o   c e r t a i n   P o d s   b y   m i s t a k e ,   t h e s e   u n i n t e n t i o n a l l y   h i g h   p r i o r i t y   P o d s   m a y   c a u s e   p r e e m p t i o n   i n   y o u r   c l u s t e r .   P o d   p r i o r i t y   i s   s p e c i f i e d   b y   s e t t i n g   t h e   p r i o r i t y C l a s s N a m e   f i e l d   i n   t h e   P o d ' s   s p e c i f i c a t i o n .   T h e   i n t e g e r   v a l u e   f o r   p r i o r i t y   i s   t h e n   r e s o l v e d   a n d   p o p u l a t e d   t o   t h e   p r i o r i t y   f i e l d   o f   p o d S p e c .   T o   a d d r e s s   t h e   p r o b l e m ,   y o u   c a n   c h a n g e   t h e   p r i o r i t y C l a s s N a m e   f o r   t h o s e   P o d s   t o   u s e   l o w e r   p r i o r i t y   c l a s s e s ,   o r   l e a v e   t h a t   f i e l d   e m p t y .   A n   e m p t y   p r i o r i t y C l a s s N a m e   i s   r e s o l v e d   t o   z e r o   b y   d e f a u l t .   W h e n   a   P o d   i s   p r e e m p t e d ,   t h e r e   w i l l   b e   e v e n t s   r e c o r d e d   f o r   t h e   p r e e m p t e d   P o d .   P r e e m p t i o n   s h o u l d   h a p p e n   o n l y   w h e n   a   c l u s t e r   d o e s   n o t   h a v e   e n o u g h   r e s o u r c e s   f o r   a   P o d .   I n   s u c h   c a s e s ,   p r e e m p t i o n   h a p p e n s   o n l y   w h e n   t h e   p r i o r i t y   o f   t h e   p e n d i n g   P o d   ( p r e e m p t o r )   i s   h i g h e r   t h a n   t h e   v i c t i m   P o d s .   P r e e m p t i o n   m u s t   n o t   h a p p e n   w h e n   t h e r e   i s   n o   p e n d i n g   P o d ,   o r   w h e n   t h e   p e n d i n g   P o


Question: What is Pods are preempted, but the preemptor is not scheduled?

Answer: W h e n   p o d s   a r e   p r e e m p t e d ,   t h e y   r e c e i v e   t h e i r   r e q u e s t e d   g r a c e f u l   t e r m i n a t i o n   p e r i o d ,   w h i c h   i s   b y   d e f a u l t   3 0   s e c o n d s .   I f   t h e   v i c t i m   P o d s   d o   n o t   t e r m i n a t e   w i t h i n   t h i s   p e r i o d ,   t h e y   a r e   f o r c i b l y   t e r m i n a t e d .   O n c e   a l l   t h e   v i c t i m s   g o   a w a y ,   t h e   p r e e m p t o r   P o d   c a n   b e   s c h e d u l e d .   W h i l e   t h e   p r e e m p t o r   P o d   i s   w a i t i n g   f o r   t h e   v i c t i m s   t o   g o   a w a y ,   a   h i g h e r   p r i o r i t y   P o d   m a y   b e   c r e a t e d   t h a t   f i t s   o n   t h e   s a m e   N o d e .   I n   t h i s   c a s e ,   t h e   s c h e d u l e r   w i l l   s c h e d u l e   t h e   h i g h e r   p r i o r i t y   P o d   i n s t e a d   o f   t h e   p r e e m p t o r .   T h i s   i s   e x p e c t e d   b e h a v i o r :   t h e   P o d   w i t h   t h e   h i g h e r   p r i o r i t y   s h o u l d   t a k e   t h e   p l a c e   o f   a   P o d   w i t h   a   l o w e r   p r i o r i t y .


Question: What is Higher priority Pods are preempted before lower priority pods?

Answer: T h e   s c h e d u l e r   t r i e s   t o   f i n d   n o d e s   t h a t   c a n   r u n   a   p e n d i n g   P o d .   I f   n o   n o d e   i s   f o u n d ,   t h e   s c h e d u l e r   t r i e s   t o   r e m o v e   P o d s   w i t h   l o w e r   p r i o r i t y   f r o m   a n   a r b i t r a r y   n o d e   i n   o r d e r   t o   m a k e   r o o m   f o r   t h e   p e n d i n g   p o d .   I f   a   n o d e   w i t h   l o w   p r i o r i t y   P o d s   i s   n o t   f e a s i b l e   t o   r u n   t h e   p e n d i n g   P o d ,   t h e   s c h e d u l e r   m a y   c h o o s e   a n o t h e r   n o d e   w i t h   h i g h e r   p r i o r i t y   P o d s   ( c o m p a r e d   t o   t h e   P o d s   o n   t h e   o t h e r   n o d e )   f o r   p r e e m p t i o n .   T h e   v i c t i m s   m u s t   s t i l l   h a v e   l o w e r   p r i o r i t y   t h a n   t h e   p r e e m p t o r   P o d .   W h e n   t h e r e   a r e   m u l t i p l e   n o d e s   a v a i l a b l e   f o r   p r e e m p t i o n ,   t h e   s c h e d u l e r   t r i e s   t o   c h o o s e   t h e   n o d e   w i t h   a   s e t   o f   P o d s   w i t h   l o w e s t   p r i o r i t y .   H o w e v e r ,   i f   s u c h   P o d s   h a v e   P o d D i s r u p t i o n B u d g e t   t h a t   w o u l d   b e   v i o l a t e d   i f   t h e y   a r e   p r e e m p t e d   t h e n   t h e   s c h e d u l e r   m a y   c h o o s e   a n o t h e r   n o d e   w i t h   h i g h e r   p r i o r i t y   P o d s .   W h e n   m u l t i p l e   n o d e s   e x i s t   f o r   p r e e m p t i o n   a n d   n o n e   o f   t h e   a b o v e   s c e n a r i o s   a p p l y ,   t h e   s c h e d u l e r   c h o o s e s   a   n o d e   w i t h   t h e   l o w e s t   p r i o r i t y .


Question: What is Interactions between Pod priority and quality of service?

Answer: P o d   p r i o r i t y   a n d   Q o S   c l a s s   a r e   t w o   o r t h o g o n a l   f e a t u r e s   w i t h   f e w   i n t e r a c t i o n s   a n d   n o   d e f a u l t   r e s t r i c t i o n s   o n   s e t t i n g   t h e   p r i o r i t y   o f   a   P o d   b a s e d   o n   i t s   Q o S   c l a s s e s .   T h e   s c h e d u l e r ' s   p r e e m p t i o n   l o g i c   d o e s   n o t   c o n s i d e r   Q o S   w h e n   c h o o s i n g   p r e e m p t i o n   t a r g e t s .   P r e e m p t i o n   c o n s i d e r s   P o d   p r i o r i t y   a n d   a t t e m p t s   t o   c h o o s e   a   s e t   o f   t a r g e t s   w i t h   t h e   l o w e s t   p r i o r i t y .   H i g h e r - p r i o r i t y   P o d s   a r e   c o n s i d e r e d   f o r   p r e e m p t i o n   o n l y   i f   t h e   r e m o v a l   o f   t h e   l o w e s t   p r i o r i t y   P o d s   i s   n o t   s u f f i c i e n t   t o   a l l o w   t h e   s c h e d u l e r   t o   s c h e d u l e   t h e   p r e e m p t o r   P o d ,   o r   i f   t h e   l o w e s t   p r i o r i t y   P o d s   a r e   p r o t e c t e d   b y   P o d D i s r u p t i o n B u d g e t .   T h e   k u b e l e t   u s e s   P r i o r i t y   t o   d e t e r m i n e   p o d   o r d e r   f o r   n o d e - p r e s s u r e   e v i c t i o n .   Y o u   c a n   u s e   t h e   Q o S   c l a s s   t o   e s t i m a t e   t h e   o r d e r   i n   w h i c h   p o d s   a r e   m o s t   l i k e l y   t o   g e t   e v i c t e d .   T h e   k u b e l e t   r a n k s   p o d s   f o r   e v i c t i o n   b a s e d   o n   t h e   f o l l o w i n g   f a c t o r s :   W h e t h e r   t h e   s t a r v e d   r e s o u r c e   u s a g e   e x c e e d s   r e q u e s t s P o d   P r i o r i t y A m o u n t   o f   r e s o u r c e   u s a g e   r e l a t i v e   t o   r e q u e s t s   S e e   P o d   s e l e c t i o n   f o r   k u b e l e t   e v i c t i o n   f o r   m o r e   d e t a i l s .   k u


Question: What is What's next?

Answer: R e a d   a b o u t   u s i n g   R e s o u r c e Q u o t a s   i n   c o n n e c t i o n   w i t h   P r i o r i t y C l a s s e s :   l i m i t   P r i o r i t y   C l a s s   c o n s u m p t i o n   b y   d e f a u l t L e a r n   a b o u t   P o d   D i s r u p t i o n L e a r n   a b o u t   A P I - i n i t i a t e d   E v i c t i o n L e a r n   a b o u t   N o d e - p r e s s u r e   E v i c t i o n


Question: What is 10.12 - Node-pressure Eviction?

Answer: N o d e - p r e s s u r e   e v i c t i o n   i s   t h e   p r o c e s s   b y   w h i c h   t h e   k u b e l e t   p r o a c t i v e l y   t e r m i n a t e s   p o d s   t o   r e c l a i m   r e s o u r c e   o n   n o d e s .   T h e   k u b e l e t   m o n i t o r s   r e s o u r c e s   l i k e   m e m o r y ,   d i s k   s p a c e ,   a n d   f i l e s y s t e m   i n o d e s   o n   y o u r   c l u s t e r ' s   n o d e s .   W h e n   o n e   o r   m o r e   o f   t h e s e   r e s o u r c e s   r e a c h   s p e c i f i c   c o n s u m p t i o n   l e v e l s ,   t h e   k u b e l e t   c a n   p r o a c t i v e l y   f a i l   o n e   o r   m o r e   p o d s   o n   t h e   n o d e   t o   r e c l a i m   r e s o u r c e s   a n d   p r e v e n t   s t a r v a t i o n .   D u r i n g   a   n o d e - p r e s s u r e   e v i c t i o n ,   t h e   k u b e l e t   s e t s   t h e   p h a s e   f o r   t h e   s e l e c t e d   p o d s   t o   F a i l e d ,   a n d   t e r m i n a t e s   t h e   P o d .   N o d e - p r e s s u r e   e v i c t i o n   i s   n o t   t h e   s a m e   a s   A P I - i n i t i a t e d   e v i c t i o n .   T h e   k u b e l e t   d o e s   n o t   r e s p e c t   y o u r   c o n f i g u r e d   P o d D i s r u p t i o n B u d g e t   o r   t h e   p o d ' s   t e r m i n a t i o n G r a c e P e r i o d S e c o n d s .   I f   y o u   u s e   s o f t   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   r e s p e c t s   y o u r   c o n f i g u r e d   e v i c t i o n - m a x - p o d - g r a c e - p e r i o d .   I f   y o u   u s e   h a r d   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   u s e s   a   0 s   g r a c e   p e r i o d   ( i m m e d i a t e   s h u t d o w n )   f o r   t e r m i n a t i o n .


Question: What is Self healing behavior?

Answer: T h e   k u b e l e t   a t t e m p t s   t o   r e c l a i m   n o d e - l e v e l   r e s o u r c e s   b e f o r e   i t   t e r m i n a t e s   e n d - u s e r   p o d s .   F o r   e x a m p l e ,   i t   r e m o v e s   u n u s e d   c o n t a i n e r   i m a g e s   w h e n   d i s k   r e s o u r c e s   a r e   s t a r v e d .   I f   t h e   p o d s   a r e   m a n a g e d   b y   a   w o r k l o a d   m a n a g e m e n t   o b j e c t   ( s u c h   a s   S t a t e f u l S e t   o r   D e p l o y m e n t )   t h a t   r e p l a c e s   f a i l e d   p o d s ,   t h e   c o n t r o l   p l a n e   ( k u b e - c o n t r o l l e r - m a n a g e r )   c r e a t e s   n e w   p o d s   i n   p l a c e   o f   t h e   e v i c t e d   p o d s .


Question: What is Self healing for static pods?

Answer: I f   y o u   a r e   r u n n i n g   a   s t a t i c   p o d   o n   a   n o d e   t h a t   i s   u n d e r   r e s o u r c e   p r e s s u r e ,   t h e   k u b e l e t   m a y   e v i c t   t h a t   s t a t i c   P o d .   T h e   k u b e l e t   t h e n   t r i e s   t o   c r e a t e   a   r e p l a c e m e n t ,   b e c a u s e   s t a t i c   P o d s   a l w a y s   r e p r e s e n t   a n   i n t e n t   t o   r u n   a   P o d   o n   t h a t   n o d e .   T h e   k u b e l e t   t a k e s   t h e   p r i o r i t y   o f   t h e   s t a t i c   p o d   i n t o   a c c o u n t   w h e n   c r e a t i n g   a   r e p l a c e m e n t .   I f   t h e   s t a t i c   p o d   m a n i f e s t   s p e c i f i e s   a   l o w   p r i o r i t y ,   a n d   t h e r e   a r e   h i g h e r - p r i o r i t y   P o d s   d e f i n e d   w i t h i n   t h e   c l u s t e r ' s   c o n t r o l   p l a n e ,   a n d   t h e   n o d e   i s   u n d e r   r e s o u r c e   p r e s s u r e ,   t h e   k u b e l e t   m a y   n o t   b e   a b l e   t o   m a k e   r o o m   f o r   t h a t   s t a t i c   p o d .   T h e   k u b e l e t   c o n t i n u e s   t o   a t t e m p t   t o   r u n   a l l   s t a t i c   p o d s   e v e n   w h e n   t h e r e   i s   r e s o u r c e   p r e s s u r e   o n   a   n o d e .


Question: What is Eviction signals and thresholds?

Answer: T h e   k u b e l e t   u s e s   v a r i o u s   p a r a m e t e r s   t o   m a k e   e v i c t i o n   d e c i s i o n s ,   l i k e   t h e   f o l l o w i n g :   E v i c t i o n   s i g n a l s E v i c t i o n   t h r e s h o l d s M o n i t o r i n g   i n t e r v a l s


Question: What is Eviction signals?

Answer: E v i c t i o n   s i g n a l s   a r e   t h e   c u r r e n t   s t a t e   o f   a   p a r t i c u l a r   r e s o u r c e   a t   a   s p e c i f i c   p o i n t   i n   t i m e .   T h e   k u b e l e t   u s e s   e v i c t i o n   s i g n a l s   t o   m a k e   e v i c t i o n   d e c i s i o n s   b y   c o m p a r i n g   t h e   s i g n a l s   t o   e v i c t i o n   t h r e s h o l d s ,   w h i c h   a r e   t h e   m i n i m u m   a m o u n t   o f   t h e   r e s o u r c e   t h a t   s h o u l d   b e   a v a i l a b l e   o n   t h e   n o d e .   T h e   k u b e l e t   u s e s   t h e   f o l l o w i n g   e v i c t i o n   s i g n a l s :   I n   t h i s   t a b l e ,   t h e   D e s c r i p t i o n   c o l u m n   s h o w s   h o w   k u b e l e t   g e t s   t h e   v a l u e   o f   t h e   s i g n a l .   E a c h   s i g n a l   s u p p o r t s   e i t h e r   a   p e r c e n t a g e   o r   a   l i t e r a l   v a l u e .   T h e   k u b e l e t   c a l c u l a t e s   t h e   p e r c e n t a g e   v a l u e   r e l a t i v e   t o   t h e   t o t a l   c a p a c i t y   a s s o c i a t e d   w i t h   t h e   s i g n a l .


Question: What is Memory signals?

Answer: O n   L i n u x   n o d e s ,   t h e   v a l u e   f o r   m e m o r y . a v a i l a b l e   i s   d e r i v e d   f r o m   t h e   c g r o u p f s   i n s t e a d   o f   t o o l s   l i k e   f r e e   - m .   T h i s   i s   i m p o r t a n t   b e c a u s e   f r e e   - m   d o e s   n o t   w o r k   i n   a   c o n t a i n e r ,   a n d   i f   u s e r s   u s e   t h e   n o d e   a l l o c a t a b l e   f e a t u r e ,   o u t   o f   r e s o u r c e   d e c i s i o n s   a r e   m a d e   l o c a l   t o   t h e   e n d   u s e r   P o d   p a r t   o f   t h e   c g r o u p   h i e r a r c h y   a s   w e l l   a s   t h e   r o o t   n o d e .   T h i s   s c r i p t   o r   c g r o u p v 2   s c r i p t   r e p r o d u c e s   t h e   s a m e   s e t   o f   s t e p s   t h a t   t h e   k u b e l e t   p e r f o r m s   t o   c a l c u l a t e   m e m o r y . a v a i l a b l e .   T h e   k u b e l e t   e x c l u d e s   i n a c t i v e _ f i l e   ( t h e   n u m b e r   o f   b y t e s   o f   f i l e - b a c k e d   m e m o r y   o n   t h e   i n a c t i v e   L R U   l i s t )   f r o m   i t s   c a l c u l a t i o n ,   a s   i t   a s s u m e s   t h a t   m e m o r y   i s   r e c l a i m a b l e   u n d e r   p r e s s u r e .   O n   W i n d o w s   n o d e s ,   t h e   v a l u e   f o r   m e m o r y . a v a i l a b l e   i s   d e r i v e d   f r o m   t h e   n o d e ' s   g l o b a l   m e m o r y   c o m m i t   l e v e l s   ( q u e r i e d   t h r o u g h   t h e   G e t P e r f o r m a n c e I n f o ( )   s y s t e m   c a l l )   b y   s u b t r a c t i n g   t h e   n o d e ' s   g l o b a l   C o m m i t T o t a l   f r o m   t h e   n o d e ' s   C o m m i t L i m i t .   P l e a s e   n o t e   t h a t   C o m m i t L i m i t   c a n   c h a n g e   i f   t h e   n o d e ' s   p a g e - f i l e   s i z e   c h a n g e s !


Question: What is Filesystem signals?

Answer: T h e   k u b e l e t   r e c o g n i z e s   t h r e e   s p e c i f i c   f i l e s y s t e m   i d e n t i f i e r s   t h a t   c a n   b e   u s e d   w i t h   e v i c t i o n   s i g n a l s   ( < i d e n t i f i e r > . i n o d e s F r e e   o r   < i d e n t i f i e r > . a v a i l a b l e ) :   n o d e f s :   T h e   n o d e ' s   m a i n   f i l e s y s t e m ,   u s e d   f o r   l o c a l   d i s k   v o l u m e s ,   e m p t y D i r   v o l u m e s   n o t   b a c k e d   b y   m e m o r y ,   l o g   s t o r a g e ,   e p h e m e r a l   s t o r a g e ,   a n d   m o r e .   F o r   e x a m p l e ,   n o d e f s   c o n t a i n s   / v a r / l i b / k u b e l e t . i m a g e f s :   A n   o p t i o n a l   f i l e s y s t e m   t h a t   c o n t a i n e r   r u n t i m e s   c a n   u s e   t o   s t o r e   c o n t a i n e r   i m a g e s   ( w h i c h   a r e   t h e   r e a d - o n l y   l a y e r s )   a n d   c o n t a i n e r   w r i t a b l e   l a y e r s . c o n t a i n e r f s :   A n   o p t i o n a l   f i l e s y s t e m   t h a t   c o n t a i n e r   r u n t i m e   c a n   u s e   t o   s t o r e   t h e   w r i t e a b l e   l a y e r s .   S i m i l a r   t o   t h e   m a i n   f i l e s y s t e m   ( s e e   n o d e f s ) ,   i t ' s   u s e d   t o   s t o r e   l o c a l   d i s k   v o l u m e s ,   e m p t y D i r   v o l u m e s   n o t   b a c k e d   b y   m e m o r y ,   l o g   s t o r a g e ,   a n d   e p h e m e r a l   s t o r a g e ,   e x c e p t   f o r   t h e   c o n t a i n e r   i m a g e s .   W h e n   c o n t a i n e r f s   i s   u s e d ,   t h e   i m a g e f s   f i l e s y s t e m   c a n   b e   s p l i t   t o   o n l y   s t o r e   i m a g e s   ( r e a d - o n l y   l a y e r s )   a n d   n o t h i n g   e l s e .   n o d e f s :   T h e   n o d e ' s   m a i n   f i l e s y s t e m ,   u s e d   f o r   l o c a l   d i s k   v o l u m e s ,   e m p t y D i r   v o l u m e s   n o t   b a c k e d


Question: What is Note:?

Answer: T h e   s p l i t   i m a g e   f i l e s y s t e m   f e a t u r e ,   w h i c h   e n a b l e s   s u p p o r t   f o r   t h e   c o n t a i n e r f s   f i l e s y s t e m ,   a d d s   s e v e r a l   n e w   e v i c t i o n   s i g n a l s ,   t h r e s h o l d s   a n d   m e t r i c s .   T o   u s e   c o n t a i n e r f s ,   t h e   K u b e r n e t e s   r e l e a s e   v 1 . 3 4   r e q u i r e s   t h e   K u b e l e t S e p a r a t e D i s k G C   f e a t u r e   g a t e   t o   b e   e n a b l e d .   C u r r e n t l y ,   o n l y   C R I - O   ( v 1 . 2 9   o r   h i g h e r )   o f f e r s   t h e   c o n t a i n e r f s   f i l e s y s t e m   s u p p o r t .   A s   s u c h ,   k u b e l e t   g e n e r a l l y   a l l o w s   t h r e e   o p t i o n s   f o r   c o n t a i n e r   f i l e s y s t e m s :   E v e r y t h i n g   i s   o n   t h e   s i n g l e   n o d e f s ,   a l s o   r e f e r r e d   t o   a s   " r o o t f s "   o r   s i m p l y   " r o o t " ,   a n d   t h e r e   i s   n o   d e d i c a t e d   i m a g e   f i l e s y s t e m . C o n t a i n e r   s t o r a g e   ( s e e   n o d e f s )   i s   o n   a   d e d i c a t e d   d i s k ,   a n d   i m a g e f s   ( w r i t a b l e   a n d   r e a d - o n l y   l a y e r s )   i s   s e p a r a t e   f r o m   t h e   r o o t   f i l e s y s t e m .   T h i s   i s   o f t e n   r e f e r r e d   t o   a s   " s p l i t   d i s k "   ( o r   " s e p a r a t e   d i s k " )   f i l e s y s t e m . C o n t a i n e r   f i l e s y s t e m   c o n t a i n e r f s   ( s a m e   a s   n o d e f s   p l u s   w r i t a b l e   l a y e r s )   i s   o n   r o o t   a n d   t h e   c o n t a i n e r   i m a g e s   ( r e a d - o n l y   l a y e r s )   a r e   s t o r e d   o n   s e p a r a t e   i m a g e f s .   T h i s   i s   o f t e n   r e f e r r e d   t o   a s   " s p l i t   i m a g e "   f i l e s y s t e m .   E v e r y t h i n g   i s   o n   t h e   s i n g l e   n o d


Question: What is Deprecated kubelet garbage collection features?

Answer: S o m e   k u b e l e t   g a r b a g e   c o l l e c t i o n   f e a t u r e s   a r e   d e p r e c a t e d   i n   f a v o r   o f   e v i c t i o n :


Question: What is Eviction thresholds?

Answer: Y o u   c a n   s p e c i f y   c u s t o m   e v i c t i o n   t h r e s h o l d s   f o r   t h e   k u b e l e t   t o   u s e   w h e n   i t   m a k e s   e v i c t i o n   d e c i s i o n s .   Y o u   c a n   c o n f i g u r e   s o f t   a n d   h a r d   e v i c t i o n   t h r e s h o l d s .   E v i c t i o n   t h r e s h o l d s   h a v e   t h e   f o r m   [ e v i c t i o n - s i g n a l ] [ o p e r a t o r ] [ q u a n t i t y ] ,   w h e r e :   e v i c t i o n - s i g n a l   i s   t h e   e v i c t i o n   s i g n a l   t o   u s e . o p e r a t o r   i s   t h e   r e l a t i o n a l   o p e r a t o r   y o u   w a n t ,   s u c h   a s   <   ( l e s s   t h a n ) . q u a n t i t y   i s   t h e   e v i c t i o n   t h r e s h o l d   a m o u n t ,   s u c h   a s   1 G i .   T h e   v a l u e   o f   q u a n t i t y   m u s t   m a t c h   t h e   q u a n t i t y   r e p r e s e n t a t i o n   u s e d   b y   K u b e r n e t e s .   Y o u   c a n   u s e   e i t h e r   l i t e r a l   v a l u e s   o r   p e r c e n t a g e s   ( % ) .   F o r   e x a m p l e ,   i f   a   n o d e   h a s   1 0 G i B   o f   t o t a l   m e m o r y   a n d   y o u   w a n t   t r i g g e r   e v i c t i o n   i f   t h e   a v a i l a b l e   m e m o r y   f a l l s   b e l o w   1 G i B ,   y o u   c a n   d e f i n e   t h e   e v i c t i o n   t h r e s h o l d   a s   e i t h e r   m e m o r y . a v a i l a b l e < 1 0 %   o r   m e m o r y . a v a i l a b l e < 1 G i   ( y o u   c a n n o t   u s e   b o t h ) .


Question: What is Soft eviction thresholds?

Answer: A   s o f t   e v i c t i o n   t h r e s h o l d   p a i r s   a n   e v i c t i o n   t h r e s h o l d   w i t h   a   r e q u i r e d   a d m i n i s t r a t o r - s p e c i f i e d   g r a c e   p e r i o d .   T h e   k u b e l e t   d o e s   n o t   e v i c t   p o d s   u n t i l   t h e   g r a c e   p e r i o d   i s   e x c e e d e d .   T h e   k u b e l e t   r e t u r n s   a n   e r r o r   o n   s t a r t u p   i f   y o u   d o   n o t   s p e c i f y   a   g r a c e   p e r i o d .   Y o u   c a n   s p e c i f y   b o t h   a   s o f t   e v i c t i o n   t h r e s h o l d   g r a c e   p e r i o d   a n d   a   m a x i m u m   a l l o w e d   p o d   t e r m i n a t i o n   g r a c e   p e r i o d   f o r   k u b e l e t   t o   u s e   d u r i n g   e v i c t i o n s .   I f   y o u   s p e c i f y   a   m a x i m u m   a l l o w e d   g r a c e   p e r i o d   a n d   t h e   s o f t   e v i c t i o n   t h r e s h o l d   i s   m e t ,   t h e   k u b e l e t   u s e s   t h e   l e s s e r   o f   t h e   t w o   g r a c e   p e r i o d s .   I f   y o u   d o   n o t   s p e c i f y   a   m a x i m u m   a l l o w e d   g r a c e   p e r i o d ,   t h e   k u b e l e t   k i l l s   e v i c t e d   p o d s   i m m e d i a t e l y   w i t h o u t   g r a c e f u l   t e r m i n a t i o n .   Y o u   c a n   u s e   t h e   f o l l o w i n g   f l a g s   t o   c o n f i g u r e   s o f t   e v i c t i o n   t h r e s h o l d s :   e v i c t i o n - s o f t :   A   s e t   o f   e v i c t i o n   t h r e s h o l d s   l i k e   m e m o r y . a v a i l a b l e < 1 . 5 G i   t h a t   c a n   t r i g g e r   p o d   e v i c t i o n   i f   h e l d   o v e r   t h e   s p e c i f i e d   g r a c e   p e r i o d . e v i c t i o n - s o f t - g r a c e - p e r i o d :   A   s e t   o f   e v i c t i o n   g r a c e   p e r i o d s   l i k e   m e m o r y . a v a i l a b l e = 1 m 3 0 s   t h a t   d e f i n e   h o w   l o n g   a   s o f t   e v


Question: What is Hard eviction thresholds?

Answer: A   h a r d   e v i c t i o n   t h r e s h o l d   h a s   n o   g r a c e   p e r i o d .   W h e n   a   h a r d   e v i c t i o n   t h r e s h o l d   i s   m e t ,   t h e   k u b e l e t   k i l l s   p o d s   i m m e d i a t e l y   w i t h o u t   g r a c e f u l   t e r m i n a t i o n   t o   r e c l a i m   t h e   s t a r v e d   r e s o u r c e .   Y o u   c a n   u s e   t h e   e v i c t i o n - h a r d   f l a g   t o   c o n f i g u r e   a   s e t   o f   h a r d   e v i c t i o n   t h r e s h o l d s   l i k e   m e m o r y . a v a i l a b l e < 1 G i .   T h e   k u b e l e t   h a s   t h e   f o l l o w i n g   d e f a u l t   h a r d   e v i c t i o n   t h r e s h o l d s :   m e m o r y . a v a i l a b l e < 1 0 0 M i   ( L i n u x   n o d e s ) m e m o r y . a v a i l a b l e < 5 0 0 M i   ( W i n d o w s   n o d e s ) n o d e f s . a v a i l a b l e < 1 0 % i m a g e f s . a v a i l a b l e < 1 5 % n o d e f s . i n o d e s F r e e < 5 %   ( L i n u x   n o d e s ) i m a g e f s . i n o d e s F r e e < 5 %   ( L i n u x   n o d e s )   T h e s e   d e f a u l t   v a l u e s   o f   h a r d   e v i c t i o n   t h r e s h o l d s   w i l l   o n l y   b e   s e t   i f   n o n e   o f   t h e   p a r a m e t e r s   i s   c h a n g e d .   I f   y o u   c h a n g e   t h e   v a l u e   o f   a n y   p a r a m e t e r ,   t h e n   t h e   v a l u e s   o f   o t h e r   p a r a m e t e r s   w i l l   n o t   b e   i n h e r i t e d   a s   t h e   d e f a u l t   v a l u e s   a n d   w i l l   b e   s e t   t o   z e r o .   I n   o r d e r   t o   p r o v i d e   c u s t o m   v a l u e s ,   y o u   s h o u l d   p r o v i d e   a l l   t h e   t h r e s h o l d s   r e s p e c t i v e l y .   Y o u   c a n   a l s o   s e t   t h e   k u b e l e t   c o n f i g   M e r g e D e f a u l t E v i c t i o n S e t t i n g s   t o   t r u e   i n   t h e   k u b e l e t   c o n f i g u r a t i o n   f i l e .   I f   s e t   t o   t r u


Question: What is Eviction monitoring interval?

Answer: T h e   k u b e l e t   e v a l u a t e s   e v i c t i o n   t h r e s h o l d s   b a s e d   o n   i t s   c o n f i g u r e d   h o u s e k e e p i n g - i n t e r v a l ,   w h i c h   d e f a u l t s   t o   1 0 s .


Question: What is Node conditions?

Answer: T h e   k u b e l e t   r e p o r t s   n o d e   c o n d i t i o n s   t o   r e f l e c t   t h a t   t h e   n o d e   i s   u n d e r   p r e s s u r e   b e c a u s e   h a r d   o r   s o f t   e v i c t i o n   t h r e s h o l d   i s   m e t ,   i n d e p e n d e n t   o f   c o n f i g u r e d   g r a c e   p e r i o d s .   T h e   k u b e l e t   m a p s   e v i c t i o n   s i g n a l s   t o   n o d e   c o n d i t i o n s   a s   f o l l o w s :   T h e   c o n t r o l   p l a n e   a l s o   m a p s   t h e s e   n o d e   c o n d i t i o n s   t o   t a i n t s .   T h e   k u b e l e t   u p d a t e s   t h e   n o d e   c o n d i t i o n s   b a s e d   o n   t h e   c o n f i g u r e d   - - n o d e - s t a t u s - u p d a t e - f r e q u e n c y ,   w h i c h   d e f a u l t s   t o   1 0 s .


Question: What is Node condition oscillation?

Answer: I n   s o m e   c a s e s ,   n o d e s   o s c i l l a t e   a b o v e   a n d   b e l o w   s o f t   e v i c t i o n   t h r e s h o l d s   w i t h o u t   h o l d i n g   f o r   t h e   d e f i n e d   g r a c e   p e r i o d s .   T h i s   c a u s e s   t h e   r e p o r t e d   n o d e   c o n d i t i o n   t o   c o n s t a n t l y   s w i t c h   b e t w e e n   t r u e   a n d   f a l s e ,   l e a d i n g   t o   b a d   e v i c t i o n   d e c i s i o n s .   T o   p r o t e c t   a g a i n s t   o s c i l l a t i o n ,   y o u   c a n   u s e   t h e   e v i c t i o n - p r e s s u r e - t r a n s i t i o n - p e r i o d   f l a g ,   w h i c h   c o n t r o l s   h o w   l o n g   t h e   k u b e l e t   m u s t   w a i t   b e f o r e   t r a n s i t i o n i n g   a   n o d e   c o n d i t i o n   t o   a   d i f f e r e n t   s t a t e .   T h e   t r a n s i t i o n   p e r i o d   h a s   a   d e f a u l t   v a l u e   o f   5 m .


Question: What is Reclaiming node level resources?

Answer: T h e   k u b e l e t   t r i e s   t o   r e c l a i m   n o d e - l e v e l   r e s o u r c e s   b e f o r e   i t   e v i c t s   e n d - u s e r   p o d s .   W h e n   a   D i s k P r e s s u r e   n o d e   c o n d i t i o n   i s   r e p o r t e d ,   t h e   k u b e l e t   r e c l a i m s   n o d e - l e v e l   r e s o u r c e s   b a s e d   o n   t h e   f i l e s y s t e m s   o n   t h e   n o d e .


Question: What is Without imagefs or containerfs?

Answer: I f   t h e   n o d e   o n l y   h a s   a   n o d e f s   f i l e s y s t e m   t h a t   m e e t s   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   f r e e s   u p   d i s k   s p a c e   i n   t h e   f o l l o w i n g   o r d e r :   G a r b a g e   c o l l e c t   d e a d   p o d s   a n d   c o n t a i n e r s . D e l e t e   u n u s e d   i m a g e s .


Question: What is With imagefs?

Answer: I f   t h e   n o d e   h a s   a   d e d i c a t e d   i m a g e f s   f i l e s y s t e m   f o r   c o n t a i n e r   r u n t i m e s   t o   u s e ,   t h e   k u b e l e t   d o e s   t h e   f o l l o w i n g :   I f   t h e   n o d e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   g a r b a g e   c o l l e c t s   d e a d   p o d s   a n d   c o n t a i n e r s . I f   t h e   i m a g e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   d e l e t e s   a l l   u n u s e d   i m a g e s .   I f   t h e   n o d e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   g a r b a g e   c o l l e c t s   d e a d   p o d s   a n d   c o n t a i n e r s .   I f   t h e   i m a g e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   d e l e t e s   a l l   u n u s e d   i m a g e s .


Question: What is With imagefs and containerfs?

Answer: I f   t h e   n o d e   h a s   a   d e d i c a t e d   c o n t a i n e r f s   a l o n g s i d e   t h e   i m a g e f s   f i l e s y s t e m   c o n f i g u r e d   f o r   t h e   c o n t a i n e r   r u n t i m e s   t o   u s e ,   t h e n   k u b e l e t   w i l l   a t t e m p t   t o   r e c l a i m   r e s o u r c e s   a s   f o l l o w s :   I f   t h e   c o n t a i n e r f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   g a r b a g e   c o l l e c t s   d e a d   p o d s   a n d   c o n t a i n e r s . I f   t h e   i m a g e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   d e l e t e s   a l l   u n u s e d   i m a g e s .   I f   t h e   c o n t a i n e r f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   g a r b a g e   c o l l e c t s   d e a d   p o d s   a n d   c o n t a i n e r s .   I f   t h e   i m a g e f s   f i l e s y s t e m   m e e t s   t h e   e v i c t i o n   t h r e s h o l d s ,   t h e   k u b e l e t   d e l e t e s   a l l   u n u s e d   i m a g e s .


Question: What is Pod selection for kubelet eviction?

Answer: I f   t h e   k u b e l e t ' s   a t t e m p t s   t o   r e c l a i m   n o d e - l e v e l   r e s o u r c e s   d o n ' t   b r i n g   t h e   e v i c t i o n   s i g n a l   b e l o w   t h e   t h r e s h o l d ,   t h e   k u b e l e t   b e g i n s   t o   e v i c t   e n d - u s e r   p o d s .   T h e   k u b e l e t   u s e s   t h e   f o l l o w i n g   p a r a m e t e r s   t o   d e t e r m i n e   t h e   p o d   e v i c t i o n   o r d e r :   W h e t h e r   t h e   p o d ' s   r e s o u r c e   u s a g e   e x c e e d s   r e q u e s t s P o d   P r i o r i t y T h e   p o d ' s   r e s o u r c e   u s a g e   r e l a t i v e   t o   r e q u e s t s   A s   a   r e s u l t ,   k u b e l e t   r a n k s   a n d   e v i c t s   p o d s   i n   t h e   f o l l o w i n g   o r d e r :   B e s t E f f o r t   o r   B u r s t a b l e   p o d s   w h e r e   t h e   u s a g e   e x c e e d s   r e q u e s t s .   T h e s e   p o d s   a r e   e v i c t e d   b a s e d   o n   t h e i r   P r i o r i t y   a n d   t h e n   b y   h o w   m u c h   t h e i r   u s a g e   l e v e l   e x c e e d s   t h e   r e q u e s t . G u a r a n t e e d   p o d s   a n d   B u r s t a b l e   p o d s   w h e r e   t h e   u s a g e   i s   l e s s   t h a n   r e q u e s t s   a r e   e v i c t e d   l a s t ,   b a s e d   o n   t h e i r   P r i o r i t y .   B e s t E f f o r t   o r   B u r s t a b l e   p o d s   w h e r e   t h e   u s a g e   e x c e e d s   r e q u e s t s .   T h e s e   p o d s   a r e   e v i c t e d   b a s e d   o n   t h e i r   P r i o r i t y   a n d   t h e n   b y   h o w   m u c h   t h e i r   u s a g e   l e v e l   e x c e e d s   t h e   r e q u e s t .   G u a r a n t e e d   p o d s   a n d   B u r s t a b l e   p o d s   w h e r e   t h e   u s a g e   i s   l e s s   t h a n   r e q u e s t s   a r e   e v i c t e d   l a s t ,   b a s e d   o n   t h e i r   P r i o r i t y .


Question: What is Note:?

Answer: G u a r a n t e e d   p o d s   a r e   g u a r a n t e e d   o n l y   w h e n   r e q u e s t s   a n d   l i m i t s   a r e   s p e c i f i e d   f o r   a l l   t h e   c o n t a i n e r s   a n d   t h e y   a r e   e q u a l .   T h e s e   p o d s   w i l l   n e v e r   b e   e v i c t e d   b e c a u s e   o f   a n o t h e r   p o d ' s   r e s o u r c e   c o n s u m p t i o n .   I f   a   s y s t e m   d a e m o n   ( s u c h   a s   k u b e l e t   a n d   j o u r n a l d )   i s   c o n s u m i n g   m o r e   r e s o u r c e s   t h a n   w e r e   r e s e r v e d   v i a   s y s t e m - r e s e r v e d   o r   k u b e - r e s e r v e d   a l l o c a t i o n s ,   a n d   t h e   n o d e   o n l y   h a s   G u a r a n t e e d   o r   B u r s t a b l e   p o d s   u s i n g   l e s s   r e s o u r c e s   t h a n   r e q u e s t s   l e f t   o n   i t ,   t h e n   t h e   k u b e l e t   m u s t   c h o o s e   t o   e v i c t   o n e   o f   t h e s e   p o d s   t o   p r e s e r v e   n o d e   s t a b i l i t y   a n d   t o   l i m i t   t h e   i m p a c t   o f   r e s o u r c e   s t a r v a t i o n   o n   o t h e r   p o d s .   I n   t h i s   c a s e ,   i t   w i l l   c h o o s e   t o   e v i c t   p o d s   o f   l o w e s t   P r i o r i t y   f i r s t .   I f   y o u   a r e   r u n n i n g   a   s t a t i c   p o d   a n d   w a n t   t o   a v o i d   h a v i n g   i t   e v i c t e d   u n d e r   r e s o u r c e   p r e s s u r e ,   s e t   t h e   p r i o r i t y   f i e l d   f o r   t h a t   P o d   d i r e c t l y .   S t a t i c   p o d s   d o   n o t   s u p p o r t   t h e   p r i o r i t y C l a s s N a m e   f i e l d .   W h e n   t h e   k u b e l e t   e v i c t s   p o d s   i n   r e s p o n s e   t o   i n o d e   o r   p r o c e s s   I D   s t a r v a t i o n ,   i t   u s e s   t h e   P o d s '   r e l a t i v e   p r i o r i t y   t o   d e t e r m i n e   t h e   e v i c t i o n   o r d e r ,   b e c


Question: What is Without imagefs or containerfs (nodefs and imagefs use the same filesystem)?

Answer: I f   n o d e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   t h e i r   t o t a l   d i s k   u s a g e   ( l o c a l   v o l u m e s   +   l o g s   a n d   a   w r i t a b l e   l a y e r   o f   a l l   c o n t a i n e r s ) .


Question: What is With imagefs (nodefs and imagefs filesystems are separate)?

Answer: I f   n o d e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   n o d e f s   u s a g e   ( l o c a l   v o l u m e s   +   l o g s   o f   a l l   c o n t a i n e r s ) . I f   i m a g e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   t h e   w r i t a b l e   l a y e r   u s a g e   o f   a l l   c o n t a i n e r s .   I f   n o d e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   n o d e f s   u s a g e   ( l o c a l   v o l u m e s   +   l o g s   o f   a l l   c o n t a i n e r s ) .   I f   i m a g e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   t h e   w r i t a b l e   l a y e r   u s a g e   o f   a l l   c o n t a i n e r s .


Question: What is With imagesfs and containerfs (imagefs and containerfs have been split)?

Answer: I f   c o n t a i n e r f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   c o n t a i n e r f s   u s a g e   ( l o c a l   v o l u m e s   +   l o g s   a n d   a   w r i t a b l e   l a y e r   o f   a l l   c o n t a i n e r s ) . I f   i m a g e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   t h e   s t o r a g e   o f   i m a g e s   r a n k ,   w h i c h   r e p r e s e n t s   t h e   d i s k   u s a g e   o f   a   g i v e n   i m a g e .   I f   c o n t a i n e r f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   c o n t a i n e r f s   u s a g e   ( l o c a l   v o l u m e s   +   l o g s   a n d   a   w r i t a b l e   l a y e r   o f   a l l   c o n t a i n e r s ) .   I f   i m a g e f s   t r i g g e r s   e v i c t i o n s ,   t h e   k u b e l e t   s o r t s   p o d s   b a s e d   o n   t h e   s t o r a g e   o f   i m a g e s   r a n k ,   w h i c h   r e p r e s e n t s   t h e   d i s k   u s a g e   o f   a   g i v e n   i m a g e .


Question: What is Note:?

Answer: I n   s o m e   c a s e s ,   p o d   e v i c t i o n   o n l y   r e c l a i m s   a   s m a l l   a m o u n t   o f   t h e   s t a r v e d   r e s o u r c e .   T h i s   c a n   l e a d   t o   t h e   k u b e l e t   r e p e a t e d l y   h i t t i n g   t h e   c o n f i g u r e d   e v i c t i o n   t h r e s h o l d s   a n d   t r i g g e r i n g   m u l t i p l e   e v i c t i o n s .   Y o u   c a n   u s e   t h e   - - e v i c t i o n - m i n i m u m - r e c l a i m   f l a g   o r   a   k u b e l e t   c o n f i g   f i l e   t o   c o n f i g u r e   a   m i n i m u m   r e c l a i m   a m o u n t   f o r   e a c h   r e s o u r c e .   W h e n   t h e   k u b e l e t   n o t i c e s   t h a t   a   r e s o u r c e   i s   s t a r v e d ,   i t   c o n t i n u e s   t o   r e c l a i m   t h a t   r e s o u r c e   u n t i l   i t   r e c l a i m s   t h e   q u a n t i t y   y o u   s p e c i f y .   F o r   e x a m p l e ,   t h e   f o l l o w i n g   c o n f i g u r a t i o n   s e t s   m i n i m u m   r e c l a i m   a m o u n t s :   a p i V e r s i o n :   k u b e l e t . c o n f i g . k 8 s . i o / v 1 b e t a 1   k i n d :   K u b e l e t C o n f i g u r a t i o n   e v i c t i o n H a r d :   m e m o r y . a v a i l a b l e :   " 5 0 0 M i "   n o d e f s . a v a i l a b l e :   " 1 G i "   i m a g e f s . a v a i l a b l e :   " 1 0 0 G i "   e v i c t i o n M i n i m u m R e c l a i m :   m e m o r y . a v a i l a b l e :   " 0 M i "   n o d e f s . a v a i l a b l e :   " 5 0 0 M i "   i m a g e f s . a v a i l a b l e :   " 2 G i "   I n   t h i s   e x a m p l e ,   i f   t h e   n o d e f s . a v a i l a b l e   s i g n a l   m e e t s   t h e   e v i c t i o n   t h r e s h o l d ,   t h e   k u b e l e t   r e c l a i m s   t h e   r e s o u r c e   u n t i l   t h e   s i g n a l   r e a c h e s   t h e   t h r e s h o l d   o f   1 G i B ,   a n d   t h e n   c o n t i n u e s   t o   r e c l a i m   t h e   m i n i m u m   a m o


Question: What is Node out of memory behavior?

Answer: I f   t h e   n o d e   e x p e r i e n c e s   a n   o u t   o f   m e m o r y   ( O O M )   e v e n t   p r i o r   t o   t h e   k u b e l e t   b e i n g   a b l e   t o   r e c l a i m   m e m o r y ,   t h e   n o d e   d e p e n d s   o n   t h e   o o m _ k i l l e r   t o   r e s p o n d .   T h e   k u b e l e t   s e t s   a n   o o m _ s c o r e _ a d j   v a l u e   f o r   e a c h   c o n t a i n e r   b a s e d   o n   t h e   Q o S   f o r   t h e   p o d .


Question: What is Note:?

Answer: I f   t h e   k u b e l e t   c a n ' t   r e c l a i m   m e m o r y   b e f o r e   a   n o d e   e x p e r i e n c e s   O O M ,   t h e   o o m _ k i l l e r   c a l c u l a t e s   a n   o o m _ s c o r e   b a s e d   o n   t h e   p e r c e n t a g e   o f   m e m o r y   i t ' s   u s i n g   o n   t h e   n o d e ,   a n d   t h e n   a d d s   t h e   o o m _ s c o r e _ a d j   t o   g e t   a n   e f f e c t i v e   o o m _ s c o r e   f o r   e a c h   c o n t a i n e r .   I t   t h e n   k i l l s   t h e   c o n t a i n e r   w i t h   t h e   h i g h e s t   s c o r e .   T h i s   m e a n s   t h a t   c o n t a i n e r s   i n   l o w   Q o S   p o d s   t h a t   c o n s u m e   a   l a r g e   a m o u n t   o f   m e m o r y   r e l a t i v e   t o   t h e i r   s c h e d u l i n g   r e q u e s t s   a r e   k i l l e d   f i r s t .   U n l i k e   p o d   e v i c t i o n ,   i f   a   c o n t a i n e r   i s   O O M   k i l l e d ,   t h e   k u b e l e t   c a n   r e s t a r t   i t   b a s e d   o n   i t s   r e s t a r t P o l i c y .


Question: What is Good practices?

Answer: T h e   f o l l o w i n g   s e c t i o n s   d e s c r i b e   g o o d   p r a c t i c e   f o r   e v i c t i o n   c o n f i g u r a t i o n .


Question: What is Schedulable resources and eviction policies?

Answer: W h e n   y o u   c o n f i g u r e   t h e   k u b e l e t   w i t h   a n   e v i c t i o n   p o l i c y ,   y o u   s h o u l d   m a k e   s u r e   t h a t   t h e   s c h e d u l e r   w i l l   n o t   s c h e d u l e   p o d s   i f   t h e y   w i l l   t r i g g e r   e v i c t i o n   b e c a u s e   t h e y   i m m e d i a t e l y   i n d u c e   m e m o r y   p r e s s u r e .   C o n s i d e r   t h e   f o l l o w i n g   s c e n a r i o :   N o d e   m e m o r y   c a p a c i t y :   1 0 G i B O p e r a t o r   w a n t s   t o   r e s e r v e   1 0 %   o f   m e m o r y   c a p a c i t y   f o r   s y s t e m   d a e m o n s   ( k e r n e l ,   k u b e l e t ,   e t c . ) O p e r a t o r   w a n t s   t o   e v i c t   P o d s   a t   9 5 %   m e m o r y   u t i l i z a t i o n   t o   r e d u c e   i n c i d e n c e   o f   s y s t e m   O O M .   F o r   t h i s   t o   w o r k ,   t h e   k u b e l e t   i s   l a u n c h e d   a s   f o l l o w s :   - - e v i c t i o n - h a r d = m e m o r y . a v a i l a b l e < 5 0 0 M i   - - s y s t e m - r e s e r v e d = m e m o r y = 1 . 5 G i   I n   t h i s   c o n f i g u r a t i o n ,   t h e   - - s y s t e m - r e s e r v e d   f l a g   r e s e r v e s   1 . 5 G i B   o f   m e m o r y   f o r   t h e   s y s t e m ,   w h i c h   i s   1 0 %   o f   t h e   t o t a l   m e m o r y   +   t h e   e v i c t i o n   t h r e s h o l d   a m o u n t .   T h e   n o d e   c a n   r e a c h   t h e   e v i c t i o n   t h r e s h o l d   i f   a   p o d   i s   u s i n g   m o r e   t h a n   i t s   r e q u e s t ,   o r   i f   t h e   s y s t e m   i s   u s i n g   m o r e   t h a n   1 G i B   o f   m e m o r y ,   w h i c h   m a k e s   t h e   m e m o r y . a v a i l a b l e   s i g n a l   f a l l   b e l o w   5 0 0 M i B   a n d   t r i g g e r s   t h e   t h r e s h o l d .


Question: What is DaemonSets and node-pressure eviction?

Answer: P o d   p r i o r i t y   i s   a   m a j o r   f a c t o r   i n   m a k i n g   e v i c t i o n   d e c i s i o n s .   I f   y o u   d o   n o t   w a n t   t h e   k u b e l e t   t o   e v i c t   p o d s   t h a t   b e l o n g   t o   a   D a e m o n S e t ,   g i v e   t h o s e   p o d s   a   h i g h   e n o u g h   p r i o r i t y   b y   s p e c i f y i n g   a   s u i t a b l e   p r i o r i t y C l a s s N a m e   i n   t h e   p o d   s p e c .   Y o u   c a n   a l s o   u s e   a   l o w e r   p r i o r i t y ,   o r   t h e   d e f a u l t ,   t o   o n l y   a l l o w   p o d s   f r o m   t h a t   D a e m o n S e t   t o   r u n   w h e n   t h e r e   a r e   e n o u g h   r e s o u r c e s .


Question: What is Known issues?

Answer: T h e   f o l l o w i n g   s e c t i o n s   d e s c r i b e   k n o w n   i s s u e s   r e l a t e d   t o   o u t   o f   r e s o u r c e   h a n d l i n g .


Question: What is kubelet may not observe memory pressure right away?

Answer: B y   d e f a u l t ,   t h e   k u b e l e t   p o l l s   c A d v i s o r   t o   c o l l e c t   m e m o r y   u s a g e   s t a t s   a t   a   r e g u l a r   i n t e r v a l .   I f   m e m o r y   u s a g e   i n c r e a s e s   w i t h i n   t h a t   w i n d o w   r a p i d l y ,   t h e   k u b e l e t   m a y   n o t   o b s e r v e   M e m o r y P r e s s u r e   f a s t   e n o u g h ,   a n d   t h e   O O M   k i l l e r   w i l l   s t i l l   b e   i n v o k e d .   Y o u   c a n   u s e   t h e   - - k e r n e l - m e m c g - n o t i f i c a t i o n   f l a g   t o   e n a b l e   t h e   m e m c g   n o t i f i c a t i o n   A P I   o n   t h e   k u b e l e t   t o   g e t   n o t i f i e d   i m m e d i a t e l y   w h e n   a   t h r e s h o l d   i s   c r o s s e d .   I f   y o u   a r e   n o t   t r y i n g   t o   a c h i e v e   e x t r e m e   u t i l i z a t i o n ,   b u t   a   s e n s i b l e   m e a s u r e   o f   o v e r c o m m i t ,   a   v i a b l e   w o r k a r o u n d   f o r   t h i s   i s s u e   i s   t o   u s e   t h e   - - k u b e - r e s e r v e d   a n d   - - s y s t e m - r e s e r v e d   f l a g s   t o   a l l o c a t e   m e m o r y   f o r   t h e   s y s t e m .


Question: What is active_file memory is not considered as available memory?

Answer: O n   L i n u x ,   t h e   k e r n e l   t r a c k s   t h e   n u m b e r   o f   b y t e s   o f   f i l e - b a c k e d   m e m o r y   o n   a c t i v e   l e a s t   r e c e n t l y   u s e d   ( L R U )   l i s t   a s   t h e   a c t i v e _ f i l e   s t a t i s t i c .   T h e   k u b e l e t   t r e a t s   a c t i v e _ f i l e   m e m o r y   a r e a s   a s   n o t   r e c l a i m a b l e .   F o r   w o r k l o a d s   t h a t   m a k e   i n t e n s i v e   u s e   o f   b l o c k - b a c k e d   l o c a l   s t o r a g e ,   i n c l u d i n g   e p h e m e r a l   l o c a l   s t o r a g e ,   k e r n e l - l e v e l   c a c h e s   o f   f i l e   a n d   b l o c k   d a t a   m e a n s   t h a t   m a n y   r e c e n t l y   a c c e s s e d   c a c h e   p a g e s   a r e   l i k e l y   t o   b e   c o u n t e d   a s   a c t i v e _ f i l e .   I f   e n o u g h   o f   t h e s e   k e r n e l   b l o c k   b u f f e r s   a r e   o n   t h e   a c t i v e   L R U   l i s t ,   t h e   k u b e l e t   i s   l i a b l e   t o   o b s e r v e   t h i s   a s   h i g h   r e s o u r c e   u s e   a n d   t a i n t   t h e   n o d e   a s   e x p e r i e n c i n g   m e m o r y   p r e s s u r e   -   t r i g g e r i n g   p o d   e v i c t i o n .   F o r   m o r e   d e t a i l s ,   s e e   h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / k u b e r n e t e s / i s s u e s / 4 3 9 1 6   Y o u   c a n   w o r k   a r o u n d   t h a t   b e h a v i o r   b y   s e t t i n g   t h e   m e m o r y   l i m i t   a n d   m e m o r y   r e q u e s t   t h e   s a m e   f o r   c o n t a i n e r s   l i k e l y   t o   p e r f o r m   i n t e n s i v e   I / O   a c t i v i t y .   Y o u   w i l l   n e e d   t o   e s t i m a t e   o r   m e a s u r e   a n   o p t i m a l   m e m o r y   l i m i t   v a l u e   f o r   t h a t   c o n t a i n e r .


Question: What is What's next?

Answer: L e a r n   a b o u t   A P I - i n i t i a t e d   E v i c t i o n L e a r n   a b o u t   P o d   P r i o r i t y   a n d   P r e e m p t i o n L e a r n   a b o u t   P o d D i s r u p t i o n B u d g e t s L e a r n   a b o u t   Q u a l i t y   o f   S e r v i c e   ( Q o S ) C h e c k   o u t   t h e   E v i c t i o n   A P I


Question: What is 10.13 - API-initiated Eviction?

Answer: A P I - i n i t i a t e d   e v i c t i o n   i s   t h e   p r o c e s s   b y   w h i c h   y o u   u s e   t h e   E v i c t i o n   A P I   t o   c r e a t e   a n   E v i c t i o n   o b j e c t   t h a t   t r i g g e r s   g r a c e f u l   p o d   t e r m i n a t i o n .   Y o u   c a n   r e q u e s t   e v i c t i o n   b y   c a l l i n g   t h e   E v i c t i o n   A P I   d i r e c t l y ,   o r   p r o g r a m m a t i c a l l y   u s i n g   a   c l i e n t   o f   t h e   A P I   s e r v e r ,   l i k e   t h e   k u b e c t l   d r a i n   c o m m a n d .   T h i s   c r e a t e s   a n   E v i c t i o n   o b j e c t ,   w h i c h   c a u s e s   t h e   A P I   s e r v e r   t o   t e r m i n a t e   t h e   P o d .   A P I - i n i t i a t e d   e v i c t i o n s   r e s p e c t   y o u r   c o n f i g u r e d   P o d D i s r u p t i o n B u d g e t s   a n d   t e r m i n a t i o n G r a c e P e r i o d S e c o n d s .   U s i n g   t h e   A P I   t o   c r e a t e   a n   E v i c t i o n   o b j e c t   f o r   a   P o d   i s   l i k e   p e r f o r m i n g   a   p o l i c y - c o n t r o l l e d   D E L E T E   o p e r a t i o n   o n   t h e   P o d .


Question: What is Calling the Eviction API?

Answer: Y o u   c a n   u s e   a   K u b e r n e t e s   l a n g u a g e   c l i e n t   t o   a c c e s s   t h e   K u b e r n e t e s   A P I   a n d   c r e a t e   a n   E v i c t i o n   o b j e c t .   T o   d o   t h i s ,   y o u   P O S T   t h e   a t t e m p t e d   o p e r a t i o n ,   s i m i l a r   t o   t h e   f o l l o w i n g   e x a m p l e :   N o t e : p o l i c y / v 1   E v i c t i o n   i s   a v a i l a b l e   i n   v 1 . 2 2 + .   U s e   p o l i c y / v 1 b e t a 1   w i t h   p r i o r   r e l e a s e s . {   " a p i V e r s i o n " :   " p o l i c y / v 1 " ,   " k i n d " :   " E v i c t i o n " ,   " m e t a d a t a " :   {   " n a m e " :   " q u u x " ,   " n a m e s p a c e " :   " d e f a u l t "   }   }


Question: What is Note:?

Answer: {   " a p i V e r s i o n " :   " p o l i c y / v 1 " ,   " k i n d " :   " E v i c t i o n " ,   " m e t a d a t a " :   {   " n a m e " :   " q u u x " ,   " n a m e s p a c e " :   " d e f a u l t "   }   }   N o t e : D e p r e c a t e d   i n   v 1 . 2 2   i n   f a v o r   o f   p o l i c y / v 1 {   " a p i V e r s i o n " :   " p o l i c y / v 1 b e t a 1 " ,   " k i n d " :   " E v i c t i o n " ,   " m e t a d a t a " :   {   " n a m e " :   " q u u x " ,   " n a m e s p a c e " :   " d e f a u l t "   }   }


Question: What is Note:?

Answer: {   " a p i V e r s i o n " :   " p o l i c y / v 1 b e t a 1 " ,   " k i n d " :   " E v i c t i o n " ,   " m e t a d a t a " :   {   " n a m e " :   " q u u x " ,   " n a m e s p a c e " :   " d e f a u l t "   }   }   A l t e r n a t i v e l y ,   y o u   c a n   a t t e m p t   a n   e v i c t i o n   o p e r a t i o n   b y   a c c e s s i n g   t h e   A P I   u s i n g   c u r l   o r   w g e t ,   s i m i l a r   t o   t h e   f o l l o w i n g   e x a m p l e :   c u r l   - v   - H   ' C o n t e n t - t y p e :   a p p l i c a t i o n / j s o n '   h t t p s : / / y o u r - c l u s t e r - a p i - e n d p o i n t . e x a m p l e / a p i / v 1 / n a m e s p a c e s / d e f a u l t / p o d s / q u u x / e v i c t i o n   - d   @ e v i c t i o n . j s o n


Question: What is How API-initiated eviction works?

Answer: W h e n   y o u   r e q u e s t   a n   e v i c t i o n   u s i n g   t h e   A P I ,   t h e   A P I   s e r v e r   p e r f o r m s   a d m i s s i o n   c h e c k s   a n d   r e s p o n d s   i n   o n e   o f   t h e   f o l l o w i n g   w a y s :   2 0 0   O K :   t h e   e v i c t i o n   i s   a l l o w e d ,   t h e   E v i c t i o n   s u b r e s o u r c e   i s   c r e a t e d ,   a n d   t h e   P o d   i s   d e l e t e d ,   s i m i l a r   t o   s e n d i n g   a   D E L E T E   r e q u e s t   t o   t h e   P o d   U R L . 4 2 9   T o o   M a n y   R e q u e s t s :   t h e   e v i c t i o n   i s   n o t   c u r r e n t l y   a l l o w e d   b e c a u s e   o f   t h e   c o n f i g u r e d   P o d D i s r u p t i o n B u d g e t .   Y o u   m a y   b e   a b l e   t o   a t t e m p t   t h e   e v i c t i o n   a g a i n   l a t e r .   Y o u   m i g h t   a l s o   s e e   t h i s   r e s p o n s e   b e c a u s e   o f   A P I   r a t e   l i m i t i n g . 5 0 0   I n t e r n a l   S e r v e r   E r r o r :   t h e   e v i c t i o n   i s   n o t   a l l o w e d   b e c a u s e   t h e r e   i s   a   m i s c o n f i g u r a t i o n ,   l i k e   i f   m u l t i p l e   P o d D i s r u p t i o n B u d g e t s   r e f e r e n c e   t h e   s a m e   P o d .   I f   t h e   P o d   y o u   w a n t   t o   e v i c t   i s n ' t   p a r t   o f   a   w o r k l o a d   t h a t   h a s   a   P o d D i s r u p t i o n B u d g e t ,   t h e   A P I   s e r v e r   a l w a y s   r e t u r n s   2 0 0   O K   a n d   a l l o w s   t h e   e v i c t i o n .   I f   t h e   A P I   s e r v e r   a l l o w s   t h e   e v i c t i o n ,   t h e   P o d   i s   d e l e t e d   a s   f o l l o w s :   T h e   P o d   r e s o u r c e   i n   t h e   A P I   s e r v e r   i s   u p d a t e d   w i t h   a   d e l e t i o n   t i m e s t a m p ,   a f t e r   w h i c h   t h e   A P I   s e r v e r   c o n s i d e r s   t h e   P o d   r e s o u r c e   t o   b e


Question: What is Troubleshooting stuck evictions?

Answer: I n   s o m e   c a s e s ,   y o u r   a p p l i c a t i o n s   m a y   e n t e r   a   b r o k e n   s t a t e ,   w h e r e   t h e   E v i c t i o n   A P I   w i l l   o n l y   r e t u r n   4 2 9   o r   5 0 0   r e s p o n s e s   u n t i l   y o u   i n t e r v e n e .   T h i s   c a n   h a p p e n   i f ,   f o r   e x a m p l e ,   a   R e p l i c a S e t   c r e a t e s   p o d s   f o r   y o u r   a p p l i c a t i o n   b u t   n e w   p o d s   d o   n o t   e n t e r   a   R e a d y   s t a t e .   Y o u   m a y   a l s o   n o t i c e   t h i s   b e h a v i o r   i n   c a s e s   w h e r e   t h e   l a s t   e v i c t e d   P o d   h a d   a   l o n g   t e r m i n a t i o n   g r a c e   p e r i o d .   I f   y o u   n o t i c e   s t u c k   e v i c t i o n s ,   t r y   o n e   o f   t h e   f o l l o w i n g   s o l u t i o n s :   A b o r t   o r   p a u s e   t h e   a u t o m a t e d   o p e r a t i o n   c a u s i n g   t h e   i s s u e .   I n v e s t i g a t e   t h e   s t u c k   a p p l i c a t i o n   b e f o r e   y o u   r e s t a r t   t h e   o p e r a t i o n . W a i t   a   w h i l e ,   t h e n   d i r e c t l y   d e l e t e   t h e   P o d   f r o m   y o u r   c l u s t e r   c o n t r o l   p l a n e   i n s t e a d   o f   u s i n g   t h e   E v i c t i o n   A P I .


Question: What is What's next?

Answer: L e a r n   h o w   t o   p r o t e c t   y o u r   a p p l i c a t i o n s   w i t h   a   P o d   D i s r u p t i o n   B u d g e t . L e a r n   a b o u t   N o d e - p r e s s u r e   E v i c t i o n . L e a r n   a b o u t   P o d   P r i o r i t y   a n d   P r e e m p t i o n .


Question: What is 11 - Cluster Administration?

Answer: T h e   c l u s t e r   a d m i n i s t r a t i o n   o v e r v i e w   i s   f o r   a n y o n e   c r e a t i n g   o r   a d m i n i s t e r i n g   a   K u b e r n e t e s   c l u s t e r .   I t   a s s u m e s   s o m e   f a m i l i a r i t y   w i t h   c o r e   K u b e r n e t e s   c o n c e p t s .


Question: What is Planning a cluster?

Answer: S e e   t h e   g u i d e s   i n   S e t u p   f o r   e x a m p l e s   o f   h o w   t o   p l a n ,   s e t   u p ,   a n d   c o n f i g u r e   K u b e r n e t e s   c l u s t e r s .   T h e   s o l u t i o n s   l i s t e d   i n   t h i s   a r t i c l e   a r e   c a l l e d   d i s t r o s .


Question: What is Note:?

Answer: B e f o r e   c h o o s i n g   a   g u i d e ,   h e r e   a r e   s o m e   c o n s i d e r a t i o n s :   D o   y o u   w a n t   t o   t r y   o u t   K u b e r n e t e s   o n   y o u r   c o m p u t e r ,   o r   d o   y o u   w a n t   t o   b u i l d   a   h i g h - a v a i l a b i l i t y ,   m u l t i - n o d e   c l u s t e r ?   C h o o s e   d i s t r o s   b e s t   s u i t e d   f o r   y o u r   n e e d s . W i l l   y o u   b e   u s i n g   a   h o s t e d   K u b e r n e t e s   c l u s t e r ,   s u c h   a s   G o o g l e   K u b e r n e t e s   E n g i n e ,   o r   h o s t i n g   y o u r   o w n   c l u s t e r ? W i l l   y o u r   c l u s t e r   b e   o n - p r e m i s e s ,   o r   i n   t h e   c l o u d   ( I a a S ) ?   K u b e r n e t e s   d o e s   n o t   d i r e c t l y   s u p p o r t   h y b r i d   c l u s t e r s .   I n s t e a d ,   y o u   c a n   s e t   u p   m u l t i p l e   c l u s t e r s . I f   y o u   a r e   c o n f i g u r i n g   K u b e r n e t e s   o n - p r e m i s e s ,   c o n s i d e r   w h i c h   n e t w o r k i n g   m o d e l   f i t s   b e s t . W i l l   y o u   b e   r u n n i n g   K u b e r n e t e s   o n   " b a r e   m e t a l "   h a r d w a r e   o r   o n   v i r t u a l   m a c h i n e s   ( V M s ) ? D o   y o u   w a n t   t o   r u n   a   c l u s t e r ,   o r   d o   y o u   e x p e c t   t o   d o   a c t i v e   d e v e l o p m e n t   o f   K u b e r n e t e s   p r o j e c t   c o d e ?   I f   t h e   l a t t e r ,   c h o o s e   a n   a c t i v e l y - d e v e l o p e d   d i s t r o .   S o m e   d i s t r o s   o n l y   u s e   b i n a r y   r e l e a s e s ,   b u t   o f f e r   a   g r e a t e r   v a r i e t y   o f   c h o i c e s . F a m i l i a r i z e   y o u r s e l f   w i t h   t h e   c o m p o n e n t s   n e e d e d   t o   r u n   a   c l u s t e r .


Question: What is Managing a cluster?

Answer: L e a r n   h o w   t o   m a n a g e   n o d e s . R e a d   a b o u t   N o d e   a u t o s c a l i n g . L e a r n   h o w   t o   s e t   u p   a n d   m a n a g e   t h e   r e s o u r c e   q u o t a   f o r   s h a r e d   c l u s t e r s .   L e a r n   h o w   t o   m a n a g e   n o d e s .   R e a d   a b o u t   N o d e   a u t o s c a l i n g .   L e a r n   h o w   t o   s e t   u p   a n d   m a n a g e   t h e   r e s o u r c e   q u o t a   f o r   s h a r e d   c l u s t e r s .


Question: What is Securing a cluster?

Answer: G e n e r a t e   C e r t i f i c a t e s   d e s c r i b e s   t h e   s t e p s   t o   g e n e r a t e   c e r t i f i c a t e s   u s i n g   d i f f e r e n t   t o o l   c h a i n s . K u b e r n e t e s   C o n t a i n e r   E n v i r o n m e n t   d e s c r i b e s   t h e   e n v i r o n m e n t   f o r   K u b e l e t   m a n a g e d   c o n t a i n e r s   o n   a   K u b e r n e t e s   n o d e . C o n t r o l l i n g   A c c e s s   t o   t h e   K u b e r n e t e s   A P I   d e s c r i b e s   h o w   K u b e r n e t e s   i m p l e m e n t s   a c c e s s   c o n t r o l   f o r   i t s   o w n   A P I . A u t h e n t i c a t i n g   e x p l a i n s   a u t h e n t i c a t i o n   i n   K u b e r n e t e s ,   i n c l u d i n g   t h e   v a r i o u s   a u t h e n t i c a t i o n   o p t i o n s . A u t h o r i z a t i o n   i s   s e p a r a t e   f r o m   a u t h e n t i c a t i o n ,   a n d   c o n t r o l s   h o w   H T T P   c a l l s   a r e   h a n d l e d . U s i n g   A d m i s s i o n   C o n t r o l l e r s   e x p l a i n s   p l u g - i n s   w h i c h   i n t e r c e p t s   r e q u e s t s   t o   t h e   K u b e r n e t e s   A P I   s e r v e r   a f t e r   a u t h e n t i c a t i o n   a n d   a u t h o r i z a t i o n . A d m i s s i o n   W e b h o o k   G o o d   P r a c t i c e s   p r o v i d e s   g o o d   p r a c t i c e s   a n d   c o n s i d e r a t i o n s   w h e n   d e s i g n i n g   m u t a t i n g   a d m i s s i o n   w e b h o o k s   a n d   v a l i d a t i n g   a d m i s s i o n   w e b h o o k s . U s i n g   S y s c t l s   i n   a   K u b e r n e t e s   C l u s t e r   d e s c r i b e s   t o   a n   a d m i n i s t r a t o r   h o w   t o   u s e   t h e   s y s c t l   c o m m a n d - l i n e   t o o l   t o   s e t   k e r n e l   p a r a m e t e r s   . A u d i t i n g   d e s c r i b e s   h o w   t o   i n t e r a c t   w i t h   K u b e r n e t e s '   a u d i t   l o g s .   G e n e r a t e


Question: What is Securing the kubelet?

Answer: C o n t r o l   P l a n e - N o d e   c o m m u n i c a t i o n T L S   b o o t s t r a p p i n g K u b e l e t   a u t h e n t i c a t i o n / a u t h o r i z a t i o n


Question: What is Optional Cluster Services?

Answer: D N S   I n t e g r a t i o n   d e s c r i b e s   h o w   t o   r e s o l v e   a   D N S   n a m e   d i r e c t l y   t o   a   K u b e r n e t e s   s e r v i c e . L o g g i n g   a n d   M o n i t o r i n g   C l u s t e r   A c t i v i t y   e x p l a i n s   h o w   l o g g i n g   i n   K u b e r n e t e s   w o r k s   a n d   h o w   t o   i m p l e m e n t   i t .   D N S   I n t e g r a t i o n   d e s c r i b e s   h o w   t o   r e s o l v e   a   D N S   n a m e   d i r e c t l y   t o   a   K u b e r n e t e s   s e r v i c e .   L o g g i n g   a n d   M o n i t o r i n g   C l u s t e r   A c t i v i t y   e x p l a i n s   h o w   l o g g i n g   i n   K u b e r n e t e s   w o r k s   a n d   h o w   t o   i m p l e m e n t   i t .


Question: What is 11.1 - Node Shutdowns?

Answer: I n   a   K u b e r n e t e s   c l u s t e r ,   a   n o d e   c a n   b e   s h u t   d o w n   i n   a   p l a n n e d   g r a c e f u l   w a y   o r   u n e x p e c t e d l y   b e c a u s e   o f   r e a s o n s   s u c h   a s   a   p o w e r   o u t a g e   o r   s o m e t h i n g   e l s e   e x t e r n a l .   A   n o d e   s h u t d o w n   c o u l d   l e a d   t o   w o r k l o a d   f a i l u r e   i f   t h e   n o d e   i s   n o t   d r a i n e d   b e f o r e   t h e   s h u t d o w n .   A   n o d e   s h u t d o w n   c a n   b e   e i t h e r   g r a c e f u l   o r   n o n - g r a c e f u l .


Question: What is Graceful node shutdown?

Answer: T h e   k u b e l e t   a t t e m p t s   t o   d e t e c t   n o d e   s y s t e m   s h u t d o w n   a n d   t e r m i n a t e s   p o d s   r u n n i n g   o n   t h e   n o d e .   K u b e l e t   e n s u r e s   t h a t   p o d s   f o l l o w   t h e   n o r m a l   p o d   t e r m i n a t i o n   p r o c e s s   d u r i n g   t h e   n o d e   s h u t d o w n .   D u r i n g   n o d e   s h u t d o w n ,   t h e   k u b e l e t   d o e s   n o t   a c c e p t   n e w   P o d s   ( e v e n   i f   t h o s e   P o d s   a r e   a l r e a d y   b o u n d   t o   t h e   n o d e ) .


Question: What is Enabling graceful node shutdown?

Answer: F E A T U R E   S T A T E :   K u b e r n e t e s   v 1 . 2 1   [ b e t a ]   ( e n a b l e d   b y   d e f a u l t :   t r u e ) O n   L i n u x ,   t h e   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   i s   c o n t r o l l e d   w i t h   t h e   G r a c e f u l N o d e S h u t d o w n   f e a t u r e   g a t e   w h i c h   i s   e n a b l e d   b y   d e f a u l t   i n   1 . 2 1 . N o t e : T h e   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   d e p e n d s   o n   s y s t e m d   s i n c e   i t   t a k e s   a d v a n t a g e   o f   s y s t e m d   i n h i b i t o r   l o c k s   t o   d e l a y   t h e   n o d e   s h u t d o w n   w i t h   a   g i v e n   d u r a t i o n .   O n   L i n u x ,   t h e   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   i s   c o n t r o l l e d   w i t h   t h e   G r a c e f u l N o d e S h u t d o w n   f e a t u r e   g a t e   w h i c h   i s   e n a b l e d   b y   d e f a u l t   i n   1 . 2 1 .


Question: What is Note:?

Answer: F E A T U R E   S T A T E :   K u b e r n e t e s   v 1 . 3 4   [ b e t a ]   ( e n a b l e d   b y   d e f a u l t :   t r u e ) O n   W i n d o w s ,   t h e   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   i s   c o n t r o l l e d   w i t h   t h e   W i n d o w s G r a c e f u l N o d e S h u t d o w n   f e a t u r e   g a t e   w h i c h   i s   i n t r o d u c e d   i n   1 . 3 2   a s   a n   a l p h a   f e a t u r e .   I n   K u b e r n e t e s   1 . 3 4   t h e   f e a t u r e   i s   B e t a   a n d   i s   e n a b l e d   b y   d e f a u l t . N o t e : T h e   W i n d o w s   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   d e p e n d s   o n   k u b e l e t   r u n n i n g   a s   a   W i n d o w s   s e r v i c e ,   i t   w i l l   t h e n   h a v e   a   r e g i s t e r e d   s e r v i c e   c o n t r o l   h a n d l e r   t o   d e l a y   t h e   p r e s h u t d o w n   e v e n t   w i t h   a   g i v e n   d u r a t i o n . W i n d o w s   g r a c e f u l   n o d e   s h u t d o w n   c a n   n o t   b e   c a n c e l l e d . I f   k u b e l e t   i s   n o t   r u n n i n g   a s   a   W i n d o w s   s e r v i c e ,   i t   w i l l   n o t   b e   a b l e   t o   s e t   a n d   m o n i t o r   t h e   P r e s h u t d o w n   e v e n t ,   t h e   n o d e   w i l l   h a v e   t o   g o   t h r o u g h   t h e   N o n - G r a c e f u l   N o d e   S h u t d o w n   p r o c e d u r e   m e n t i o n e d   a b o v e . I n   t h e   c a s e   w h e r e   t h e   W i n d o w s   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   i s   e n a b l e d ,   b u t   t h e   k u b e l e t   i s   n o t   r u n n i n g   a s   a   W i n d o w s   s e r v i c e ,   t h e   k u b e l e t   w i l l   c o n t i n u e   r u n n i n g   i n s t e a d   o f   f a i l i n g .   H o w e v e r ,   i t   w i l l   l o g   a n   e r r o r   i n d i c a t i n g   t h a t   i t   n e e d s   t o   b e   r u n   a s   a   W i n


Question: What is Note:?

Answer: W i n d o w s   g r a c e f u l   n o d e   s h u t d o w n   c a n   n o t   b e   c a n c e l l e d .   I f   k u b e l e t   i s   n o t   r u n n i n g   a s   a   W i n d o w s   s e r v i c e ,   i t   w i l l   n o t   b e   a b l e   t o   s e t   a n d   m o n i t o r   t h e   P r e s h u t d o w n   e v e n t ,   t h e   n o d e   w i l l   h a v e   t o   g o   t h r o u g h   t h e   N o n - G r a c e f u l   N o d e   S h u t d o w n   p r o c e d u r e   m e n t i o n e d   a b o v e .   I n   t h e   c a s e   w h e r e   t h e   W i n d o w s   g r a c e f u l   n o d e   s h u t d o w n   f e a t u r e   i s   e n a b l e d ,   b u t   t h e   k u b e l e t   i s   n o t   r u n n i n g   a s   a   W i n d o w s   s e r v i c e ,   t h e   k u b e l e t   w i l l   c o n t i n u e   r u n n i n g   i n s t e a d   o f   f a i l i n g .   H o w e v e r ,   i t   w i l l   l o g   a n   e r r o r   i n d i c a t i n g   t h a t   i t   n e e d s   t o   b e   r u n   a s   a   W i n d o w s   s e r v i c e .


Question: What is Configuring graceful node shutdown?

Answer: N o t e   t h a t   b y   d e f a u l t ,   b o t h   c o n f i g u r a t i o n   o p t i o n s   d e s c r i b e d   b e l o w ,   s h u t d o w n G r a c e P e r i o d   a n d   s h u t d o w n G r a c e P e r i o d C r i t i c a l P o d s ,   a r e   s e t   t o   z e r o ,   t h u s   n o t   a c t i v a t i n g   t h e   g r a c e f u l   n o d e   s h u t d o w n   f u n c t i o n a l i t y .   T o   a c t i v a t e   t h e   f e a t u r e ,   b o t h   o p t i o n s   s h o u l d   b e   c o n f i g u r e d   a p p r o p r i a t e l y   a n d   s e t   t o   n o n - z e r o   v a l u e s .   O n c e   t h e   k u b e l e t   i s   n o t i f i e d   o f   a   n o d e   s h u t d o w n ,   i t   s e t s   a   N o t R e a d y   c o n d i t i o n   o n   t h e   N o d e ,   w i t h   t h e   r e a s o n   s e t   t o   " n o d e   i s   s h u t t i n g   d o w n " .   T h e   k u b e - s c h e d u l e r   h o n o r s   t h i s   c o n d i t i o n   a n d   d o e s   n o t   s c h e d u l e   a n y   P o d s   o n t o   t h e   a f f e c t e d   n o d e ;   o t h e r   t h i r d - p a r t y   s c h e d u l e r s   a r e   e x p e c t e d   t o   f o l l o w   t h e   s a m e   l o g i c .   T h i s   m e a n s   t h a t   n e w   P o d s   w o n ' t   b e   s c h e d u l e d   o n t o   t h a t   n o d e   a n d   t h e r e f o r e   n o n e   w i l l   s t a r t .   T h e   k u b e l e t   a l s o   r e j e c t s   P o d s   d u r i n g   t h e   P o d A d m i s s i o n   p h a s e   i f   a n   o n g o i n g   n o d e   s h u t d o w n   h a s   b e e n   d e t e c t e d ,   s o   t h a t   e v e n   P o d s   w i t h   a   t o l e r a t i o n   f o r   n o d e . k u b e r n e t e s . i o / n o t - r e a d y : N o S c h e d u l e   d o   n o t   s t a r t   t h e r e .   W h e n   k u b e l e t   i s   s e t t i n g   t h a t   c o n d i t i o n   o n   i t s   N o d e   v i a   t h e   A P I ,   t h e   k u b e l e t   a l s o   b e g i n s   t e r m i n a t i


Question: What is Note:?

Answer: F o r   e x a m p l e ,   i f   s h u t d o w n G r a c e P e r i o d = 3 0 s ,   a n d   s h u t d o w n G r a c e P e r i o d C r i t i c a l P o d s = 1 0 s ,   k u b e l e t   w i l l   d e l a y   t h e   n o d e   s h u t d o w n   b y   3 0   s e c o n d s .   D u r i n g   t h e   s h u t d o w n ,   t h e   f i r s t   2 0   ( 3 0 - 1 0 )   s e c o n d s   w o u l d   b e   r e s e r v e d   f o r   g r a c e f u l l y   t e r m i n a t i n g   n o r m a l   p o d s ,   a n d   t h e   l a s t   1 0   s e c o n d s   w o u l d   b e   r e s e r v e d   f o r   t e r m i n a t i n g   c r i t i c a l   p o d s .


Question: What is Note:?

Answer: W h e n   p o d s   w e r e   e v i c t e d   d u r i n g   t h e   g r a c e f u l   n o d e   s h u t d o w n ,   t h e y   a r e   m a r k e d   a s   s h u t d o w n .   R u n n i n g   k u b e c t l   g e t   p o d s   s h o w s   t h e   s t a t u s   o f   t h e   e v i c t e d   p o d s   a s   T e r m i n a t e d .   A n d   k u b e c t l   d e s c r i b e   p o d   i n d i c a t e s   t h a t   t h e   p o d   w a s   e v i c t e d   b e c a u s e   o f   n o d e   s h u t d o w n :   R e a s o n :   T e r m i n a t e d   M e s s a g e :   P o d   w a s   t e r m i n a t e d   i n   r e s p o n s e   t o   i m m i n e n t   n o d e   s h u t d o w n .


Question: What is Pod Priority based graceful node shutdown?

Answer: T o   p r o v i d e   m o r e   f l e x i b i l i t y   d u r i n g   g r a c e f u l   n o d e   s h u t d o w n   a r o u n d   t h e   o r d e r i n g   o f   p o d s   d u r i n g   s h u t d o w n ,   g r a c e f u l   n o d e   s h u t d o w n   h o n o r s   t h e   P r i o r i t y C l a s s   f o r   P o d s ,   p r o v i d e d   t h a t   y o u   e n a b l e d   t h i s   f e a t u r e   i n   y o u r   c l u s t e r .   T h e   f e a t u r e   a l l o w s   c l u s t e r   a d m i n i s t r a t o r s   t o   e x p l i c i t l y   d e f i n e   t h e   o r d e r i n g   o f   p o d s   d u r i n g   g r a c e f u l   n o d e   s h u t d o w n   b a s e d   o n   p r i o r i t y   c l a s s e s .   T h e   G r a c e f u l   N o d e   S h u t d o w n   f e a t u r e ,   a s   d e s c r i b e d   a b o v e ,   s h u t s   d o w n   p o d s   i n   t w o   p h a s e s ,   n o n - c r i t i c a l   p o d s ,   f o l l o w e d   b y   c r i t i c a l   p o d s .   I f   a d d i t i o n a l   f l e x i b i l i t y   i s   n e e d e d   t o   e x p l i c i t l y   d e f i n e   t h e   o r d e r i n g   o f   p o d s   d u r i n g   s h u t d o w n   i n   a   m o r e   g r a n u l a r   w a y ,   p o d   p r i o r i t y   b a s e d   g r a c e f u l   s h u t d o w n   c a n   b e   u s e d .   W h e n   g r a c e f u l   n o d e   s h u t d o w n   h o n o r s   p o d   p r i o r i t i e s ,   t h i s   m a k e s   i t   p o s s i b l e   t o   d o   g r a c e f u l   n o d e   s h u t d o w n   i n   m u l t i p l e   p h a s e s ,   e a c h   p h a s e   s h u t t i n g   d o w n   a   p a r t i c u l a r   p r i o r i t y   c l a s s   o f   p o d s .   T h e   k u b e l e t   c a n   b e   c o n f i g u r e d   w i t h   t h e   e x a c t   p h a s e s   a n d   s h u t d o w n   t i m e   p e r   p h a s e .   A s s u m i n g   t h e   f o l l o w i n g   c u s t o m   p o d   p r i o r i t y   c l a s s e s   i n   a   c l u s t e r ,   W i t h i n   t h e


Question: What is Note:?

Answer: M e t r i c s   g r a c e f u l _ s h u t d o w n _ s t a r t _ t i m e _ s e c o n d s   a n d   g r a c e f u l _ s h u t d o w n _ e n d _ t i m e _ s e c o n d s   a r e   e m i t t e d   u n d e r   t h e   k u b e l e t   s u b s y s t e m   t o   m o n i t o r   n o d e   s h u t d o w n s .


Question: What is Non-graceful node shutdown handling?

Answer: A   n o d e   s h u t d o w n   a c t i o n   m a y   n o t   b e   d e t e c t e d   b y   k u b e l e t ' s   N o d e   S h u t d o w n   M a n a g e r ,   e i t h e r   b e c a u s e   t h e   c o m m a n d   d o e s   n o t   t r i g g e r   t h e   i n h i b i t o r   l o c k s   m e c h a n i s m   u s e d   b y   k u b e l e t   o r   b e c a u s e   o f   a   u s e r   e r r o r ,   i . e . ,   t h e   S h u t d o w n G r a c e P e r i o d   a n d   S h u t d o w n G r a c e P e r i o d C r i t i c a l P o d s   a r e   n o t   c o n f i g u r e d   p r o p e r l y .   P l e a s e   r e f e r   t o   a b o v e   s e c t i o n   G r a c e f u l   N o d e   S h u t d o w n   f o r   m o r e   d e t a i l s .   W h e n   a   n o d e   i s   s h u t d o w n   b u t   n o t   d e t e c t e d   b y   k u b e l e t ' s   N o d e   S h u t d o w n   M a n a g e r ,   t h e   p o d s   t h a t   a r e   p a r t   o f   a   S t a t e f u l S e t   w i l l   b e   s t u c k   i n   t e r m i n a t i n g   s t a t u s   o n   t h e   s h u t d o w n   n o d e   a n d   c a n n o t   m o v e   t o   a   n e w   r u n n i n g   n o d e .   T h i s   i s   b e c a u s e   k u b e l e t   o n   t h e   s h u t d o w n   n o d e   i s   n o t   a v a i l a b l e   t o   d e l e t e   t h e   p o d s   s o   t h e   S t a t e f u l S e t   c a n n o t   c r e a t e   a   n e w   p o d   w i t h   t h e   s a m e   n a m e .   I f   t h e r e   a r e   v o l u m e s   u s e d   b y   t h e   p o d s ,   t h e   V o l u m e A t t a c h m e n t s   w i l l   n o t   b e   d e l e t e d   f r o m   t h e   o r i g i n a l   s h u t d o w n   n o d e   s o   t h e   v o l u m e s   u s e d   b y   t h e s e   p o d s   c a n n o t   b e   a t t a c h e d   t o   a   n e w   r u n n i n g   n o d e .   A s   a   r e s u l t ,   t h e   a p p l i c a t i o n   r u n n i n g   o n   t h e   S t a t e f u l S e t   c a n n o t   f u n c t i o n   p r o p e r l y .   I f   t h e   o r


Question: What is Note:?

Answer: B e f o r e   a d d i n g   t h e   t a i n t   n o d e . k u b e r n e t e s . i o / o u t - o f - s e r v i c e ,   i t   s h o u l d   b e   v e r i f i e d   t h a t   t h e   n o d e   i s   a l r e a d y   i n   s h u t d o w n   o r   p o w e r   o f f   s t a t e   ( n o t   i n   t h e   m i d d l e   o f   r e s t a r t i n g ) . T h e   u s e r   i s   r e q u i r e d   t o   m a n u a l l y   r e m o v e   t h e   o u t - o f - s e r v i c e   t a i n t   a f t e r   t h e   p o d s   a r e   m o v e d   t o   a   n e w   n o d e   a n d   t h e   u s e r   h a s   c h e c k e d   t h a t   t h e   s h u t d o w n   n o d e   h a s   b e e n   r e c o v e r e d   s i n c e   t h e   u s e r   w a s   t h e   o n e   w h o   o r i g i n a l l y   a d d e d   t h e   t a i n t .


Question: What is Forced storage detach on timeout?

Answer: I n   a n y   s i t u a t i o n   w h e r e   a   p o d   d e l e t i o n   h a s   n o t   s u c c e e d e d   f o r   6   m i n u t e s ,   k u b e r n e t e s   w i l l   f o r c e   d e t a c h   v o l u m e s   b e i n g   u n m o u n t e d   i f   t h e   n o d e   i s   u n h e a l t h y   a t   t h a t   i n s t a n t .   A n y   w o r k l o a d   s t i l l   r u n n i n g   o n   t h e   n o d e   t h a t   u s e s   a   f o r c e - d e t a c h e d   v o l u m e   w i l l   c a u s e   a   v i o l a t i o n   o f   t h e   C S I   s p e c i f i c a t i o n ,   w h i c h   s t a t e s   t h a t   C o n t r o l l e r U n p u b l i s h V o l u m e   " m u s t   b e   c a l l e d   a f t e r   a l l   N o d e U n s t a g e V o l u m e   a n d   N o d e U n p u b l i s h V o l u m e   o n   t h e   v o l u m e   a r e   c a l l e d   a n d   s u c c e e d " .   I n   s u c h   c i r c u m s t a n c e s ,   v o l u m e s   o n   t h e   n o d e   i n   q u e s t i o n   m i g h t   e n c o u n t e r   d a t a   c o r r u p t i o n .   T h e   f o r c e d   s t o r a g e   d e t a c h   b e h a v i o u r   i s   o p t i o n a l ;   u s e r s   m i g h t   o p t   t o   u s e   t h e   " N o n - g r a c e f u l   n o d e   s h u t d o w n "   f e a t u r e   i n s t e a d .   F o r c e   s t o r a g e   d e t a c h   o n   t i m e o u t   c a n   b e   d i s a b l e d   b y   s e t t i n g   t h e   d i s a b l e - f o r c e - d e t a c h - o n - t i m e o u t   c o n f i g   f i e l d   i n   k u b e - c o n t r o l l e r - m a n a g e r .   D i s a b l i n g   t h e   f o r c e   d e t a c h   o n   t i m e o u t   f e a t u r e   m e a n s   t h a t   a   v o l u m e   t h a t   i s   h o s t e d   o n   a   n o d e   t h a t   i s   u n h e a l t h y   f o r   m o r e   t h a n   6   m i n u t e s   w i l l   n o t   h a v e   i t s   a s s o c i a t e d   V o l u m e A t t a c h m e n t   d e l e t e d .   A f t e r   t h i s   s e t t i n g   h a s   b e e n


Question: What is Note:?

Answer: C a u t i o n   m u s t   b e   t a k e n   w h i l e   u s i n g   t h e   N o n - G r a c e f u l   N o d e   S h u t d o w n   p r o c e d u r e . D e v i a t i o n   f r o m   t h e   s t e p s   d o c u m e n t e d   a b o v e   c a n   r e s u l t   i n   d a t a   c o r r u p t i o n .


Question: What is What's next?

Answer: L e a r n   m o r e   a b o u t   t h e   f o l l o w i n g :   B l o g :   N o n - G r a c e f u l   N o d e   S h u t d o w n . C l u s t e r   A r c h i t e c t u r e :   N o d e s .


Question: What is 11.2 - Swap memory management?

Answer: K u b e r n e t e s   c a n   b e   c o n f i g u r e d   t o   u s e   s w a p   m e m o r y   o n   a   n o d e ,   a l l o w i n g   t h e   k e r n e l   t o   f r e e   u p   p h y s i c a l   m e m o r y   b y   s w a p p i n g   o u t   p a g e s   t o   b a c k i n g   s t o r a g e .   T h i s   i s   u s e f u l   f o r   m u l t i p l e   u s e - c a s e s .   F o r   e x a m p l e ,   n o d e s   r u n n i n g   w o r k l o a d s   t h a t   c a n   b e n e f i t   f r o m   u s i n g   s w a p ,   s u c h   a s   t h o s e   t h a t   h a v e   l a r g e   m e m o r y   f o o t p r i n t s   b u t   o n l y   a c c e s s   a   p o r t i o n   o f   t h a t   m e m o r y   a t   a n y   g i v e n   t i m e .   I t   a l s o   h e l p s   p r e v e n t   P o d s   f r o m   b e i n g   t e r m i n a t e d   d u r i n g   m e m o r y   p r e s s u r e   s p i k e s ,   s h i e l d s   n o d e s   f r o m   s y s t e m - l e v e l   m e m o r y   s p i k e s   t h a t   m i g h t   c o m p r o m i s e   i t s   s t a b i l i t y ,   a l l o w s   f o r   m o r e   f l e x i b l e   m e m o r y   m a n a g e m e n t   o n   t h e   n o d e ,   a n d   m u c h   m o r e .   T o   l e a r n   a b o u t   c o n f i g u r i n g   s w a p   i n   y o u r   c l u s t e r ,   r e a d   C o n f i g u r i n g   s w a p   m e m o r y   o n   K u b e r n e t e s   n o d e s .


Question: What is Operating system support?

Answer: L i n u x   n o d e s   s u p p o r t   s w a p ;   y o u   n e e d   t o   c o n f i g u r e   e a c h   n o d e   t o   e n a b l e   i t .   B y   d e f a u l t ,   t h e   k u b e l e t   w i l l   n o t   s t a r t   o n   a   L i n u x   n o d e   t h a t   h a s   s w a p   e n a b l e d . W i n d o w s   n o d e s   r e q u i r e   s w a p   s p a c e .   B y   d e f a u l t ,   t h e   k u b e l e t   d o e s   n o t   s t a r t   o n   a   W i n d o w s   n o d e   t h a t   h a s   s w a p   d i s a b l e d .


Question: What is How does it work??

Answer: T h e r e   a r e   a   n u m b e r   o f   p o s s i b l e   w a y s   t h a t   o n e   c o u l d   e n v i s i o n   s w a p   u s e   o n   a   n o d e .   I f   k u b e l e t   i s   a l r e a d y   r u n n i n g   o n   a   n o d e ,   i t   w o u l d   n e e d   t o   b e   r e s t a r t e d   a f t e r   s w a p   i s   p r o v i s i o n e d   i n   o r d e r   t o   i d e n t i f y   i t .   W h e n   k u b e l e t   s t a r t s   o n   a   n o d e   i n   w h i c h   s w a p   i s   p r o v i s i o n e d   a n d   a v a i l a b l e   ( w i t h   t h e   f a i l S w a p O n :   f a l s e   c o n f i g u r a t i o n ) ,   k u b e l e t   w i l l :   B e   a b l e   t o   s t a r t   o n   t h i s   s w a p - e n a b l e d   n o d e . D i r e c t   t h e   C o n t a i n e r   R u n t i m e   I n t e r f a c e   ( C R I )   i m p l e m e n t a t i o n ,   o f t e n   r e f e r r e d   t o   a s   t h e   c o n t a i n e r   r u n t i m e ,   t o   a l l o c a t e   z e r o   s w a p   m e m o r y   t o   K u b e r n e t e s   w o r k l o a d s   b y   d e f a u l t .   S w a p   c o n f i g u r a t i o n   o n   a   n o d e   i s   e x p o s e d   t o   a   c l u s t e r   a d m i n   v i a   t h e   m e m o r y S w a p   i n   t h e   K u b e l e t C o n f i g u r a t i o n .   A s   a   c l u s t e r   a d m i n i s t r a t o r ,   y o u   c a n   s p e c i f y   t h e   n o d e ' s   b e h a v i o u r   i n   t h e   p r e s e n c e   o f   s w a p   m e m o r y   b y   s e t t i n g   m e m o r y S w a p . s w a p B e h a v i o r .


Question: What is Swap behaviors?

Answer: Y o u   n e e d   t o   p i c k   a   s w a p   b e h a v i o r   t o   u s e .   D i f f e r e n t   n o d e s   i n   y o u r   c l u s t e r   c a n   u s e   d i f f e r e n t   s w a p   b e h a v i o r s .   T h e   s w a p   b e h a v i o r s   y o u   c a n   c h o o s e   f o r   L i n u x   n o d e s   a r e :


Question: What is Note:?

Answer: I f   y o u   c h o o s e   t h e   N o S w a p   b e h a v i o r ,   a n d   y o u   c o n f i g u r e   t h e   k u b e l e t   t o   t o l e r a t e   s w a p   s p a c e   ( f a i l S w a p O n :   f a l s e ) ,   t h e n   y o u r   w o r k l o a d s   d o n ' t   u s e   a n y   s w a p .   H o w e v e r ,   p r o c e s s e s   o u t s i d e   o f   K u b e r n e t e s - m a n a g e d   c o n t a i n e r s ,   s u c h   a s   s y s t e m i   s e r v i c e s   ( a n d   e v e n   t h e   k u b e l e t   i t s e l f ! )   c a n   u t i l i z e   s w a p .   Y o u   c a n   r e a d   c o n f i g u r i n g   s w a p   m e m o r y   o n   K u b e r n e t e s   n o d e s   t o   l e a r n   a b o u t   e n a b l i n g   s w a p   f o r   y o u r   c l u s t e r .


Question: What is Container runtime integration?

Answer: T h e   k u b e l e t   u s e s   t h e   c o n t a i n e r   r u n t i m e   A P I ,   a n d   d i r e c t s   t h e   c o n t a i n e r   r u n t i m e   t o   a p p l y   s p e c i f i c   c o n f i g u r a t i o n   ( f o r   e x a m p l e ,   i n   t h e   c g r o u p   v 2   c a s e ,   m e m o r y . s w a p . m a x )   i n   a   m a n n e r   t h a t   w i l l   e n a b l e   t h e   d e s i r e d   s w a p   c o n f i g u r a t i o n   f o r   a   c o n t a i n e r .   F o r   r u n t i m e s   t h a t   u s e   c o n t r o l   g r o u p s ,   o r   c g r o u p s ,   t h e   c o n t a i n e r   r u n t i m e   i s   t h e n   r e s p o n s i b l e   f o r   w r i t i n g   t h e s e   s e t t i n g s   t o   t h e   c o n t a i n e r - l e v e l   c g r o u p .


Question: What is Node and container level metric statistics?

Answer: K u b e l e t   n o w   c o l l e c t s   n o d e   a n d   c o n t a i n e r   l e v e l   m e t r i c   s t a t i s t i c s ,   w h i c h   c a n   b e   a c c e s s e d   a t   t h e   / m e t r i c s / r e s o u r c e   ( w h i c h   i s   u s e d   m a i n l y   b y   m o n i t o r i n g   t o o l s   l i k e   P r o m e t h e u s )   a n d   / s t a t s / s u m m a r y   ( w h i c h   i s   u s e d   m a i n l y   b y   A u t o s c a l e r s )   k u b e l e t   H T T P   e n d p o i n t s .   T h i s   a l l o w s   c l i e n t s   w h o   c a n   d i r e c t l y   r e q u e s t   t h e   k u b e l e t   t o   m o n i t o r   s w a p   u s a g e   a n d   r e m a i n i n g   s w a p   m e m o r y   w h e n   u s i n g   L i m i t e d S w a p .   A d d i t i o n a l l y ,   a   m a c h i n e _ s w a p _ b y t e s   m e t r i c   h a s   b e e n   a d d e d   t o   c a d v i s o r   t o   s h o w   t h e   t o t a l   p h y s i c a l   s w a p   c a p a c i t y   o f   t h e   m a c h i n e .   S e e   t h i s   p a g e   f o r   m o r e   i n f o .   F o r   e x a m p l e ,   t h e s e   / m e t r i c s / r e s o u r c e   a r e   s u p p o r t e d :   n o d e _ s w a p _ u s a g e _ b y t e s :   C u r r e n t   s w a p   u s a g e   o f   t h e   n o d e   i n   b y t e s . c o n t a i n e r _ s w a p _ u s a g e _ b y t e s :   C u r r e n t   a m o u n t   o f   t h e   c o n t a i n e r   s w a p   u s a g e   i n   b y t e s . c o n t a i n e r _ s w a p _ l i m i t _ b y t e s :   C u r r e n t   a m o u n t   o f   t h e   c o n t a i n e r   s w a p   l i m i t   i n   b y t e s .


Question: What is Using kubectl top --show-swap?

Answer: Q u e r y i n g   m e t r i c s   i s   v a l u a b l e ,   b u t   s o m e w h a t   c u m b e r s o m e ,   a s   t h e s e   m e t r i c s   a r e   d e s i g n e d   t o   b e   u s e d   b y   s o f t w a r e   r a t h e r   t h a n   h u m a n s .   I n   o r d e r   t o   c o n s u m e   t h i s   d a t a   i n   a   m o r e   u s e r - f r i e n d l y   w a y ,   t h e   k u b e c t l   t o p   c o m m a n d   h a s   b e e n   e x t e n d e d   t o   s u p p o r t   s w a p   m e t r i c s ,   u s i n g   t h e   - - s h o w - s w a p   f l a g .   I n   o r d e r   t o   r e c e i v e   i n f o r m a t i o n   a b o u t   s w a p   u s a g e   o n   n o d e s ,   k u b e c t l   t o p   n o d e s   - - s h o w - s w a p   c a n   b e   u s e d :   k u b e c t l   t o p   n o d e s   - - s h o w - s w a p   T h i s   w i l l   r e s u l t   i n   a n   o u t p u t   s i m i l a r   t o :   N A M E   C P U ( c o r e s )   C P U ( % )   M E M O R Y ( b y t e s )   M E M O R Y ( % )   S W A P ( b y t e s )   S W A P ( % )   n o d e 1   1 m   1 0 %   2 M i   1 0 %   1 M i   0 %   n o d e 2   5 m   1 0 %   6 M i   1 0 %   2 M i   0 %   n o d e 3   3 m   1 0 %   4 M i   1 0 %   < u n k n o w n >   < u n k n o w n >   I n   o r d e r   t o   r e c e i v e   i n f o r m a t i o n   a b o u t   s w a p   u s a g e   b y   p o d s ,   k u b e c t l   t o p   n o d e s   - - s h o w - s w a p   c a n   b e   u s e d :   k u b e c t l   t o p   p o d   - n   k u b e - s y s t e m   - - s h o w - s w a p   T h i s   w i l l   r e s u l t   i n   a n   o u t p u t   s i m i l a r   t o :   N A M E   C P U ( c o r e s )   M E M O R Y ( b y t e s )   S W A P ( b y t e s )   c o r e d n s - 5 8 d 5 b c 5 c d b - 5 n b k 4   2 m   1 9 M i   0 M i   c o r e d n s - 5 8 d 5 b c 5 c d b - j s h 2 6   3 m   3 7 M i   0 M i   e t c d - n o d e 0 1   5 1 m   1 4 3 M i   5 M i   k u b e - a p i s e r v e r - n o d e 0 1   9 8 m   8 2 4 M i   1 6 M i   k u b e - c o n t r o l l e r


Question: What is Nodes to report swap capacity as part of node status?

Answer: A   n e w   n o d e   s t a t u s   f i e l d   i s   n o w   a d d e d ,   n o d e . s t a t u s . n o d e I n f o . s w a p . c a p a c i t y ,   t o   r e p o r t   t h e   s w a p   c a p a c i t y   o f   a   n o d e .   A s   a n   e x a m p l e ,   t h e   f o l l o w i n g   c o m m a n d   c a n   b e   u s e d   t o   r e t r i e v e   t h e   s w a p   c a p a c i t y   o f   t h e   n o d e s   i n   a   c l u s t e r :   k u b e c t l   g e t   n o d e s   - o   g o - t e m p l a t e = ' { { r a n g e   . i t e m s } } { { . m e t a d a t a . n a m e } } :   { { i f   . s t a t u s . n o d e I n f o . s w a p . c a p a c i t y } } { { . s t a t u s . n o d e I n f o . s w a p . c a p a c i t y } } { { e l s e } } < u n k n o w n > { { e n d } } { { " \ n " } } { { e n d } } '   T h i s   w i l l   r e s u l t   i n   a n   o u t p u t   s i m i l a r   t o :   n o d e 1 :   2 1 4 7 4 8 3 6 4 8 0   n o d e 2 :   4 2 9 4 9 6 6 4 7 6 8   n o d e 3 :   < u n k n o w n >


Question: What is Swap discovery using Node Feature Discovery (NFD)?

Answer: N o d e   F e a t u r e   D i s c o v e r y   i s   a   K u b e r n e t e s   a d d o n   f o r   d e t e c t i n g   h a r d w a r e   f e a t u r e s   a n d   c o n f i g u r a t i o n .   I t   c a n   b e   u t i l i z e d   t o   d i s c o v e r   w h i c h   n o d e s   a r e   p r o v i s i o n e d   w i t h   s w a p .   A s   a n   e x a m p l e ,   t o   f i g u r e   o u t   w h i c h   n o d e s   a r e   p r o v i s i o n e d   w i t h   s w a p ,   u s e   t h e   f o l l o w i n g   c o m m a n d :   k u b e c t l   g e t   n o d e s   - o   j s o n p a t h = ' { r a n g e   . i t e m s [ ? ( @ . m e t a d a t a . l a b e l s . f e a t u r e \ . n o d e \ . k u b e r n e t e s \ . i o / m e m o r y - s w a p ) ] } { . m e t a d a t a . n a m e } { " \ t " } { . m e t a d a t a . l a b e l s . f e a t u r e \ . n o d e \ . k u b e r n e t e s \ . i o / m e m o r y - s w a p } { " \ n " } { e n d } '   T h i s   w i l l   r e s u l t   i n   a n   o u t p u t   s i m i l a r   t o :   k 8 s - w o r k e r 1 :   t r u e   k 8 s - w o r k e r 2 :   t r u e   k 8 s - w o r k e r 3 :   f a l s e   I n   t h i s   e x a m p l e ,   s w a p   i s   p r o v i s i o n e d   o n   n o d e s   k 8 s - w o r k e r 1   a n d   k 8 s - w o r k e r 2 ,   b u t   n o t   o n   k 8 s - w o r k e r 3 .


Question: What is Caution:?

Answer: H a v i n g   s w a p   a v a i l a b l e   o n   a   s y s t e m   r e d u c e s   p r e d i c t a b i l i t y .   W h i l e   s w a p   c a n   e n h a n c e   p e r f o r m a n c e   b y   m a k i n g   m o r e   R A M   a v a i l a b l e ,   s w a p p i n g   d a t a   b a c k   t o   m e m o r y   i s   a   h e a v y   o p e r a t i o n ,   s o m e t i m e s   s l o w e r   b y   m a n y   o r d e r s   o f   m a g n i t u d e ,   w h i c h   c a n   c a u s e   u n e x p e c t e d   p e r f o r m a n c e   r e g r e s s i o n s .   F u r t h e r m o r e ,   s w a p   c h a n g e s   a   s y s t e m ' s   b e h a v i o u r   u n d e r   m e m o r y   p r e s s u r e .   E n a b l i n g   s w a p   i n c r e a s e s   t h e   r i s k   o f   n o i s y   n e i g h b o r s ,   w h e r e   P o d s   t h a t   f r e q u e n t l y   u s e   t h e i r   R A M   m a y   c a u s e   o t h e r   P o d s   t o   s w a p .   I n   a d d i t i o n ,   s i n c e   s w a p   a l l o w s   f o r   g r e a t e r   m e m o r y   u s a g e   f o r   w o r k l o a d s   i n   K u b e r n e t e s   t h a t   c a n n o t   b e   p r e d i c t a b l y   a c c o u n t e d   f o r ,   a n d   d u e   t o   u n e x p e c t e d   p a c k i n g   c o n f i g u r a t i o n s ,   t h e   s c h e d u l e r   c u r r e n t l y   d o e s   n o t   a c c o u n t   f o r   s w a p   m e m o r y   u s a g e .   T h i s   h e i g h t e n s   t h e   r i s k   o f   n o i s y   n e i g h b o r s .   T h e   p e r f o r m a n c e   o f   a   n o d e   w i t h   s w a p   m e m o r y   e n a b l e d   d e p e n d s   o n   t h e   u n d e r l y i n g   p h y s i c a l   s t o r a g e .   W h e n   s w a p   m e m o r y   i s   i n   u s e ,   p e r f o r m a n c e   w i l l   b e   s i g n i f i c a n t l y   w o r s e   i n   a n   I / O   o p e r a t i o n s   p e r   s e c o n d   ( I O P S )   c o n s t r a i n e d   e n v i r o n m e n t ,   s u c h   a s   a   c l o u d   V M   w i t h   I / O