Question: What is kubelet metrics?

Answer: W h e n   a   P o d   b o u n d   t o   a   n o d e   m u s t   h a v e   a   R e s o u r c e C l a i m   s a t i s f i e d ,   k u b e l e t   c a l l s   t h e   N o d e P r e p a r e R e s o u r c e s   a n d   N o d e U n p r e p a r e R e s o u r c e s   m e t h o d s   o f   t h e   D R A   d r i v e r .   Y o u   c a n   o b s e r v e   t h i s   b e h a v i o r   f r o m   t h e   k u b e l e t ' s   p o i n t   o f   v i e w   w i t h   t h e   f o l l o w i n g   m e t r i c s .   K u b e l e t   N o d e P r e p a r e R e s o u r c e s :   M o n i t o r   h i s t o g r a m _ q u a n t i l e ( 0 . 9 9 ,   s u m ( r a t e ( d r a _ o p e r a t i o n s _ d u r a t i o n _ s e c o n d s _ b u c k e t { o p e r a t i o n _ n a m e = " P r e p a r e R e s o u r c e s " } [ 5 m ] ) )   b y   ( l e ) ) . K u b e l e t   N o d e U n p r e p a r e R e s o u r c e s :   T r a c k   h i s t o g r a m _ q u a n t i l e ( 0 . 9 9 ,   s u m ( r a t e ( d r a _ o p e r a t i o n s _ d u r a t i o n _ s e c o n d s _ b u c k e t { o p e r a t i o n _ n a m e = " U n p r e p a r e R e s o u r c e s " } [ 5 m ] ) )   b y   ( l e ) ) .


Question: What is DRA kubeletplugin operations?

Answer: D R A   d r i v e r s   i m p l e m e n t   t h e   k u b e l e t p l u g i n   p a c k a g e   i n t e r f a c e   w h i c h   s u r f a c e s   i t s   o w n   m e t r i c   f o r   t h e   u n d e r l y i n g   g R P C   o p e r a t i o n   N o d e P r e p a r e R e s o u r c e s   a n d   N o d e U n p r e p a r e R e s o u r c e s .   Y o u   c a n   o b s e r v e   t h i s   b e h a v i o r   f r o m   t h e   p o i n t   o f   v i e w   o f   t h e   i n t e r n a l   k u b e l e t p l u g i n   w i t h   t h e   f o l l o w i n g   m e t r i c s .   D R A   k u b e l e t p l u g i n   g R P C   N o d e P r e p a r e R e s o u r c e s   o p e r a t i o n :   O b s e r v e   h i s t o g r a m _ q u a n t i l e ( 0 . 9 9 ,   s u m ( r a t e ( d r a _ g r p c _ o p e r a t i o n s _ d u r a t i o n _ s e c o n d s _ b u c k e t { m e t h o d _ n a m e = ~ " . * N o d e P r e p a r e R e s o u r c e s " } [ 5 m ] ) )   b y   ( l e ) ) . D R A   k u b e l e t p l u g i n   g R P C   N o d e U n p r e p a r e R e s o u r c e s   o p e r a t i o n :   O b s e r v e   h i s t o g r a m _ q u a n t i l e ( 0 . 9 9 ,   s u m ( r a t e ( d r a _ g r p c _ o p e r a t i o n s _ d u r a t i o n _ s e c o n d s _ b u c k e t { m e t h o d _ n a m e = ~ " . * N o d e U n p r e p a r e R e s o u r c e s " } [ 5 m ] ) )   b y   ( l e ) ) .


Question: What is What's next?

Answer: L e a r n   m o r e   a b o u t   D R A R e a d   t h e   K u b e r n e t e s   M e t r i c s   R e f e r e n c e


Question: What is 11.8 - Logging Architecture?

Answer: A p p l i c a t i o n   l o g s   c a n   h e l p   y o u   u n d e r s t a n d   w h a t   i s   h a p p e n i n g   i n s i d e   y o u r   a p p l i c a t i o n .   T h e   l o g s   a r e   p a r t i c u l a r l y   u s e f u l   f o r   d e b u g g i n g   p r o b l e m s   a n d   m o n i t o r i n g   c l u s t e r   a c t i v i t y .   M o s t   m o d e r n   a p p l i c a t i o n s   h a v e   s o m e   k i n d   o f   l o g g i n g   m e c h a n i s m .   L i k e w i s e ,   c o n t a i n e r   e n g i n e s   a r e   d e s i g n e d   t o   s u p p o r t   l o g g i n g .   T h e   e a s i e s t   a n d   m o s t   a d o p t e d   l o g g i n g   m e t h o d   f o r   c o n t a i n e r i z e d   a p p l i c a t i o n s   i s   w r i t i n g   t o   s t a n d a r d   o u t p u t   a n d   s t a n d a r d   e r r o r   s t r e a m s .   H o w e v e r ,   t h e   n a t i v e   f u n c t i o n a l i t y   p r o v i d e d   b y   a   c o n t a i n e r   e n g i n e   o r   r u n t i m e   i s   u s u a l l y   n o t   e n o u g h   f o r   a   c o m p l e t e   l o g g i n g   s o l u t i o n .   F o r   e x a m p l e ,   y o u   m a y   w a n t   t o   a c c e s s   y o u r   a p p l i c a t i o n ' s   l o g s   i f   a   c o n t a i n e r   c r a s h e s ,   a   p o d   g e t s   e v i c t e d ,   o r   a   n o d e   d i e s .   I n   a   c l u s t e r ,   l o g s   s h o u l d   h a v e   a   s e p a r a t e   s t o r a g e   a n d   l i f e c y c l e   i n d e p e n d e n t   o f   n o d e s ,   p o d s ,   o r   c o n t a i n e r s .   T h i s   c o n c e p t   i s   c a l l e d   c l u s t e r - l e v e l   l o g g i n g .   C l u s t e r - l e v e l   l o g g i n g   a r c h i t e c t u r e s   r e q u i r e   a   s e p a r a t e   b a c k e n d   t o   s t o r e ,   a n a l y z e ,   a n d   q u e r y   l o g s .   K u b e r n e t e s   d o e s   n o t   p r o v i d e   a   n a t i v e   s t o r a g e   s o l u t i o n   f o r   l o g   d a t a .   I


Question: What is Pod and container logs?

Answer: K u b e r n e t e s   c a p t u r e s   l o g s   f r o m   e a c h   c o n t a i n e r   i n   a   r u n n i n g   P o d .   T h i s   e x a m p l e   u s e s   a   m a n i f e s t   f o r   a   P o d   w i t h   a   c o n t a i n e r   t h a t   w r i t e s   t e x t   t o   t h e   s t a n d a r d   o u t p u t   s t r e a m ,   o n c e   p e r   s e c o n d .   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   c o u n t e r   s p e c :   c o n t a i n e r s :   -   n a m e :   c o u n t   i m a g e :   b u s y b o x : 1 . 2 8   a r g s :   [ / b i n / s h ,   - c ,   ' i = 0 ;   w h i l e   t r u e ;   d o   e c h o   " $ i :   $ ( d a t e ) " ;   i = $ ( ( i + 1 ) ) ;   s l e e p   1 ;   d o n e ' ]   T o   r u n   t h i s   p o d ,   u s e   t h e   f o l l o w i n g   c o m m a n d :   k u b e c t l   a p p l y   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / d e b u g / c o u n t e r - p o d . y a m l   T h e   o u t p u t   i s :   p o d / c o u n t e r   c r e a t e d   T o   f e t c h   t h e   l o g s ,   u s e   t h e   k u b e c t l   l o g s   c o m m a n d ,   a s   f o l l o w s :   k u b e c t l   l o g s   c o u n t e r   T h e   o u t p u t   i s   s i m i l a r   t o :   0 :   F r i   A p r   1   1 1 : 4 2 : 2 3   U T C   2 0 2 2   1 :   F r i   A p r   1   1 1 : 4 2 : 2 4   U T C   2 0 2 2   2 :   F r i   A p r   1   1 1 : 4 2 : 2 5   U T C   2 0 2 2   Y o u   c a n   u s e   k u b e c t l   l o g s   - - p r e v i o u s   t o   r e t r i e v e   l o g s   f r o m   a   p r e v i o u s   i n s t a n t i a t i o n   o f   a   c o n t a i n e r .   I f   y o u r   p o d   h a s   m u l t i p l e   c o n t a i n e r s ,   s p e c i f y   w h i c h   c o n t a i n e r ' s   l o g s   y o u   w a n t   t o   a c c e s s   b y   a p p e n d i n g   a   c o n t a i n e r   n a m e   t o   t h e   c o m m a n d ,   w i t h   a   - c   f l a g ,   l i k e   s o :   k u b e c t l   l o g s   c o u n t e r   - c   c


Question: What is Container log streams?

Answer: A s   a n   a l p h a   f e a t u r e ,   t h e   k u b e l e t   c a n   s p l i t   o u t   t h e   l o g s   f r o m   t h e   t w o   s t a n d a r d   s t r e a m s   p r o d u c e d   b y   a   c o n t a i n e r :   s t a n d a r d   o u t p u t   a n d   s t a n d a r d   e r r o r .   T o   u s e   t h i s   b e h a v i o r ,   y o u   m u s t   e n a b l e   t h e   P o d L o g s Q u e r y S p l i t S t r e a m s   f e a t u r e   g a t e .   W i t h   t h a t   f e a t u r e   g a t e   e n a b l e d ,   K u b e r n e t e s   1 . 3 4   a l l o w s   a c c e s s   t o   t h e s e   l o g   s t r e a m s   d i r e c t l y   v i a   t h e   P o d   A P I .   Y o u   c a n   f e t c h   a   s p e c i f i c   s t r e a m   b y   s p e c i f y i n g   t h e   s t r e a m   n a m e   ( e i t h e r   S t d o u t   o r   S t d e r r ) ,   u s i n g   t h e   s t r e a m   q u e r y   s t r i n g .   Y o u   m u s t   h a v e   a c c e s s   t o   r e a d   t h e   l o g   s u b r e s o u r c e   o f   t h a t   P o d .   T o   d e m o n s t r a t e   t h i s   f e a t u r e ,   y o u   c a n   c r e a t e   a   P o d   t h a t   p e r i o d i c a l l y   w r i t e s   t e x t   t o   b o t h   t h e   s t a n d a r d   o u t p u t   a n d   e r r o r   s t r e a m .   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   c o u n t e r - e r r   s p e c :   c o n t a i n e r s :   -   n a m e :   c o u n t   i m a g e :   b u s y b o x : 1 . 2 8   a r g s :   [ / b i n / s h ,   - c ,   ' i = 0 ;   w h i l e   t r u e ;   d o   e c h o   " $ i :   $ ( d a t e ) " ;   e c h o   " $ i :   e r r "   > & 2   ;   i = $ ( ( i + 1 ) ) ;   s l e e p   1 ;   d o n e ' ]   T o   r u n   t h i s   p o d ,   u s e   t h e   f o l l o w i n g   c o m m a n d :   k u b e c t l   a p p l y   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / d e b u g / c o u n t e r - p o d - e r r . y a m l   T o   f e t c h   o n l y   t h e   s t d e r r   l o g


Question: What is How nodes handle container logs?

Answer: A   c o n t a i n e r   r u n t i m e   h a n d l e s   a n d   r e d i r e c t s   a n y   o u t p u t   g e n e r a t e d   t o   a   c o n t a i n e r i z e d   a p p l i c a t i o n ' s   s t d o u t   a n d   s t d e r r   s t r e a m s .   D i f f e r e n t   c o n t a i n e r   r u n t i m e s   i m p l e m e n t   t h i s   i n   d i f f e r e n t   w a y s ;   h o w e v e r ,   t h e   i n t e g r a t i o n   w i t h   t h e   k u b e l e t   i s   s t a n d a r d i z e d   a s   t h e   C R I   l o g g i n g   f o r m a t .   B y   d e f a u l t ,   i f   a   c o n t a i n e r   r e s t a r t s ,   t h e   k u b e l e t   k e e p s   o n e   t e r m i n a t e d   c o n t a i n e r   w i t h   i t s   l o g s .   I f   a   p o d   i s   e v i c t e d   f r o m   t h e   n o d e ,   a l l   c o r r e s p o n d i n g   c o n t a i n e r s   a r e   a l s o   e v i c t e d ,   a l o n g   w i t h   t h e i r   l o g s .   T h e   k u b e l e t   m a k e s   l o g s   a v a i l a b l e   t o   c l i e n t s   v i a   a   s p e c i a l   f e a t u r e   o f   t h e   K u b e r n e t e s   A P I .   T h e   u s u a l   w a y   t o   a c c e s s   t h i s   i s   b y   r u n n i n g   k u b e c t l   l o g s .


Question: What is Log rotation?

Answer: T h e   k u b e l e t   i s   r e s p o n s i b l e   f o r   r o t a t i n g   c o n t a i n e r   l o g s   a n d   m a n a g i n g   t h e   l o g g i n g   d i r e c t o r y   s t r u c t u r e .   T h e   k u b e l e t   s e n d s   t h i s   i n f o r m a t i o n   t o   t h e   c o n t a i n e r   r u n t i m e   ( u s i n g   C R I ) ,   a n d   t h e   r u n t i m e   w r i t e s   t h e   c o n t a i n e r   l o g s   t o   t h e   g i v e n   l o c a t i o n .   Y o u   c a n   c o n f i g u r e   t w o   k u b e l e t   c o n f i g u r a t i o n   s e t t i n g s ,   c o n t a i n e r L o g M a x S i z e   ( d e f a u l t   1 0 M i )   a n d   c o n t a i n e r L o g M a x F i l e s   ( d e f a u l t   5 ) ,   u s i n g   t h e   k u b e l e t   c o n f i g u r a t i o n   f i l e .   T h e s e   s e t t i n g s   l e t   y o u   c o n f i g u r e   t h e   m a x i m u m   s i z e   f o r   e a c h   l o g   f i l e   a n d   t h e   m a x i m u m   n u m b e r   o f   f i l e s   a l l o w e d   f o r   e a c h   c o n t a i n e r   r e s p e c t i v e l y .   I n   o r d e r   t o   p e r f o r m   a n   e f f i c i e n t   l o g   r o t a t i o n   i n   c l u s t e r s   w h e r e   t h e   v o l u m e   o f   t h e   l o g s   g e n e r a t e d   b y   t h e   w o r k l o a d   i s   l a r g e ,   k u b e l e t   a l s o   p r o v i d e s   a   m e c h a n i s m   t o   t u n e   h o w   t h e   l o g s   a r e   r o t a t e d   i n   t e r m s   o f   h o w   m a n y   c o n c u r r e n t   l o g   r o t a t i o n s   c a n   b e   p e r f o r m e d   a n d   t h e   i n t e r v a l   a t   w h i c h   t h e   l o g s   a r e   m o n i t o r e d   a n d   r o t a t e d   a s   r e q u i r e d .   Y o u   c a n   c o n f i g u r e   t w o   k u b e l e t   c o n f i g u r a t i o n   s e t t i n g s ,   c o n t a i n e r L o g M a x W o r k e r s   a n d   c o n t a i n e r L o g M o n i t o r I n t e r v a l   u s i n g   t h e   k u b e l e t   c


Question: What is Note:?

Answer: O n l y   t h e   c o n t e n t s   o f   t h e   l a t e s t   l o g   f i l e   a r e   a v a i l a b l e   t h r o u g h   k u b e c t l   l o g s .   F o r   e x a m p l e ,   i f   a   P o d   w r i t e s   4 0   M i B   o f   l o g s   a n d   t h e   k u b e l e t   r o t a t e s   l o g s   a f t e r   1 0   M i B ,   r u n n i n g   k u b e c t l   l o g s   r e t u r n s   a t   m o s t   1 0 M i B   o f   d a t a .


Question: What is System component logs?

Answer: T h e r e   a r e   t w o   t y p e s   o f   s y s t e m   c o m p o n e n t s :   t h o s e   t h a t   t y p i c a l l y   r u n   i n   a   c o n t a i n e r ,   a n d   t h o s e   c o m p o n e n t s   d i r e c t l y   i n v o l v e d   i n   r u n n i n g   c o n t a i n e r s .   F o r   e x a m p l e :   T h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   d o   n o t   r u n   i n   c o n t a i n e r s .   T h e   k u b e l e t   r u n s   y o u r   c o n t a i n e r s   ( g r o u p e d   t o g e t h e r   i n   p o d s ) T h e   K u b e r n e t e s   s c h e d u l e r ,   c o n t r o l l e r   m a n a g e r ,   a n d   A P I   s e r v e r   r u n   w i t h i n   p o d s   ( u s u a l l y   s t a t i c   P o d s ) .   T h e   e t c d   c o m p o n e n t   r u n s   i n   t h e   c o n t r o l   p l a n e ,   a n d   m o s t   c o m m o n l y   a l s o   a s   a   s t a t i c   p o d .   I f   y o u r   c l u s t e r   u s e s   k u b e - p r o x y ,   y o u   t y p i c a l l y   r u n   t h i s   a s   a   D a e m o n S e t .


Question: What is Log locations?

Answer: T h e   w a y   t h a t   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   l o g s   d e p e n d s   o n   t h e   o p e r a t i n g   s y s t e m   t h a t   t h e   n o d e   u s e s :   O n   L i n u x   n o d e s   t h a t   u s e   s y s t e m d ,   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   t o   j o u r n a l d   b y   d e f a u l t .   Y o u   u s e   j o u r n a l c t l   t o   r e a d   t h e   s y s t e m d   j o u r n a l ;   f o r   e x a m p l e :   j o u r n a l c t l   - u   k u b e l e t . I f   s y s t e m d   i s   n o t   p r e s e n t ,   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   t o   . l o g   f i l e s   i n   t h e   / v a r / l o g   d i r e c t o r y .   I f   y o u   w a n t   t o   h a v e   l o g s   w r i t t e n   e l s e w h e r e ,   y o u   c a n   i n d i r e c t l y   r u n   t h e   k u b e l e t   v i a   a   h e l p e r   t o o l ,   k u b e - l o g - r u n n e r ,   a n d   u s e   t h a t   t o o l   t o   r e d i r e c t   k u b e l e t   l o g s   t o   a   d i r e c t o r y   t h a t   y o u   c h o o s e . B y   d e f a u l t ,   k u b e l e t   d i r e c t s   y o u r   c o n t a i n e r   r u n t i m e   t o   w r i t e   l o g s   i n t o   d i r e c t o r i e s   w i t h i n   / v a r / l o g / p o d s . F o r   m o r e   i n f o r m a t i o n   o n   k u b e - l o g - r u n n e r ,   r e a d   S y s t e m   L o g s .   O n   L i n u x   n o d e s   t h a t   u s e   s y s t e m d ,   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   t o   j o u r n a l d   b y   d e f a u l t .   Y o u   u s e   j o u r n a l c t l   t o   r e a d   t h e   s y s t e m d   j o u r n a l ;   f o r   e x a m p l e :   j o u r n a l c t l   - u   k u b e l e t .   I f   s y s t e m d   i s   n o t   p r e s e n t ,   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   t o


Question: What is Caution:?

Answer: I t ' s   i m p o r t a n t   t o   n o t e   t h a t   t h e   d e f a u l t   l o c a t i o n   / v a r / l o g / p o d s   h a s   b e e n   i n   u s e   f o r   a n   e x t e n d e d   p e r i o d   a n d   c e r t a i n   p r o c e s s e s   m i g h t   i m p l i c i t l y   a s s u m e   t h i s   p a t h .   T h e r e f o r e ,   a l t e r i n g   t h i s   p a r a m e t e r   m u s t   b e   a p p r o a c h e d   w i t h   c a u t i o n   a n d   a t   y o u r   o w n   r i s k .   A n o t h e r   c a v e a t   t o   k e e p   i n   m i n d   i s   t h a t   t h e   k u b e l e t   s u p p o r t s   t h e   l o c a t i o n   b e i n g   o n   t h e   s a m e   d i s k   a s   / v a r .   O t h e r w i s e ,   i f   t h e   l o g s   a r e   o n   a   s e p a r a t e   f i l e s y s t e m   f r o m   / v a r ,   t h e n   t h e   k u b e l e t   w i l l   n o t   t r a c k   t h a t   f i l e s y s t e m ' s   u s a g e ,   p o t e n t i a l l y   l e a d i n g   t o   i s s u e s   i f   i t   f i l l s   u p .   F o r   d e t a i l s   a b o u t   e t c d   a n d   i t s   l o g s ,   v i e w   t h e   e t c d   d o c u m e n t a t i o n .   A g a i n ,   y o u   c a n   u s e   K u b e r n e t e s '   s t o r a g e   m e c h a n i s m s   t o   m a p   p e r s i s t e n t   s t o r a g e   i n t o   t h e   c o n t a i n e r   t h a t   r u n s   t h e   c o m p o n e n t .


Question: What is Note:?

Answer: I f   y o u   d e p l o y   K u b e r n e t e s   c l u s t e r   c o m p o n e n t s   ( s u c h   a s   t h e   s c h e d u l e r )   t o   l o g   t o   a   v o l u m e   s h a r e d   f r o m   t h e   p a r e n t   n o d e ,   y o u   n e e d   t o   c o n s i d e r   a n d   e n s u r e   t h a t   t h o s e   l o g s   a r e   r o t a t e d .   K u b e r n e t e s   d o e s   n o t   m a n a g e   t h a t   l o g   r o t a t i o n .   Y o u r   o p e r a t i n g   s y s t e m   m a y   a u t o m a t i c a l l y   i m p l e m e n t   s o m e   l o g   r o t a t i o n   -   f o r   e x a m p l e ,   i f   y o u   s h a r e   t h e   d i r e c t o r y   / v a r / l o g   i n t o   a   s t a t i c   P o d   f o r   a   c o m p o n e n t ,   n o d e - l e v e l   l o g   r o t a t i o n   t r e a t s   a   f i l e   i n   t h a t   d i r e c t o r y   t h e   s a m e   a s   a   f i l e   w r i t t e n   b y   a n y   c o m p o n e n t   o u t s i d e   K u b e r n e t e s .   S o m e   d e p l o y   t o o l s   a c c o u n t   f o r   t h a t   l o g   r o t a t i o n   a n d   a u t o m a t e   i t ;   o t h e r s   l e a v e   t h i s   a s   y o u r   r e s p o n s i b i l i t y .


Question: What is Cluster-level logging architectures?

Answer: W h i l e   K u b e r n e t e s   d o e s   n o t   p r o v i d e   a   n a t i v e   s o l u t i o n   f o r   c l u s t e r - l e v e l   l o g g i n g ,   t h e r e   a r e   s e v e r a l   c o m m o n   a p p r o a c h e s   y o u   c a n   c o n s i d e r .   H e r e   a r e   s o m e   o p t i o n s :   U s e   a   n o d e - l e v e l   l o g g i n g   a g e n t   t h a t   r u n s   o n   e v e r y   n o d e . I n c l u d e   a   d e d i c a t e d   s i d e c a r   c o n t a i n e r   f o r   l o g g i n g   i n   a n   a p p l i c a t i o n   p o d . P u s h   l o g s   d i r e c t l y   t o   a   b a c k e n d   f r o m   w i t h i n   a n   a p p l i c a t i o n .


Question: What is Using a node logging agent?

Answer: Y o u   c a n   i m p l e m e n t   c l u s t e r - l e v e l   l o g g i n g   b y   i n c l u d i n g   a   n o d e - l e v e l   l o g g i n g   a g e n t   o n   e a c h   n o d e .   T h e   l o g g i n g   a g e n t   i s   a   d e d i c a t e d   t o o l   t h a t   e x p o s e s   l o g s   o r   p u s h e s   l o g s   t o   a   b a c k e n d .   C o m m o n l y ,   t h e   l o g g i n g   a g e n t   i s   a   c o n t a i n e r   t h a t   h a s   a c c e s s   t o   a   d i r e c t o r y   w i t h   l o g   f i l e s   f r o m   a l l   o f   t h e   a p p l i c a t i o n   c o n t a i n e r s   o n   t h a t   n o d e .   B e c a u s e   t h e   l o g g i n g   a g e n t   m u s t   r u n   o n   e v e r y   n o d e ,   i t   i s   r e c o m m e n d e d   t o   r u n   t h e   a g e n t   a s   a   D a e m o n S e t .   N o d e - l e v e l   l o g g i n g   c r e a t e s   o n l y   o n e   a g e n t   p e r   n o d e   a n d   d o e s n ' t   r e q u i r e   a n y   c h a n g e s   t o   t h e   a p p l i c a t i o n s   r u n n i n g   o n   t h e   n o d e .   C o n t a i n e r s   w r i t e   t o   s t d o u t   a n d   s t d e r r ,   b u t   w i t h   n o   a g r e e d   f o r m a t .   A   n o d e - l e v e l   a g e n t   c o l l e c t s   t h e s e   l o g s   a n d   f o r w a r d s   t h e m   f o r   a g g r e g a t i o n .


Question: What is Using a sidecar container with the logging agent?

Answer: Y o u   c a n   u s e   a   s i d e c a r   c o n t a i n e r   i n   o n e   o f   t h e   f o l l o w i n g   w a y s :   T h e   s i d e c a r   c o n t a i n e r   s t r e a m s   a p p l i c a t i o n   l o g s   t o   i t s   o w n   s t d o u t . T h e   s i d e c a r   c o n t a i n e r   r u n s   a   l o g g i n g   a g e n t ,   w h i c h   i s   c o n f i g u r e d   t o   p i c k   u p   l o g s   f r o m   a n   a p p l i c a t i o n   c o n t a i n e r .


Question: What is Streaming sidecar container?

Answer: B y   h a v i n g   y o u r   s i d e c a r   c o n t a i n e r s   w r i t e   t o   t h e i r   o w n   s t d o u t   a n d   s t d e r r   s t r e a m s ,   y o u   c a n   t a k e   a d v a n t a g e   o f   t h e   k u b e l e t   a n d   t h e   l o g g i n g   a g e n t   t h a t   a l r e a d y   r u n   o n   e a c h   n o d e .   T h e   s i d e c a r   c o n t a i n e r s   r e a d   l o g s   f r o m   a   f i l e ,   a   s o c k e t ,   o r   j o u r n a l d .   E a c h   s i d e c a r   c o n t a i n e r   p r i n t s   a   l o g   t o   i t s   o w n   s t d o u t   o r   s t d e r r   s t r e a m .   T h i s   a p p r o a c h   a l l o w s   y o u   t o   s e p a r a t e   s e v e r a l   l o g   s t r e a m s   f r o m   d i f f e r e n t   p a r t s   o f   y o u r   a p p l i c a t i o n ,   s o m e   o f   w h i c h   c a n   l a c k   s u p p o r t   f o r   w r i t i n g   t o   s t d o u t   o r   s t d e r r .   T h e   l o g i c   b e h i n d   r e d i r e c t i n g   l o g s   i s   m i n i m a l ,   s o   i t ' s   n o t   a   s i g n i f i c a n t   o v e r h e a d .   A d d i t i o n a l l y ,   b e c a u s e   s t d o u t   a n d   s t d e r r   a r e   h a n d l e d   b y   t h e   k u b e l e t ,   y o u   c a n   u s e   b u i l t - i n   t o o l s   l i k e   k u b e c t l   l o g s .   F o r   e x a m p l e ,   a   p o d   r u n s   a   s i n g l e   c o n t a i n e r ,   a n d   t h e   c o n t a i n e r   w r i t e s   t o   t w o   d i f f e r e n t   l o g   f i l e s   u s i n g   t w o   d i f f e r e n t   f o r m a t s .   H e r e ' s   a   m a n i f e s t   f o r   t h e   P o d :   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   c o u n t e r   s p e c :   c o n t a i n e r s :   -   n a m e :   c o u n t   i m a g e :   b u s y b o x : 1 . 2 8   a r g s :   -   / b i n / s h   -   - c   -   >   i = 0 ;   w h i l e   t r u e ;   d o   e c h o   " $ i :   $ ( d a t e ) "   > >   / v a r /


Question: What is Sidecar container with a logging agent?

Answer: I f   t h e   n o d e - l e v e l   l o g g i n g   a g e n t   i s   n o t   f l e x i b l e   e n o u g h   f o r   y o u r   s i t u a t i o n ,   y o u   c a n   c r e a t e   a   s i d e c a r   c o n t a i n e r   w i t h   a   s e p a r a t e   l o g g i n g   a g e n t   t h a t   y o u   h a v e   c o n f i g u r e d   s p e c i f i c a l l y   t o   r u n   w i t h   y o u r   a p p l i c a t i o n .


Question: What is Note:?

Answer: H e r e   a r e   t w o   e x a m p l e   m a n i f e s t s   t h a t   y o u   c a n   u s e   t o   i m p l e m e n t   a   s i d e c a r   c o n t a i n e r   w i t h   a   l o g g i n g   a g e n t .   T h e   f i r s t   m a n i f e s t   c o n t a i n s   a   C o n f i g M a p   t o   c o n f i g u r e   f l u e n t d .   a p i V e r s i o n :   v 1   k i n d :   C o n f i g M a p   m e t a d a t a :   n a m e :   f l u e n t d - c o n f i g   d a t a :   f l u e n t d . c o n f :   |   < s o u r c e >   t y p e   t a i l   f o r m a t   n o n e   p a t h   / v a r / l o g / 1 . l o g   p o s _ f i l e   / v a r / l o g / 1 . l o g . p o s   t a g   c o u n t . f o r m a t 1   < / s o u r c e >   < s o u r c e >   t y p e   t a i l   f o r m a t   n o n e   p a t h   / v a r / l o g / 2 . l o g   p o s _ f i l e   / v a r / l o g / 2 . l o g . p o s   t a g   c o u n t . f o r m a t 2   < / s o u r c e >   < m a t c h   * * >   t y p e   g o o g l e _ c l o u d   < / m a t c h >


Question: What is Note:?

Answer: T h e   s e c o n d   m a n i f e s t   d e s c r i b e s   a   p o d   t h a t   h a s   a   s i d e c a r   c o n t a i n e r   r u n n i n g   f l u e n t d .   T h e   p o d   m o u n t s   a   v o l u m e   w h e r e   f l u e n t d   c a n   p i c k   u p   i t s   c o n f i g u r a t i o n   d a t a .   a p i V e r s i o n :   v 1   k i n d :   P o d   m e t a d a t a :   n a m e :   c o u n t e r   s p e c :   c o n t a i n e r s :   -   n a m e :   c o u n t   i m a g e :   b u s y b o x : 1 . 2 8   a r g s :   -   / b i n / s h   -   - c   -   >   i = 0 ;   w h i l e   t r u e ;   d o   e c h o   " $ i :   $ ( d a t e ) "   > >   / v a r / l o g / 1 . l o g ;   e c h o   " $ ( d a t e )   I N F O   $ i "   > >   / v a r / l o g / 2 . l o g ;   i = $ ( ( i + 1 ) ) ;   s l e e p   1 ;   d o n e   v o l u m e M o u n t s :   -   n a m e :   v a r l o g   m o u n t P a t h :   / v a r / l o g   -   n a m e :   c o u n t - a g e n t   i m a g e :   r e g i s t r y . k 8 s . i o / f l u e n t d - g c p : 1 . 3 0   e n v :   -   n a m e :   F L U E N T D _ A R G S   v a l u e :   - c   / e t c / f l u e n t d - c o n f i g / f l u e n t d . c o n f   v o l u m e M o u n t s :   -   n a m e :   v a r l o g   m o u n t P a t h :   / v a r / l o g   -   n a m e :   c o n f i g - v o l u m e   m o u n t P a t h :   / e t c / f l u e n t d - c o n f i g   v o l u m e s :   -   n a m e :   v a r l o g   e m p t y D i r :   { }   -   n a m e :   c o n f i g - v o l u m e   c o n f i g M a p :   n a m e :   f l u e n t d - c o n f i g


Question: What is Exposing logs directly from the application?

Answer: C l u s t e r - l o g g i n g   t h a t   e x p o s e s   o r   p u s h e s   l o g s   d i r e c t l y   f r o m   e v e r y   a p p l i c a t i o n   i s   o u t s i d e   t h e   s c o p e   o f   K u b e r n e t e s .


Question: What is What's next?

Answer: R e a d   a b o u t   K u b e r n e t e s   s y s t e m   l o g s L e a r n   a b o u t   T r a c e s   F o r   K u b e r n e t e s   S y s t e m   C o m p o n e n t s L e a r n   h o w   t o   c u s t o m i s e   t h e   t e r m i n a t i o n   m e s s a g e   t h a t   K u b e r n e t e s   r e c o r d s   w h e n   a   P o d   f a i l s


Question: What is 11.9 - Compatibility Version For Kubernetes Control Plane Components?

Answer: S i n c e   r e l e a s e   v 1 . 3 2 ,   w e   i n t r o d u c e d   c o n f i g u r a b l e   v e r s i o n   c o m p a t i b i l i t y   a n d   e m u l a t i o n   o p t i o n s   t o   K u b e r n e t e s   c o n t r o l   p l a n e   c o m p o n e n t s   t o   m a k e   u p g r a d e s   s a f e r   b y   p r o v i d i n g   m o r e   c o n t r o l   a n d   i n c r e a s i n g   t h e   g r a n u l a r i t y   o f   s t e p s   a v a i l a b l e   t o   c l u s t e r   a d m i n i s t r a t o r s .


Question: What is Emulated Version?

Answer: T h e   e m u l a t i o n   o p t i o n   i s   s e t   b y   t h e   - - e m u l a t e d - v e r s i o n   f l a g   o f   c o n t r o l   p l a n e   c o m p o n e n t s .   I t   a l l o w s   t h e   c o m p o n e n t   t o   e m u l a t e   t h e   b e h a v i o r   ( A P I s ,   f e a t u r e s ,   . . . )   o f   a n   e a r l i e r   v e r s i o n   o f   K u b e r n e t e s .   W h e n   u s e d ,   t h e   c a p a b i l i t i e s   a v a i l a b l e   w i l l   m a t c h   t h e   e m u l a t e d   v e r s i o n :   A n y   c a p a b i l i t i e s   p r e s e n t   i n   t h e   b i n a r y   v e r s i o n   t h a t   w e r e   i n t r o d u c e d   a f t e r   t h e   e m u l a t i o n   v e r s i o n   w i l l   b e   u n a v a i l a b l e . A n y   c a p a b i l i t i e s   r e m o v e d   a f t e r   t h e   e m u l a t i o n   v e r s i o n   w i l l   b e   a v a i l a b l e .   T h i s   e n a b l e s   a   b i n a r y   f r o m   a   p a r t i c u l a r   K u b e r n e t e s   r e l e a s e   t o   e m u l a t e   t h e   b e h a v i o r   o f   a   p r e v i o u s   v e r s i o n   w i t h   s u f f i c i e n t   f i d e l i t y   t h a t   i n t e r o p e r a b i l i t y   w i t h   o t h e r   s y s t e m   c o m p o n e n t s   c a n   b e   d e f i n e d   i n   t e r m s   o f   t h e   e m u l a t e d   v e r s i o n .   T h e   - - e m u l a t e d - v e r s i o n   m u s t   b e   < =   b i n a r y V e r s i o n .   S e e   t h e   h e l p   m e s s a g e   o f   t h e   - - e m u l a t e d - v e r s i o n   f l a g   f o r   s u p p o r t e d   r a n g e   o f   e m u l a t e d   v e r s i o n s .


Question: What is 11.10 - Metrics For Kubernetes System Components?

Answer: S y s t e m   c o m p o n e n t   m e t r i c s   c a n   g i v e   a   b e t t e r   l o o k   i n t o   w h a t   i s   h a p p e n i n g   i n s i d e   t h e m .   M e t r i c s   a r e   p a r t i c u l a r l y   u s e f u l   f o r   b u i l d i n g   d a s h b o a r d s   a n d   a l e r t s .   K u b e r n e t e s   c o m p o n e n t s   e m i t   m e t r i c s   i n   P r o m e t h e u s   f o r m a t .   T h i s   f o r m a t   i s   s t r u c t u r e d   p l a i n   t e x t ,   d e s i g n e d   s o   t h a t   p e o p l e   a n d   m a c h i n e s   c a n   b o t h   r e a d   i t .


Question: What is Metrics in Kubernetes?

Answer: I n   m o s t   c a s e s   m e t r i c s   a r e   a v a i l a b l e   o n   / m e t r i c s   e n d p o i n t   o f   t h e   H T T P   s e r v e r .   F o r   c o m p o n e n t s   t h a t   d o n ' t   e x p o s e   e n d p o i n t   b y   d e f a u l t ,   i t   c a n   b e   e n a b l e d   u s i n g   - - b i n d - a d d r e s s   f l a g .   E x a m p l e s   o f   t h o s e   c o m p o n e n t s :   k u b e - c o n t r o l l e r - m a n a g e r k u b e - p r o x y k u b e - a p i s e r v e r k u b e - s c h e d u l e r k u b e l e t   I n   a   p r o d u c t i o n   e n v i r o n m e n t   y o u   m a y   w a n t   t o   c o n f i g u r e   P r o m e t h e u s   S e r v e r   o r   s o m e   o t h e r   m e t r i c s   s c r a p e r   t o   p e r i o d i c a l l y   g a t h e r   t h e s e   m e t r i c s   a n d   m a k e   t h e m   a v a i l a b l e   i n   s o m e   k i n d   o f   t i m e   s e r i e s   d a t a b a s e .   N o t e   t h a t   k u b e l e t   a l s o   e x p o s e s   m e t r i c s   i n   / m e t r i c s / c a d v i s o r ,   / m e t r i c s / r e s o u r c e   a n d   / m e t r i c s / p r o b e s   e n d p o i n t s .   T h o s e   m e t r i c s   d o   n o t   h a v e   t h e   s a m e   l i f e c y c l e .   I f   y o u r   c l u s t e r   u s e s   R B A C ,   r e a d i n g   m e t r i c s   r e q u i r e s   a u t h o r i z a t i o n   v i a   a   u s e r ,   g r o u p   o r   S e r v i c e A c c o u n t   w i t h   a   C l u s t e r R o l e   t h a t   a l l o w s   a c c e s s i n g   / m e t r i c s .   F o r   e x a m p l e :   a p i V e r s i o n :   r b a c . a u t h o r i z a t i o n . k 8 s . i o / v 1   k i n d :   C l u s t e r R o l e   m e t a d a t a :   n a m e :   p r o m e t h e u s   r u l e s :   -   n o n R e s o u r c e U R L s :   -   " / m e t r i c s "   v e r b s :   -   g e t


Question: What is Metric lifecycle?

Answer: A l p h a   m e t r i c   →   S t a b l e   m e t r i c   →   D e p r e c a t e d   m e t r i c   →   H i d d e n   m e t r i c   →   D e l e t e d   m e t r i c   A l p h a   m e t r i c s   h a v e   n o   s t a b i l i t y   g u a r a n t e e s .   T h e s e   m e t r i c s   c a n   b e   m o d i f i e d   o r   d e l e t e d   a t   a n y   t i m e .   S t a b l e   m e t r i c s   a r e   g u a r a n t e e d   t o   n o t   c h a n g e .   T h i s   m e a n s :   A   s t a b l e   m e t r i c   w i t h o u t   a   d e p r e c a t e d   s i g n a t u r e   w i l l   n o t   b e   d e l e t e d   o r   r e n a m e d A   s t a b l e   m e t r i c ' s   t y p e   w i l l   n o t   b e   m o d i f i e d   D e p r e c a t e d   m e t r i c s   a r e   s l a t e d   f o r   d e l e t i o n ,   b u t   a r e   s t i l l   a v a i l a b l e   f o r   u s e .   T h e s e   m e t r i c s   i n c l u d e   a n   a n n o t a t i o n   a b o u t   t h e   v e r s i o n   i n   w h i c h   t h e y   b e c a m e   d e p r e c a t e d .   F o r   e x a m p l e :   B e f o r e   d e p r e c a t i o n #   H E L P   s o m e _ c o u n t e r   t h i s   c o u n t s   t h i n g s   #   T Y P E   s o m e _ c o u n t e r   c o u n t e r   s o m e _ c o u n t e r   0   A f t e r   d e p r e c a t i o n #   H E L P   s o m e _ c o u n t e r   ( D e p r e c a t e d   s i n c e   1 . 1 5 . 0 )   t h i s   c o u n t s   t h i n g s   #   T Y P E   s o m e _ c o u n t e r   c o u n t e r   s o m e _ c o u n t e r   0   B e f o r e   d e p r e c a t i o n   #   H E L P   s o m e _ c o u n t e r   t h i s   c o u n t s   t h i n g s   #   T Y P E   s o m e _ c o u n t e r   c o u n t e r   s o m e _ c o u n t e r   0   A f t e r   d e p r e c a t i o n   #   H E L P   s o m e _ c o u n t e r   ( D e p r e c a t e d   s i n c e   1 . 1 5 . 0 )   t h i s   c o u n t s   t h i n g s   #   T Y P E   s o m e _ c o u n t e r   c o u n t e r   s o m e _ c o u n t e r   0   H i d d e n   m e t r i c


Question: What is Show hidden metrics?

Answer: A s   d e s c r i b e d   a b o v e ,   a d m i n s   c a n   e n a b l e   h i d d e n   m e t r i c s   t h r o u g h   a   c o m m a n d - l i n e   f l a g   o n   a   s p e c i f i c   b i n a r y .   T h i s   i n t e n d s   t o   b e   u s e d   a s   a n   e s c a p e   h a t c h   f o r   a d m i n s   i f   t h e y   m i s s e d   t h e   m i g r a t i o n   o f   t h e   m e t r i c s   d e p r e c a t e d   i n   t h e   l a s t   r e l e a s e .   T h e   f l a g   s h o w - h i d d e n - m e t r i c s - f o r - v e r s i o n   t a k e s   a   v e r s i o n   f o r   w h i c h   y o u   w a n t   t o   s h o w   m e t r i c s   d e p r e c a t e d   i n   t h a t   r e l e a s e .   T h e   v e r s i o n   i s   e x p r e s s e d   a s   x . y ,   w h e r e   x   i s   t h e   m a j o r   v e r s i o n ,   y   i s   t h e   m i n o r   v e r s i o n .   T h e   p a t c h   v e r s i o n   i s   n o t   n e e d e d   e v e n   t h o u g h   a   m e t r i c s   c a n   b e   d e p r e c a t e d   i n   a   p a t c h   r e l e a s e ,   t h e   r e a s o n   f o r   t h a t   i s   t h e   m e t r i c s   d e p r e c a t i o n   p o l i c y   r u n s   a g a i n s t   t h e   m i n o r   r e l e a s e .   T h e   f l a g   c a n   o n l y   t a k e   t h e   p r e v i o u s   m i n o r   v e r s i o n   a s   i t ' s   v a l u e .   A l l   m e t r i c s   h i d d e n   i n   p r e v i o u s   w i l l   b e   e m i t t e d   i f   a d m i n s   s e t   t h e   p r e v i o u s   v e r s i o n   t o   s h o w - h i d d e n - m e t r i c s - f o r - v e r s i o n .   T h e   t o o   o l d   v e r s i o n   i s   n o t   a l l o w e d   b e c a u s e   t h i s   v i o l a t e s   t h e   m e t r i c s   d e p r e c a t e d   p o l i c y .   T a k e   m e t r i c   A   a s   a n   e x a m p l e ,   h e r e   a s s u m e d   t h a t   A   i s   d e p r e c a t e d   i n   1 . n .   A c c o r d i n g   t o   m e t r i c s   d e p r e c a t e d   p o l i c y ,


Question: What is kube-controller-manager metrics?

Answer: C o n t r o l l e r   m a n a g e r   m e t r i c s   p r o v i d e   i m p o r t a n t   i n s i g h t   i n t o   t h e   p e r f o r m a n c e   a n d   h e a l t h   o f   t h e   c o n t r o l l e r   m a n a g e r .   T h e s e   m e t r i c s   i n c l u d e   c o m m o n   G o   l a n g u a g e   r u n t i m e   m e t r i c s   s u c h   a s   g o _ r o u t i n e   c o u n t   a n d   c o n t r o l l e r   s p e c i f i c   m e t r i c s   s u c h   a s   e t c d   r e q u e s t   l a t e n c i e s   o r   C l o u d p r o v i d e r   ( A W S ,   G C E ,   O p e n S t a c k )   A P I   l a t e n c i e s   t h a t   c a n   b e   u s e d   t o   g a u g e   t h e   h e a l t h   o f   a   c l u s t e r .   S t a r t i n g   f r o m   K u b e r n e t e s   1 . 7 ,   d e t a i l e d   C l o u d p r o v i d e r   m e t r i c s   a r e   a v a i l a b l e   f o r   s t o r a g e   o p e r a t i o n s   f o r   G C E ,   A W S ,   V s p h e r e   a n d   O p e n S t a c k .   T h e s e   m e t r i c s   c a n   b e   u s e d   t o   m o n i t o r   h e a l t h   o f   p e r s i s t e n t   v o l u m e   o p e r a t i o n s .   F o r   e x a m p l e ,   f o r   G C E   t h e s e   m e t r i c s   a r e   c a l l e d :   c l o u d p r o v i d e r _ g c e _ a p i _ r e q u e s t _ d u r a t i o n _ s e c o n d s   {   r e q u e s t   =   " i n s t a n c e _ l i s t " }   c l o u d p r o v i d e r _ g c e _ a p i _ r e q u e s t _ d u r a t i o n _ s e c o n d s   {   r e q u e s t   =   " d i s k _ i n s e r t " }   c l o u d p r o v i d e r _ g c e _ a p i _ r e q u e s t _ d u r a t i o n _ s e c o n d s   {   r e q u e s t   =   " d i s k _ d e l e t e " }   c l o u d p r o v i d e r _ g c e _ a p i _ r e q u e s t _ d u r a t i o n _ s e c o n d s   {   r e q u e s t   =   " a t t a c h _ d i s k " }   c l o u d p r o v i d e r _ g c e _ a p i _ r e q u e s t _ d u r a t i o n _ s e c o n d s   {   r e q u e s t   =   " d e t a c h _ d i s k " }   c l o u d p r o


Question: What is kube-scheduler metrics?

Answer: T h e   s c h e d u l e r   e x p o s e s   o p t i o n a l   m e t r i c s   t h a t   r e p o r t s   t h e   r e q u e s t e d   r e s o u r c e s   a n d   t h e   d e s i r e d   l i m i t s   o f   a l l   r u n n i n g   p o d s .   T h e s e   m e t r i c s   c a n   b e   u s e d   t o   b u i l d   c a p a c i t y   p l a n n i n g   d a s h b o a r d s ,   a s s e s s   c u r r e n t   o r   h i s t o r i c a l   s c h e d u l i n g   l i m i t s ,   q u i c k l y   i d e n t i f y   w o r k l o a d s   t h a t   c a n n o t   s c h e d u l e   d u e   t o   l a c k   o f   r e s o u r c e s ,   a n d   c o m p a r e   a c t u a l   u s a g e   t o   t h e   p o d ' s   r e q u e s t .   T h e   k u b e - s c h e d u l e r   i d e n t i f i e s   t h e   r e s o u r c e   r e q u e s t s   a n d   l i m i t s   c o n f i g u r e d   f o r   e a c h   P o d ;   w h e n   e i t h e r   a   r e q u e s t   o r   l i m i t   i s   n o n - z e r o ,   t h e   k u b e - s c h e d u l e r   r e p o r t s   a   m e t r i c s   t i m e s e r i e s .   T h e   t i m e   s e r i e s   i s   l a b e l l e d   b y :   n a m e s p a c e p o d   n a m e t h e   n o d e   w h e r e   t h e   p o d   i s   s c h e d u l e d   o r   a n   e m p t y   s t r i n g   i f   n o t   y e t   s c h e d u l e d p r i o r i t y t h e   a s s i g n e d   s c h e d u l e r   f o r   t h a t   p o d t h e   n a m e   o f   t h e   r e s o u r c e   ( f o r   e x a m p l e ,   c p u ) t h e   u n i t   o f   t h e   r e s o u r c e   i f   k n o w n   ( f o r   e x a m p l e ,   c o r e s )   O n c e   a   p o d   r e a c h e s   c o m p l e t i o n   ( h a s   a   r e s t a r t P o l i c y   o f   N e v e r   o r   O n F a i l u r e   a n d   i s   i n   t h e   S u c c e e d e d   o r   F a i l e d   p o d   p h a s e ,   o r   h a s   b e e n   d e l e t e d   a n d   a l l   c o n t a i n e r s   h a v e   a   t e r m i n a t e d   s t a t e )   t h e   s e r i e s   i s   n o   l


Question: What is kubelet Pressure Stall Information (PSI) metrics?

Answer: A s   a   b e t a   f e a t u r e ,   K u b e r n e t e s   l e t s   y o u   c o n f i g u r e   k u b e l e t   t o   c o l l e c t   L i n u x   k e r n e l   P r e s s u r e   S t a l l   I n f o r m a t i o n   ( P S I )   f o r   C P U ,   m e m o r y   a n d   I / O   u s a g e .   T h e   i n f o r m a t i o n   i s   c o l l e c t e d   a t   n o d e ,   p o d   a n d   c o n t a i n e r   l e v e l .   T h e   m e t r i c s   a r e   e x p o s e d   a t   t h e   / m e t r i c s / c a d v i s o r   e n d p o i n t   w i t h   t h e   f o l l o w i n g   n a m e s :   c o n t a i n e r _ p r e s s u r e _ c p u _ s t a l l e d _ s e c o n d s _ t o t a l   c o n t a i n e r _ p r e s s u r e _ c p u _ w a i t i n g _ s e c o n d s _ t o t a l   c o n t a i n e r _ p r e s s u r e _ m e m o r y _ s t a l l e d _ s e c o n d s _ t o t a l   c o n t a i n e r _ p r e s s u r e _ m e m o r y _ w a i t i n g _ s e c o n d s _ t o t a l   c o n t a i n e r _ p r e s s u r e _ i o _ s t a l l e d _ s e c o n d s _ t o t a l   c o n t a i n e r _ p r e s s u r e _ i o _ w a i t i n g _ s e c o n d s _ t o t a l   T h i s   f e a t u r e   i s   e n a b l e d   b y   d e f a u l t ,   b y   s e t t i n g   t h e   K u b e l e t P S I   f e a t u r e   g a t e .   T h e   i n f o r m a t i o n   i s   a l s o   e x p o s e d   i n   t h e   S u m m a r y   A P I .   Y o u   c a n   l e a r n   h o w   t o   i n t e r p r e t   t h e   P S I   m e t r i c s   i n   U n d e r s t a n d   P S I   M e t r i c s .


Question: What is Requirements?

Answer: P r e s s u r e   S t a l l   I n f o r m a t i o n   r e q u i r e s :   L i n u x   k e r n e l   v e r s i o n s   4 . 2 0   o r   l a t e r . c g r o u p   v 2


Question: What is Disabling metrics?

Answer: Y o u   c a n   e x p l i c i t l y   t u r n   o f f   m e t r i c s   v i a   c o m m a n d   l i n e   f l a g   - - d i s a b l e d - m e t r i c s .   T h i s   m a y   b e   d e s i r e d   i f ,   f o r   e x a m p l e ,   a   m e t r i c   i s   c a u s i n g   a   p e r f o r m a n c e   p r o b l e m .   T h e   i n p u t   i s   a   l i s t   o f   d i s a b l e d   m e t r i c s   ( i . e .   - - d i s a b l e d - m e t r i c s = m e t r i c 1 , m e t r i c 2 ) .


Question: What is Metric cardinality enforcement?

Answer: M e t r i c s   w i t h   u n b o u n d e d   d i m e n s i o n s   c o u l d   c a u s e   m e m o r y   i s s u e s   i n   t h e   c o m p o n e n t s   t h e y   i n s t r u m e n t .   T o   l i m i t   r e s o u r c e   u s e ,   y o u   c a n   u s e   t h e   - - a l l o w - m e t r i c - l a b e l s   c o m m a n d   l i n e   o p t i o n   t o   d y n a m i c a l l y   c o n f i g u r e   a n   a l l o w - l i s t   o f   l a b e l   v a l u e s   f o r   a   m e t r i c .   I n   a l p h a   s t a g e ,   t h e   f l a g   c a n   o n l y   t a k e   i n   a   s e r i e s   o f   m a p p i n g s   a s   m e t r i c   l a b e l   a l l o w - l i s t .   E a c h   m a p p i n g   i s   o f   t h e   f o r m a t   < m e t r i c _ n a m e > , < l a b e l _ n a m e > = < a l l o w e d _ l a b e l s >   w h e r e   < a l l o w e d _ l a b e l s >   i s   a   c o m m a - s e p a r a t e d   l i s t   o f   a c c e p t a b l e   l a b e l   n a m e s .   T h e   o v e r a l l   f o r m a t   l o o k s   l i k e :   - - a l l o w - m e t r i c - l a b e l s   < m e t r i c _ n a m e > , < l a b e l _ n a m e > = ' < a l l o w _ v a l u e 1 > ,   < a l l o w _ v a l u e 2 > . . . ' ,   < m e t r i c _ n a m e 2 > , < l a b e l _ n a m e > = ' < a l l o w _ v a l u e 1 > ,   < a l l o w _ v a l u e 2 > . . . ' ,   . . .   H e r e   i s   a n   e x a m p l e :   - - a l l o w - m e t r i c - l a b e l s   n u m b e r _ c o u n t _ m e t r i c , o d d _ n u m b e r = ' 1 , 3 , 5 ' ,   n u m b e r _ c o u n t _ m e t r i c , e v e n _ n u m b e r = ' 2 , 4 , 6 ' ,   d a t e _ g a u g e _ m e t r i c , w e e k e n d = ' S a t u r d a y , S u n d a y '   I n   a d d i t i o n   t o   s p e c i f y i n g   t h i s   f r o m   t h e   C L I ,   t h i s   c a n   a l s o   b e   d o n e   w i t h i n   a   c o n f i g u r a t i o n   f i l e .   Y o u   c a n   s p e c i f y   t h e   p a t h   t o   t h a t   c o n f i g u r a t i o n   f i l e   u s i n g   t h e   - - a


Question: What is What's next?

Answer: R e a d   a b o u t   t h e   P r o m e t h e u s   t e x t   f o r m a t   f o r   m e t r i c s S e e   t h e   l i s t   o f   s t a b l e   K u b e r n e t e s   m e t r i c s R e a d   a b o u t   t h e   K u b e r n e t e s   d e p r e c a t i o n   p o l i c y


Question: What is 11.11 - Metrics for Kubernetes Object States?

Answer: T h e   s t a t e   o f   K u b e r n e t e s   o b j e c t s   i n   t h e   K u b e r n e t e s   A P I   c a n   b e   e x p o s e d   a s   m e t r i c s .   A n   a d d - o n   a g e n t   c a l l e d   k u b e - s t a t e - m e t r i c s   c a n   c o n n e c t   t o   t h e   K u b e r n e t e s   A P I   s e r v e r   a n d   e x p o s e   a   H T T P   e n d p o i n t   w i t h   m e t r i c s   g e n e r a t e d   f r o m   t h e   s t a t e   o f   i n d i v i d u a l   o b j e c t s   i n   t h e   c l u s t e r .   I t   e x p o s e s   v a r i o u s   i n f o r m a t i o n   a b o u t   t h e   s t a t e   o f   o b j e c t s   l i k e   l a b e l s   a n d   a n n o t a t i o n s ,   s t a r t u p   a n d   t e r m i n a t i o n   t i m e s ,   s t a t u s   o r   t h e   p h a s e   t h e   o b j e c t   c u r r e n t l y   i s   i n .   F o r   e x a m p l e ,   c o n t a i n e r s   r u n n i n g   i n   p o d s   c r e a t e   a   k u b e _ p o d _ c o n t a i n e r _ i n f o   m e t r i c .   T h i s   i n c l u d e s   t h e   n a m e   o f   t h e   c o n t a i n e r ,   t h e   n a m e   o f   t h e   p o d   i t   i s   p a r t   o f ,   t h e   n a m e s p a c e   t h e   p o d   i s   r u n n i n g   i n ,   t h e   n a m e   o f   t h e   c o n t a i n e r   i m a g e ,   t h e   I D   o f   t h e   i m a g e ,   t h e   i m a g e   n a m e   f r o m   t h e   s p e c   o f   t h e   c o n t a i n e r ,   t h e   I D   o f   t h e   r u n n i n g   c o n t a i n e r   a n d   t h e   I D   o f   t h e   p o d   a s   l a b e l s .   A n   e x t e r n a l   c o m p o n e n t   t h a t   i s   a b l e   a n d   c a p a b l e   t o   s c r a p e   t h e   e n d p o i n t   o f   k u b e - s t a t e - m e t r i c s   ( f o r   e x a m p l e   v i a   P r o m e t h e u s )   c a n   n o w   b e   u s e d   t o   e n a b l e   t h e   f o l l o w i n g   u s e   c a s e s .


Question: What is Example: using metrics from kube-state-metrics to query the cluster state?

Answer: M e t r i c   s e r i e s   g e n e r a t e d   b y   k u b e - s t a t e - m e t r i c s   a r e   h e l p f u l   t o   g a t h e r   f u r t h e r   i n s i g h t s   i n t o   t h e   c l u s t e r ,   a s   t h e y   c a n   b e   u s e d   f o r   q u e r y i n g .   I f   y o u   u s e   P r o m e t h e u s   o r   a n o t h e r   t o o l   t h a t   u s e s   t h e   s a m e   q u e r y   l a n g u a g e ,   t h e   f o l l o w i n g   P r o m Q L   q u e r y   r e t u r n s   t h e   n u m b e r   o f   p o d s   t h a t   a r e   n o t   r e a d y :   c o u n t ( k u b e _ p o d _ s t a t u s _ r e a d y { c o n d i t i o n = " f a l s e " } )   b y   ( n a m e s p a c e ,   p o d )


Question: What is Example: alerting based on from kube-state-metrics?

Answer: M e t r i c s   g e n e r a t e d   f r o m   k u b e - s t a t e - m e t r i c s   a l s o   a l l o w   f o r   a l e r t i n g   o n   i s s u e s   i n   t h e   c l u s t e r .   I f   y o u   u s e   P r o m e t h e u s   o r   a   s i m i l a r   t o o l   t h a t   u s e s   t h e   s a m e   a l e r t   r u l e   l a n g u a g e ,   t h e   f o l l o w i n g   a l e r t   w i l l   f i r e   i f   t h e r e   a r e   p o d s   t h a t   h a v e   b e e n   i n   a   T e r m i n a t i n g   s t a t e   f o r   m o r e   t h a n   5   m i n u t e s :   g r o u p s :   -   n a m e :   P o d   s t a t e   r u l e s :   -   a l e r t :   P o d s B l o c k e d I n T e r m i n a t i n g S t a t e   e x p r :   c o u n t ( k u b e _ p o d _ d e l e t i o n _ t i m e s t a m p )   b y   ( n a m e s p a c e ,   p o d )   *   c o u n t ( k u b e _ p o d _ s t a t u s _ r e a s o n { r e a s o n = " N o d e L o s t " }   = =   0 )   b y   ( n a m e s p a c e ,   p o d )   >   0   f o r :   5 m   l a b e l s :   s e v e r i t y :   p a g e   a n n o t a t i o n s :   s u m m a r y :   P o d   { { $ l a b e l s . n a m e s p a c e } } / { { $ l a b e l s . p o d } }   b l o c k e d   i n   T e r m i n a t i n g   s t a t e .


Question: What is 11.12 - System Logs?

Answer: S y s t e m   c o m p o n e n t   l o g s   r e c o r d   e v e n t s   h a p p e n i n g   i n   c l u s t e r ,   w h i c h   c a n   b e   v e r y   u s e f u l   f o r   d e b u g g i n g .   Y o u   c a n   c o n f i g u r e   l o g   v e r b o s i t y   t o   s e e   m o r e   o r   l e s s   d e t a i l .   L o g s   c a n   b e   a s   c o a r s e - g r a i n e d   a s   s h o w i n g   e r r o r s   w i t h i n   a   c o m p o n e n t ,   o r   a s   f i n e - g r a i n e d   a s   s h o w i n g   s t e p - b y - s t e p   t r a c e s   o f   e v e n t s   ( l i k e   H T T P   a c c e s s   l o g s ,   p o d   s t a t e   c h a n g e s ,   c o n t r o l l e r   a c t i o n s ,   o r   s c h e d u l e r   d e c i s i o n s ) .


Question: What is Klog?

Answer: k l o g   i s   t h e   K u b e r n e t e s   l o g g i n g   l i b r a r y .   k l o g   g e n e r a t e s   l o g   m e s s a g e s   f o r   t h e   K u b e r n e t e s   s y s t e m   c o m p o n e n t s .   K u b e r n e t e s   i s   i n   t h e   p r o c e s s   o f   s i m p l i f y i n g   l o g g i n g   i n   i t s   c o m p o n e n t s .   T h e   f o l l o w i n g   k l o g   c o m m a n d   l i n e   f l a g s   a r e   d e p r e c a t e d   s t a r t i n g   w i t h   K u b e r n e t e s   v 1 . 2 3   a n d   r e m o v e d   i n   K u b e r n e t e s   v 1 . 2 6 :   - - a d d - d i r - h e a d e r - - a l s o l o g t o s t d e r r - - l o g - b a c k t r a c e - a t - - l o g - d i r - - l o g - f i l e - - l o g - f i l e - m a x - s i z e - - l o g t o s t d e r r - - o n e - o u t p u t - - s k i p - h e a d e r s - - s k i p - l o g - h e a d e r s - - s t d e r r t h r e s h o l d   O u t p u t   w i l l   a l w a y s   b e   w r i t t e n   t o   s t d e r r ,   r e g a r d l e s s   o f   t h e   o u t p u t   f o r m a t .   O u t p u t   r e d i r e c t i o n   i s   e x p e c t e d   t o   b e   h a n d l e d   b y   t h e   c o m p o n e n t   w h i c h   i n v o k e s   a   K u b e r n e t e s   c o m p o n e n t .   T h i s   c a n   b e   a   P O S I X   s h e l l   o r   a   t o o l   l i k e   s y s t e m d .   I n   s o m e   c a s e s ,   f o r   e x a m p l e   a   d i s t r o l e s s   c o n t a i n e r   o r   a   W i n d o w s   s y s t e m   s e r v i c e ,   t h o s e   o p t i o n s   a r e   n o t   a v a i l a b l e .   T h e n   t h e   k u b e - l o g - r u n n e r   b i n a r y   c a n   b e   u s e d   a s   w r a p p e r   a r o u n d   a   K u b e r n e t e s   c o m p o n e n t   t o   r e d i r e c t   o u t p u t .   A   p r e b u i l t   b i n a r y   i s   i n c l u d e d   i n   s e v e r a l   K u b e r n e t e s   b a s e   i m a g e s   u n d e r   i t s   t r a d i t i o n a l   n a m e   a s   / g o - r u n


Question: What is Klog output?

Answer: A n   e x a m p l e   o f   t h e   t r a d i t i o n a l   k l o g   n a t i v e   f o r m a t :   I 1 0 2 5   0 0 : 1 5 : 1 5 . 5 2 5 1 0 8   1   h t t p l o g . g o : 7 9 ]   G E T   / a p i / v 1 / n a m e s p a c e s / k u b e - s y s t e m / p o d s / m e t r i c s - s e r v e r - v 0 . 3 . 1 - 5 7 c 7 5 7 7 9 f - 9 p 8 w g :   ( 1 . 5 1 2 m s )   2 0 0   [ p o d _ n a n n y / v 0 . 0 . 0   ( l i n u x / a m d 6 4 )   k u b e r n e t e s / $ F o r m a t   1 0 . 5 6 . 1 . 1 9 : 5 1 7 5 6 ]   T h e   m e s s a g e   s t r i n g   m a y   c o n t a i n   l i n e   b r e a k s :   I 1 0 2 5   0 0 : 1 5 : 1 5 . 5 2 5 1 0 8   1   e x a m p l e . g o : 7 9 ]   T h i s   i s   a   m e s s a g e   w h i c h   h a s   a   l i n e   b r e a k .


Question: What is Warning:?

Answer: M i g r a t i o n   t o   s t r u c t u r e d   l o g   m e s s a g e s   i s   a n   o n g o i n g   p r o c e s s .   N o t   a l l   l o g   m e s s a g e s   a r e   s t r u c t u r e d   i n   t h i s   v e r s i o n .   W h e n   p a r s i n g   l o g   f i l e s ,   y o u   m u s t   a l s o   h a n d l e   u n s t r u c t u r e d   l o g   m e s s a g e s .   L o g   f o r m a t t i n g   a n d   v a l u e   s e r i a l i z a t i o n   a r e   s u b j e c t   t o   c h a n g e .   S t r u c t u r e d   l o g g i n g   i n t r o d u c e s   a   u n i f o r m   s t r u c t u r e   i n   l o g   m e s s a g e s   a l l o w i n g   f o r   p r o g r a m m a t i c   e x t r a c t i o n   o f   i n f o r m a t i o n .   Y o u   c a n   s t o r e   a n d   p r o c e s s   s t r u c t u r e d   l o g s   w i t h   l e s s   e f f o r t   a n d   c o s t .   T h e   c o d e   w h i c h   g e n e r a t e s   a   l o g   m e s s a g e   d e t e r m i n e s   w h e t h e r   i t   u s e s   t h e   t r a d i t i o n a l   u n s t r u c t u r e d   k l o g   o u t p u t   o r   s t r u c t u r e d   l o g g i n g .   T h e   d e f a u l t   f o r m a t t i n g   o f   s t r u c t u r e d   l o g   m e s s a g e s   i s   a s   t e x t ,   w i t h   a   f o r m a t   t h a t   i s   b a c k w a r d   c o m p a t i b l e   w i t h   t r a d i t i o n a l   k l o g :   < k l o g   h e a d e r >   " < m e s s a g e > "   < k e y 1 > = " < v a l u e 1 > "   < k e y 2 > = " < v a l u e 2 > "   . . .   E x a m p l e :   I 1 0 2 5   0 0 : 1 5 : 1 5 . 5 2 5 1 0 8   1   c o n t r o l l e r _ u t i l s . g o : 1 1 6 ]   " P o d   s t a t u s   u p d a t e d "   p o d = " k u b e - s y s t e m / k u b e d n s "   s t a t u s = " r e a d y "   S t r i n g s   a r e   q u o t e d .   O t h e r   v a l u e s   a r e   f o r m a t t e d   w i t h   % + v ,   w h i c h   m a y   c a u s e   l o g   m e s s a g e s   t o   c o n t i n u e   o n   t h e   n e x t   l i n e   d e p e n d i


Question: What is Contextual Logging?

Answer: C o n t e x t u a l   l o g g i n g   b u i l d s   o n   t o p   o f   s t r u c t u r e d   l o g g i n g .   I t   i s   p r i m a r i l y   a b o u t   h o w   d e v e l o p e r s   u s e   l o g g i n g   c a l l s :   c o d e   b a s e d   o n   t h a t   c o n c e p t   i s   m o r e   f l e x i b l e   a n d   s u p p o r t s   a d d i t i o n a l   u s e   c a s e s   a s   d e s c r i b e d   i n   t h e   C o n t e x t u a l   L o g g i n g   K E P .   I f   d e v e l o p e r s   u s e   a d d i t i o n a l   f u n c t i o n s   l i k e   W i t h V a l u e s   o r   W i t h N a m e   i n   t h e i r   c o m p o n e n t s ,   t h e n   l o g   e n t r i e s   c o n t a i n   a d d i t i o n a l   i n f o r m a t i o n   t h a t   g e t s   p a s s e d   i n t o   f u n c t i o n s   b y   t h e i r   c a l l e r .   F o r   K u b e r n e t e s   1 . 3 4 ,   t h i s   i s   g a t e d   b e h i n d   t h e   C o n t e x t u a l L o g g i n g   f e a t u r e   g a t e   a n d   i s   e n a b l e d   b y   d e f a u l t .   T h e   i n f r a s t r u c t u r e   f o r   t h i s   w a s   a d d e d   i n   1 . 2 4   w i t h o u t   m o d i f y i n g   c o m p o n e n t s .   T h e   c o m p o n e n t - b a s e / l o g s / e x a m p l e   c o m m a n d   d e m o n s t r a t e s   h o w   t o   u s e   t h e   n e w   l o g g i n g   c a l l s   a n d   h o w   a   c o m p o n e n t   b e h a v e s   t h a t   s u p p o r t s   c o n t e x t u a l   l o g g i n g .   $   c d   $ G O P A T H / s r c / k 8 s . i o / k u b e r n e t e s / s t a g i n g / s r c / k 8 s . i o / c o m p o n e n t - b a s e / l o g s / e x a m p l e / c m d /   $   g o   r u n   .   - - h e l p   . . .   - - f e a t u r e - g a t e s   m a p S t r i n g B o o l   A   s e t   o f   k e y = v a l u e   p a i r s   t h a t   d e s c r i b e   f e a t u r e   g a t e s   f o r   a l p h a / e x p e r i m e n t a l   f e a t u r e s .   O p t i o n s   a r e :   A l l A l p h a = t r u e | f


Question: What is Warning:?

Answer: J S O N   o u t p u t   d o e s   n o t   s u p p o r t   m a n y   s t a n d a r d   k l o g   f l a g s .   F o r   l i s t   o f   u n s u p p o r t e d   k l o g   f l a g s ,   s e e   t h e   C o m m a n d   l i n e   t o o l   r e f e r e n c e .   N o t   a l l   l o g s   a r e   g u a r a n t e e d   t o   b e   w r i t t e n   i n   J S O N   f o r m a t   ( f o r   e x a m p l e ,   d u r i n g   p r o c e s s   s t a r t ) .   I f   y o u   i n t e n d   t o   p a r s e   l o g s ,   m a k e   s u r e   y o u   c a n   h a n d l e   l o g   l i n e s   t h a t   a r e   n o t   J S O N   a s   w e l l .   F i e l d   n a m e s   a n d   J S O N   s e r i a l i z a t i o n   a r e   s u b j e c t   t o   c h a n g e .   T h e   - - l o g g i n g - f o r m a t = j s o n   f l a g   c h a n g e s   t h e   f o r m a t   o f   l o g s   f r o m   k l o g   n a t i v e   f o r m a t   t o   J S O N   f o r m a t .   E x a m p l e   o f   J S O N   l o g   f o r m a t   ( p r e t t y   p r i n t e d ) :   {   " t s " :   1 5 8 0 3 0 6 7 7 7 . 0 4 7 2 8 ,   " v " :   4 ,   " m s g " :   " P o d   s t a t u s   u p d a t e d " ,   " p o d " : {   " n a m e " :   " n g i n x - 1 " ,   " n a m e s p a c e " :   " d e f a u l t "   } ,   " s t a t u s " :   " r e a d y "   }   K e y s   w i t h   s p e c i a l   m e a n i n g :   t s   -   t i m e s t a m p   a s   U n i x   t i m e   ( r e q u i r e d ,   f l o a t ) v   -   v e r b o s i t y   ( o n l y   f o r   i n f o   a n d   n o t   f o r   e r r o r   m e s s a g e s ,   i n t ) e r r   -   e r r o r   s t r i n g   ( o p t i o n a l ,   s t r i n g ) m s g   -   m e s s a g e   ( r e q u i r e d ,   s t r i n g )   L i s t   o f   c o m p o n e n t s   c u r r e n t l y   s u p p o r t i n g   J S O N   f o r m a t :   k u b e - c o n t r o l l e r - m a n a g e r k u b e - a p i s e r v e r k u b e - s c h e d u l e r k u b e l e t


Question: What is Log verbosity level?

Answer: T h e   - v   f l a g   c o n t r o l s   l o g   v e r b o s i t y .   I n c r e a s i n g   t h e   v a l u e   i n c r e a s e s   t h e   n u m b e r   o f   l o g g e d   e v e n t s .   D e c r e a s i n g   t h e   v a l u e   d e c r e a s e s   t h e   n u m b e r   o f   l o g g e d   e v e n t s .   I n c r e a s i n g   v e r b o s i t y   s e t t i n g s   l o g s   i n c r e a s i n g l y   l e s s   s e v e r e   e v e n t s .   A   v e r b o s i t y   s e t t i n g   o f   0   l o g s   o n l y   c r i t i c a l   e v e n t s .


Question: What is Log location?

Answer: T h e r e   a r e   t w o   t y p e s   o f   s y s t e m   c o m p o n e n t s :   t h o s e   t h a t   r u n   i n   a   c o n t a i n e r   a n d   t h o s e   t h a t   d o   n o t   r u n   i n   a   c o n t a i n e r .   F o r   e x a m p l e :   T h e   K u b e r n e t e s   s c h e d u l e r   a n d   k u b e - p r o x y   r u n   i n   a   c o n t a i n e r . T h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   d o   n o t   r u n   i n   c o n t a i n e r s .   O n   m a c h i n e s   w i t h   s y s t e m d ,   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   w r i t e   t o   j o u r n a l d .   O t h e r w i s e ,   t h e y   w r i t e   t o   . l o g   f i l e s   i n   t h e   / v a r / l o g   d i r e c t o r y .   S y s t e m   c o m p o n e n t s   i n s i d e   c o n t a i n e r s   a l w a y s   w r i t e   t o   . l o g   f i l e s   i n   t h e   / v a r / l o g   d i r e c t o r y ,   b y p a s s i n g   t h e   d e f a u l t   l o g g i n g   m e c h a n i s m .   S i m i l a r   t o   t h e   c o n t a i n e r   l o g s ,   y o u   s h o u l d   r o t a t e   s y s t e m   c o m p o n e n t   l o g s   i n   t h e   / v a r / l o g   d i r e c t o r y .   I n   K u b e r n e t e s   c l u s t e r s   c r e a t e d   b y   t h e   k u b e - u p . s h   s c r i p t ,   l o g   r o t a t i o n   i s   c o n f i g u r e d   b y   t h e   l o g r o t a t e   t o o l .   T h e   l o g r o t a t e   t o o l   r o t a t e s   l o g s   d a i l y ,   o r   o n c e   t h e   l o g   s i z e   i s   g r e a t e r   t h a n   1 0 0 M B .


Question: What is Log query?

Answer: T o   h e l p   w i t h   d e b u g g i n g   i s s u e s   o n   n o d e s ,   K u b e r n e t e s   v 1 . 2 7   i n t r o d u c e d   a   f e a t u r e   t h a t   a l l o w s   v i e w i n g   l o g s   o f   s e r v i c e s   r u n n i n g   o n   t h e   n o d e .   T o   u s e   t h e   f e a t u r e ,   e n s u r e   t h a t   t h e   N o d e L o g Q u e r y   f e a t u r e   g a t e   i s   e n a b l e d   f o r   t h a t   n o d e ,   a n d   t h a t   t h e   k u b e l e t   c o n f i g u r a t i o n   o p t i o n s   e n a b l e S y s t e m L o g H a n d l e r   a n d   e n a b l e S y s t e m L o g Q u e r y   a r e   b o t h   s e t   t o   t r u e .   O n   L i n u x   t h e   a s s u m p t i o n   i s   t h a t   s e r v i c e   l o g s   a r e   a v a i l a b l e   v i a   j o u r n a l d .   O n   W i n d o w s   t h e   a s s u m p t i o n   i s   t h a t   s e r v i c e   l o g s   a r e   a v a i l a b l e   i n   t h e   a p p l i c a t i o n   l o g   p r o v i d e r .   O n   b o t h   o p e r a t i n g   s y s t e m s ,   l o g s   a r e   a l s o   a v a i l a b l e   b y   r e a d i n g   f i l e s   w i t h i n   / v a r / l o g / .   P r o v i d e d   y o u   a r e   a u t h o r i z e d   t o   i n t e r a c t   w i t h   n o d e   o b j e c t s ,   y o u   c a n   t r y   o u t   t h i s   f e a t u r e   o n   a l l   y o u r   n o d e s   o r   j u s t   a   s u b s e t .   H e r e   i s   a n   e x a m p l e   t o   r e t r i e v e   t h e   k u b e l e t   s e r v i c e   l o g s   f r o m   a   n o d e :   #   F e t c h   k u b e l e t   l o g s   f r o m   a   n o d e   n a m e d   n o d e - 1 . e x a m p l e   k u b e c t l   g e t   - - r a w   " / a p i / v 1 / n o d e s / n o d e - 1 . e x a m p l e / p r o x y / l o g s / ? q u e r y = k u b e l e t "   Y o u   c a n   a l s o   f e t c h   f i l e s ,   p r o v i d e d   t h a t   t h e   f i l e s   a r e   i n   a   d i r e c t o r y   t h a t   t h e   k u b e l e t   a l


Question: What is What's next?

Answer: R e a d   a b o u t   t h e   K u b e r n e t e s   L o g g i n g   A r c h i t e c t u r e R e a d   a b o u t   S t r u c t u r e d   L o g g i n g R e a d   a b o u t   C o n t e x t u a l   L o g g i n g R e a d   a b o u t   d e p r e c a t i o n   o f   k l o g   f l a g s R e a d   a b o u t   t h e   C o n v e n t i o n s   f o r   l o g g i n g   s e v e r i t y R e a d   a b o u t   L o g   Q u e r y


Question: What is 11.13 - Traces For Kubernetes System Components?

Answer: S y s t e m   c o m p o n e n t   t r a c e s   r e c o r d   t h e   l a t e n c y   o f   a n d   r e l a t i o n s h i p s   b e t w e e n   o p e r a t i o n s   i n   t h e   c l u s t e r .   K u b e r n e t e s   c o m p o n e n t s   e m i t   t r a c e s   u s i n g   t h e   O p e n T e l e m e t r y   P r o t o c o l   w i t h   t h e   g R P C   e x p o r t e r   a n d   c a n   b e   c o l l e c t e d   a n d   r o u t e d   t o   t r a c i n g   b a c k e n d s   u s i n g   a n   O p e n T e l e m e t r y   C o l l e c t o r .


Question: What is Trace Collection?

Answer: K u b e r n e t e s   c o m p o n e n t s   h a v e   b u i l t - i n   g R P C   e x p o r t e r s   f o r   O T L P   t o   e x p o r t   t r a c e s ,   e i t h e r   w i t h   a n   O p e n T e l e m e t r y   C o l l e c t o r ,   o r   w i t h o u t   a n   O p e n T e l e m e t r y   C o l l e c t o r .   F o r   a   c o m p l e t e   g u i d e   t o   c o l l e c t i n g   t r a c e s   a n d   u s i n g   t h e   c o l l e c t o r ,   s e e   G e t t i n g   S t a r t e d   w i t h   t h e   O p e n T e l e m e t r y   C o l l e c t o r .   H o w e v e r ,   t h e r e   a r e   a   f e w   t h i n g s   t o   n o t e   t h a t   a r e   s p e c i f i c   t o   K u b e r n e t e s   c o m p o n e n t s .   B y   d e f a u l t ,   K u b e r n e t e s   c o m p o n e n t s   e x p o r t   t r a c e s   u s i n g   t h e   g r p c   e x p o r t e r   f o r   O T L P   o n   t h e   I A N A   O p e n T e l e m e t r y   p o r t ,   4 3 1 7 .   A s   a n   e x a m p l e ,   i f   t h e   c o l l e c t o r   i s   r u n n i n g   a s   a   s i d e c a r   t o   a   K u b e r n e t e s   c o m p o n e n t ,   t h e   f o l l o w i n g   r e c e i v e r   c o n f i g u r a t i o n   w i l l   c o l l e c t   s p a n s   a n d   l o g   t h e m   t o   s t a n d a r d   o u t p u t :   r e c e i v e r s :   o t l p :   p r o t o c o l s :   g r p c :   e x p o r t e r s :   #   R e p l a c e   t h i s   e x p o r t e r   w i t h   t h e   e x p o r t e r   f o r   y o u r   b a c k e n d   e x p o r t e r s :   d e b u g :   v e r b o s i t y :   d e t a i l e d   s e r v i c e :   p i p e l i n e s :   t r a c e s :   r e c e i v e r s :   [ o t l p ]   e x p o r t e r s :   [ d e b u g ]   T o   d i r e c t l y   e m i t   t r a c e s   t o   a   b a c k e n d   w i t h o u t   u t i l i z i n g   a   c o l l e c t o r ,   s p e c i f y   t h e   e n d p o i n t   f i e l d   i n   t h e   K u b e r n e t e s   t r a c i n g   c o n f i g u r a t i o n   f i l e


Question: What is kube-apiserver traces?

Answer: T h e   k u b e - a p i s e r v e r   g e n e r a t e s   s p a n s   f o r   i n c o m i n g   H T T P   r e q u e s t s ,   a n d   f o r   o u t g o i n g   r e q u e s t s   t o   w e b h o o k s ,   e t c d ,   a n d   r e - e n t r a n t   r e q u e s t s .   I t   p r o p a g a t e s   t h e   W 3 C   T r a c e   C o n t e x t   w i t h   o u t g o i n g   r e q u e s t s   b u t   d o e s   n o t   m a k e   u s e   o f   t h e   t r a c e   c o n t e x t   a t t a c h e d   t o   i n c o m i n g   r e q u e s t s ,   a s   t h e   k u b e - a p i s e r v e r   i s   o f t e n   a   p u b l i c   e n d p o i n t .


Question: What is Enabling tracing in the kube-apiserver?

Answer: T o   e n a b l e   t r a c i n g ,   p r o v i d e   t h e   k u b e - a p i s e r v e r   w i t h   a   t r a c i n g   c o n f i g u r a t i o n   f i l e   w i t h   - - t r a c i n g - c o n f i g - f i l e = < p a t h - t o - c o n f i g > .   T h i s   i s   a n   e x a m p l e   c o n f i g   t h a t   r e c o r d s   s p a n s   f o r   1   i n   1 0 0 0 0   r e q u e s t s ,   a n d   u s e s   t h e   d e f a u l t   O p e n T e l e m e t r y   e n d p o i n t :   a p i V e r s i o n :   a p i s e r v e r . c o n f i g . k 8 s . i o / v 1   k i n d :   T r a c i n g C o n f i g u r a t i o n   #   d e f a u l t   v a l u e   # e n d p o i n t :   l o c a l h o s t : 4 3 1 7   s a m p l i n g R a t e P e r M i l l i o n :   1 0 0   F o r   m o r e   i n f o r m a t i o n   a b o u t   t h e   T r a c i n g C o n f i g u r a t i o n   s t r u c t ,   s e e   A P I   s e r v e r   c o n f i g   A P I   ( v 1 ) .


Question: What is kubelet traces?

Answer: T h e   k u b e l e t   C R I   i n t e r f a c e   a n d   a u t h e n t i c a t e d   h t t p   s e r v e r s   a r e   i n s t r u m e n t e d   t o   g e n e r a t e   t r a c e   s p a n s .   A s   w i t h   t h e   a p i s e r v e r ,   t h e   e n d p o i n t   a n d   s a m p l i n g   r a t e   a r e   c o n f i g u r a b l e .   T r a c e   c o n t e x t   p r o p a g a t i o n   i s   a l s o   c o n f i g u r e d .   A   p a r e n t   s p a n ' s   s a m p l i n g   d e c i s i o n   i s   a l w a y s   r e s p e c t e d .   A   p r o v i d e d   t r a c i n g   c o n f i g u r a t i o n   s a m p l i n g   r a t e   w i l l   a p p l y   t o   s p a n s   w i t h o u t   a   p a r e n t .   E n a b l e d   w i t h o u t   a   c o n f i g u r e d   e n d p o i n t ,   t h e   d e f a u l t   O p e n T e l e m e t r y   C o l l e c t o r   r e c e i v e r   a d d r e s s   o f   " l o c a l h o s t : 4 3 1 7 "   i s   s e t .


Question: What is Enabling tracing in the kubelet?

Answer: T o   e n a b l e   t r a c i n g ,   a p p l y   t h e   t r a c i n g   c o n f i g u r a t i o n .   T h i s   i s   a n   e x a m p l e   s n i p p e t   o f   a   k u b e l e t   c o n f i g   t h a t   r e c o r d s   s p a n s   f o r   1   i n   1 0 0 0 0   r e q u e s t s ,   a n d   u s e s   t h e   d e f a u l t   O p e n T e l e m e t r y   e n d p o i n t :   a p i V e r s i o n :   k u b e l e t . c o n f i g . k 8 s . i o / v 1 b e t a 1   k i n d :   K u b e l e t C o n f i g u r a t i o n   t r a c i n g :   #   d e f a u l t   v a l u e   # e n d p o i n t :   l o c a l h o s t : 4 3 1 7   s a m p l i n g R a t e P e r M i l l i o n :   1 0 0   I f   t h e   s a m p l i n g R a t e P e r M i l l i o n   i s   s e t   t o   o n e   m i l l i o n   ( 1 0 0 0 0 0 0 ) ,   t h e n   e v e r y   s p a n   w i l l   b e   s e n t   t o   t h e   e x p o r t e r .   T h e   k u b e l e t   i n   K u b e r n e t e s   v 1 . 3 4   c o l l e c t s   s p a n s   f r o m   t h e   g a r b a g e   c o l l e c t i o n ,   p o d   s y n c h r o n i z a t i o n   r o u t i n e   a s   w e l l   a s   e v e r y   g R P C   m e t h o d .   T h e   k u b e l e t   p r o p a g a t e s   t r a c e   c o n t e x t   w i t h   g R P C   r e q u e s t s   s o   t h a t   c o n t a i n e r   r u n t i m e s   w i t h   t r a c e   i n s t r u m e n t a t i o n ,   s u c h   a s   C R I - O   a n d   c o n t a i n e r d ,   c a n   a s s o c i a t e   t h e i r   e x p o r t e d   s p a n s   w i t h   t h e   t r a c e   c o n t e x t   f r o m   t h e   k u b e l e t .   T h e   r e s u l t i n g   t r a c e s   w i l l   h a v e   p a r e n t - c h i l d   l i n k s   b e t w e e n   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   s p a n s ,   p r o v i d i n g   h e l p f u l   c o n t e x t   w h e n   d e b u g g i n g   n o d e   i s s u e s .   P l e a s e   n o t e   t h a t   e x p o r t i n g   s p a n s   a l w a y s   c o m e s   w i t h   a   s m


Question: What is Stability?

Answer: T r a c i n g   i n s t r u m e n t a t i o n   i s   s t i l l   u n d e r   a c t i v e   d e v e l o p m e n t ,   a n d   m a y   c h a n g e   i n   a   v a r i e t y   o f   w a y s .   T h i s   i n c l u d e s   s p a n   n a m e s ,   a t t a c h e d   a t t r i b u t e s ,   i n s t r u m e n t e d   e n d p o i n t s ,   e t c .   U n t i l   t h i s   f e a t u r e   g r a d u a t e s   t o   s t a b l e ,   t h e r e   a r e   n o   g u a r a n t e e s   o f   b a c k w a r d s   c o m p a t i b i l i t y   f o r   t r a c i n g   i n s t r u m e n t a t i o n .


Question: What is What's next?

Answer: R e a d   a b o u t   G e t t i n g   S t a r t e d   w i t h   t h e   O p e n T e l e m e t r y   C o l l e c t o r R e a d   a b o u t   O T L P   E x p o r t e r   C o n f i g u r a t i o n


Question: What is 11.14 - Proxies in Kubernetes?

Answer: T h i s   p a g e   e x p l a i n s   p r o x i e s   u s e d   w i t h   K u b e r n e t e s .


Question: What is Proxies?

Answer: T h e r e   a r e   s e v e r a l   d i f f e r e n t   p r o x i e s   y o u   m a y   e n c o u n t e r   w h e n   u s i n g   K u b e r n e t e s :   T h e   k u b e c t l   p r o x y : r u n s   o n   a   u s e r ' s   d e s k t o p   o r   i n   a   p o d p r o x i e s   f r o m   a   l o c a l h o s t   a d d r e s s   t o   t h e   K u b e r n e t e s   a p i s e r v e r c l i e n t   t o   p r o x y   u s e s   H T T P p r o x y   t o   a p i s e r v e r   u s e s   H T T P S l o c a t e s   a p i s e r v e r a d d s   a u t h e n t i c a t i o n   h e a d e r s T h e   a p i s e r v e r   p r o x y : i s   a   b a s t i o n   b u i l t   i n t o   t h e   a p i s e r v e r c o n n e c t s   a   u s e r   o u t s i d e   o f   t h e   c l u s t e r   t o   c l u s t e r   I P s   w h i c h   o t h e r w i s e   m i g h t   n o t   b e   r e a c h a b l e r u n s   i n   t h e   a p i s e r v e r   p r o c e s s e s c l i e n t   t o   p r o x y   u s e s   H T T P S   ( o r   h t t p   i f   a p i s e r v e r   s o   c o n f i g u r e d ) p r o x y   t o   t a r g e t   m a y   u s e   H T T P   o r   H T T P S   a s   c h o s e n   b y   p r o x y   u s i n g   a v a i l a b l e   i n f o r m a t i o n c a n   b e   u s e d   t o   r e a c h   a   N o d e ,   P o d ,   o r   S e r v i c e d o e s   l o a d   b a l a n c i n g   w h e n   u s e d   t o   r e a c h   a   S e r v i c e T h e   k u b e   p r o x y : r u n s   o n   e a c h   n o d e p r o x i e s   U D P ,   T C P   a n d   S C T P d o e s   n o t   u n d e r s t a n d   H T T P p r o v i d e s   l o a d   b a l a n c i n g i s   o n l y   u s e d   t o   r e a c h   s e r v i c e s A   P r o x y / L o a d - b a l a n c e r   i n   f r o n t   o f   a p i s e r v e r ( s ) : e x i s t e n c e   a n d   i m p l e m e n t a t i o n   v a r i e s   f r o m   c l u s t e r   t o   c l u s t e r   ( e . g .   n g i n x ) s i t s   b e t w e e n   a l l   c l i e n t s   a n d   o n e   o r   m o r


Question: What is Requesting redirects?

Answer: P r o x i e s   h a v e   r e p l a c e d   r e d i r e c t   c a p a b i l i t i e s .   R e d i r e c t s   h a v e   b e e n   d e p r e c a t e d .


Question: What is 11.15 - API Priority and Fairness?

Answer: C o n t r o l l i n g   t h e   b e h a v i o r   o f   t h e   K u b e r n e t e s   A P I   s e r v e r   i n   a n   o v e r l o a d   s i t u a t i o n   i s   a   k e y   t a s k   f o r   c l u s t e r   a d m i n i s t r a t o r s .   T h e   k u b e - a p i s e r v e r   h a s   s o m e   c o n t r o l s   a v a i l a b l e   ( i . e .   t h e   - - m a x - r e q u e s t s - i n f l i g h t   a n d   - - m a x - m u t a t i n g - r e q u e s t s - i n f l i g h t   c o m m a n d - l i n e   f l a g s )   t o   l i m i t   t h e   a m o u n t   o f   o u t s t a n d i n g   w o r k   t h a t   w i l l   b e   a c c e p t e d ,   p r e v e n t i n g   a   f l o o d   o f   i n b o u n d   r e q u e s t s   f r o m   o v e r l o a d i n g   a n d   p o t e n t i a l l y   c r a s h i n g   t h e   A P I   s e r v e r ,   b u t   t h e s e   f l a g s   a r e   n o t   e n o u g h   t o   e n s u r e   t h a t   t h e   m o s t   i m p o r t a n t   r e q u e s t s   g e t   t h r o u g h   i n   a   p e r i o d   o f   h i g h   t r a f f i c .   T h e   A P I   P r i o r i t y   a n d   F a i r n e s s   f e a t u r e   ( A P F )   i s   a n   a l t e r n a t i v e   t h a t   i m p r o v e s   u p o n   a f o r e m e n t i o n e d   m a x - i n f l i g h t   l i m i t a t i o n s .   A P F   c l a s s i f i e s   a n d   i s o l a t e s   r e q u e s t s   i n   a   m o r e   f i n e - g r a i n e d   w a y .   I t   a l s o   i n t r o d u c e s   a   l i m i t e d   a m o u n t   o f   q u e u i n g ,   s o   t h a t   n o   r e q u e s t s   a r e   r e j e c t e d   i n   c a s e s   o f   v e r y   b r i e f   b u r s t s .   R e q u e s t s   a r e   d i s p a t c h e d   f r o m   q u e u e s   u s i n g   a   f a i r   q u e u i n g   t e c h n i q u e   s o   t h a t ,   f o r   e x a m p l e ,   a   p o o r l y - b e h a v e d   c o n t r o l l e r   n e e d   n o t   s t a r v e   o t h e r s   ( e v e n   a t   t h e   s a m e   p r i o r i t y


Question: What is Enabling/Disabling API Priority and Fairness?

Answer: T h e   A P I   P r i o r i t y   a n d   F a i r n e s s   f e a t u r e   i s   c o n t r o l l e d   b y   a   c o m m a n d - l i n e   f l a g   a n d   i s   e n a b l e d   b y   d e f a u l t .   S e e   O p t i o n s   f o r   a   g e n e r a l   e x p l a n a t i o n   o f   t h e   a v a i l a b l e   k u b e - a p i s e r v e r   c o m m a n d - l i n e   o p t i o n s   a n d   h o w   t o   e n a b l e   a n d   d i s a b l e   t h e m .   T h e   n a m e   o f   t h e   c o m m a n d - l i n e   o p t i o n   f o r   A P F   i s   " - - e n a b l e - p r i o r i t y - a n d - f a i r n e s s " .   T h i s   f e a t u r e   a l s o   i n v o l v e s   a n   A P I   G r o u p   w i t h :   ( a )   a   s t a b l e   v 1   v e r s i o n ,   i n t r o d u c e d   i n   1 . 2 9 ,   a n d   e n a b l e d   b y   d e f a u l t   ( b )   a   v 1 b e t a 3   v e r s i o n ,   e n a b l e d   b y   d e f a u l t ,   a n d   d e p r e c a t e d   i n   v 1 . 2 9 .   Y o u   c a n   d i s a b l e   t h e   A P I   g r o u p   b e t a   v e r s i o n   v 1 b e t a 3   b y   a d d i n g   t h e   f o l l o w i n g   c o m m a n d - l i n e   f l a g s   t o   y o u r   k u b e - a p i s e r v e r   i n v o c a t i o n :   k u b e - a p i s e r v e r   \   - - r u n t i m e - c o n f i g = f l o w c o n t r o l . a p i s e r v e r . k 8 s . i o / v 1 b e t a 3 = f a l s e   \   #   … a n d   o t h e r   f l a g s   a s   u s u a l   T h e   c o m m a n d - l i n e   f l a g   - - e n a b l e - p r i o r i t y - a n d - f a i r n e s s = f a l s e   w i l l   d i s a b l e   t h e   A P I   P r i o r i t y   a n d   F a i r n e s s   f e a t u r e .


Question: What is Recursive server scenarios?

Answer: A P I   P r i o r i t y   a n d   F a i r n e s s   m u s t   b e   u s e d   c a r e f u l l y   i n   r e c u r s i v e   s e r v e r   s c e n a r i o s .   T h e s e   a r e   s c e n a r i o s   i n   w h i c h   s o m e   s e r v e r   A ,   w h i l e   s e r v i n g   a   r e q u e s t ,   i s s u e s   a   s u b s i d i a r y   r e q u e s t   t o   s o m e   s e r v e r   B .   P e r h a p s   s e r v e r   B   m i g h t   e v e n   m a k e   a   f u r t h e r   s u b s i d i a r y   c a l l   b a c k   t o   s e r v e r   A .   I n   s i t u a t i o n s   w h e r e   P r i o r i t y   a n d   F a i r n e s s   c o n t r o l   i s   a p p l i e d   t o   b o t h   t h e   o r i g i n a l   r e q u e s t   a n d   s o m e   s u b s i d i a r y   o n e s ( s ) ,   n o   m a t t e r   h o w   d e e p   i n   t h e   r e c u r s i o n ,   t h e r e   i s   a   d a n g e r   o f   p r i o r i t y   i n v e r s i o n s   a n d / o r   d e a d l o c k s .   O n e   e x a m p l e   o f   r e c u r s i o n   i s   w h e n   t h e   k u b e - a p i s e r v e r   i s s u e s   a n   a d m i s s i o n   w e b h o o k   c a l l   t o   s e r v e r   B ,   a n d   w h i l e   s e r v i n g   t h a t   c a l l ,   s e r v e r   B   m a k e s   a   f u r t h e r   s u b s i d i a r y   r e q u e s t   b a c k   t o   t h e   k u b e - a p i s e r v e r .   A n o t h e r   e x a m p l e   o f   r e c u r s i o n   i s   w h e n   a n   A P I S e r v i c e   o b j e c t   d i r e c t s   t h e   k u b e - a p i s e r v e r   t o   d e l e g a t e   r e q u e s t s   a b o u t   a   c e r t a i n   A P I   g r o u p   t o   a   c u s t o m   e x t e r n a l   s e r v e r   B   ( t h i s   i s   o n e   o f   t h e   t h i n g s   c a l l e d   " a g g r e g a t i o n " ) .   W h e n   t h e   o r i g i n a l   r e q u e s t   i s   k n o w n   t o   b e l o n g   t o   a   c e r t a i n   p r i o r i t y   l e v e l ,   a n d   t h e   s u b s i d i a r y   c o n t r o l l e


Question: What is Concepts?

Answer: T h e r e   a r e   s e v e r a l   d i s t i n c t   f e a t u r e s   i n v o l v e d   i n   t h e   A P I   P r i o r i t y   a n d   F a i r n e s s   f e a t u r e .   I n c o m i n g   r e q u e s t s   a r e   c l a s s i f i e d   b y   a t t r i b u t e s   o f   t h e   r e q u e s t   u s i n g   F l o w S c h e m a s ,   a n d   a s s i g n e d   t o   p r i o r i t y   l e v e l s .   P r i o r i t y   l e v e l s   a d d   a   d e g r e e   o f   i s o l a t i o n   b y   m a i n t a i n i n g   s e p a r a t e   c o n c u r r e n c y   l i m i t s ,   s o   t h a t   r e q u e s t s   a s s i g n e d   t o   d i f f e r e n t   p r i o r i t y   l e v e l s   c a n n o t   s t a r v e   e a c h   o t h e r .   W i t h i n   a   p r i o r i t y   l e v e l ,   a   f a i r - q u e u i n g   a l g o r i t h m   p r e v e n t s   r e q u e s t s   f r o m   d i f f e r e n t   f l o w s   f r o m   s t a r v i n g   e a c h   o t h e r ,   a n d   a l l o w s   f o r   r e q u e s t s   t o   b e   q u e u e d   t o   p r e v e n t   b u r s t y   t r a f f i c   f r o m   c a u s i n g   f a i l e d   r e q u e s t s   w h e n   t h e   a v e r a g e   l o a d   i s   a c c e p t a b l y   l o w .


Question: What is Priority Levels?

Answer: W i t h o u t   A P F   e n a b l e d ,   o v e r a l l   c o n c u r r e n c y   i n   t h e   A P I   s e r v e r   i s   l i m i t e d   b y   t h e   k u b e - a p i s e r v e r   f l a g s   - - m a x - r e q u e s t s - i n f l i g h t   a n d   - - m a x - m u t a t i n g - r e q u e s t s - i n f l i g h t .   W i t h   A P F   e n a b l e d ,   t h e   c o n c u r r e n c y   l i m i t s   d e f i n e d   b y   t h e s e   f l a g s   a r e   s u m m e d   a n d   t h e n   t h e   s u m   i s   d i v i d e d   u p   a m o n g   a   c o n f i g u r a b l e   s e t   o f   p r i o r i t y   l e v e l s .   E a c h   i n c o m i n g   r e q u e s t   i s   a s s i g n e d   t o   a   s i n g l e   p r i o r i t y   l e v e l ,   a n d   e a c h   p r i o r i t y   l e v e l   w i l l   o n l y   d i s p a t c h   a s   m a n y   c o n c u r r e n t   r e q u e s t s   a s   i t s   p a r t i c u l a r   l i m i t   a l l o w s .   T h e   d e f a u l t   c o n f i g u r a t i o n ,   f o r   e x a m p l e ,   i n c l u d e s   s e p a r a t e   p r i o r i t y   l e v e l s   f o r   l e a d e r - e l e c t i o n   r e q u e s t s ,   r e q u e s t s   f r o m   b u i l t - i n   c o n t r o l l e r s ,   a n d   r e q u e s t s   f r o m   P o d s .   T h i s   m e a n s   t h a t   a n   i l l - b e h a v e d   P o d   t h a t   f l o o d s   t h e   A P I   s e r v e r   w i t h   r e q u e s t s   c a n n o t   p r e v e n t   l e a d e r   e l e c t i o n   o r   a c t i o n s   b y   t h e   b u i l t - i n   c o n t r o l l e r s   f r o m   s u c c e e d i n g .   T h e   c o n c u r r e n c y   l i m i t s   o f   t h e   p r i o r i t y   l e v e l s   a r e   p e r i o d i c a l l y   a d j u s t e d ,   a l l o w i n g   u n d e r - u t i l i z e d   p r i o r i t y   l e v e l s   t o   t e m p o r a r i l y   l e n d   c o n c u r r e n c y   t o   h e a v i l y - u t i l i z e d   l e v e l s .   T h e s e   l i m i t s   a r e   b a s e d   o


Question: What is Seats Occupied by a Request?

Answer: T h e   a b o v e   d e s c r i p t i o n   o f   c o n c u r r e n c y   m a n a g e m e n t   i s   t h e   b a s e l i n e   s t o r y .   R e q u e s t s   h a v e   d i f f e r e n t   d u r a t i o n s   b u t   a r e   c o u n t e d   e q u a l l y   a t   a n y   g i v e n   m o m e n t   w h e n   c o m p a r i n g   a g a i n s t   a   p r i o r i t y   l e v e l ' s   c o n c u r r e n c y   l i m i t .   I n   t h e   b a s e l i n e   s t o r y ,   e a c h   r e q u e s t   o c c u p i e s   o n e   u n i t   o f   c o n c u r r e n c y .   T h e   w o r d   " s e a t "   i s   u s e d   t o   m e a n   o n e   u n i t   o f   c o n c u r r e n c y ,   i n s p i r e d   b y   t h e   w a y   e a c h   p a s s e n g e r   o n   a   t r a i n   o r   a i r c r a f t   t a k e s   u p   o n e   o f   t h e   f i x e d   s u p p l y   o f   s e a t s .   B u t   s o m e   r e q u e s t s   t a k e   u p   m o r e   t h a n   o n e   s e a t .   S o m e   o f   t h e s e   a r e   l i s t   r e q u e s t s   t h a t   t h e   s e r v e r   e s t i m a t e s   w i l l   r e t u r n   a   l a r g e   n u m b e r   o f   o b j e c t s .   T h e s e   h a v e   b e e n   f o u n d   t o   p u t   a n   e x c e p t i o n a l l y   h e a v y   b u r d e n   o n   t h e   s e r v e r .   F o r   t h i s   r e a s o n ,   t h e   s e r v e r   e s t i m a t e s   t h e   n u m b e r   o f   o b j e c t s   t h a t   w i l l   b e   r e t u r n e d   a n d   c o n s i d e r s   t h e   r e q u e s t   t o   t a k e   a   n u m b e r   o f   s e a t s   t h a t   i s   p r o p o r t i o n a l   t o   t h a t   e s t i m a t e d   n u m b e r .


Question: What is Execution time tweaks for watch requests?

Answer: A P I   P r i o r i t y   a n d   F a i r n e s s   m a n a g e s   w a t c h   r e q u e s t s ,   b u t   t h i s   i n v o l v e s   a   c o u p l e   m o r e   e x c u r s i o n s   f r o m   t h e   b a s e l i n e   b e h a v i o r .   T h e   f i r s t   c o n c e r n s   h o w   l o n g   a   w a t c h   r e q u e s t   i s   c o n s i d e r e d   t o   o c c u p y   i t s   s e a t .   D e p e n d i n g   o n   r e q u e s t   p a r a m e t e r s ,   t h e   r e s p o n s e   t o   a   w a t c h   r e q u e s t   m a y   o r   m a y   n o t   b e g i n   w i t h   c r e a t e   n o t i f i c a t i o n s   f o r   a l l   t h e   r e l e v a n t   p r e - e x i s t i n g   o b j e c t s .   A P I   P r i o r i t y   a n d   F a i r n e s s   c o n s i d e r s   a   w a t c h   r e q u e s t   t o   b e   d o n e   w i t h   i t s   s e a t   o n c e   t h a t   i n i t i a l   b u r s t   o f   n o t i f i c a t i o n s ,   i f   a n y ,   i s   o v e r .   T h e   n o r m a l   n o t i f i c a t i o n s   a r e   s e n t   i n   a   c o n c u r r e n t   b u r s t   t o   a l l   r e l e v a n t   w a t c h   r e s p o n s e   s t r e a m s   w h e n e v e r   t h e   s e r v e r   i s   n o t i f i e d   o f   a n   o b j e c t   c r e a t e / u p d a t e / d e l e t e .   T o   a c c o u n t   f o r   t h i s   w o r k ,   A P I   P r i o r i t y   a n d   F a i r n e s s   c o n s i d e r s   e v e r y   w r i t e   r e q u e s t   t o   s p e n d   s o m e   a d d i t i o n a l   t i m e   o c c u p y i n g   s e a t s   a f t e r   t h e   a c t u a l   w r i t i n g   i s   d o n e .   T h e   s e r v e r   e s t i m a t e s   t h e   n u m b e r   o f   n o t i f i c a t i o n s   t o   b e   s e n t   a n d   a d j u s t s   t h e   w r i t e   r e q u e s t ' s   n u m b e r   o f   s e a t s   a n d   s e a t   o c c u p a n c y   t i m e   t o   i n c l u d e   t h i s   e x t r a   w o r k .


Question: What is Queuing?

Answer: E v e n   w i t h i n   a   p r i o r i t y   l e v e l   t h e r e   m a y   b e   a   l a r g e   n u m b e r   o f   d i s t i n c t   s o u r c e s   o f   t r a f f i c .   I n   a n   o v e r l o a d   s i t u a t i o n ,   i t   i s   v a l u a b l e   t o   p r e v e n t   o n e   s t r e a m   o f   r e q u e s t s   f r o m   s t a r v i n g   o t h e r s   ( i n   p a r t i c u l a r ,   i n   t h e   r e l a t i v e l y   c o m m o n   c a s e   o f   a   s i n g l e   b u g g y   c l i e n t   f l o o d i n g   t h e   k u b e - a p i s e r v e r   w i t h   r e q u e s t s ,   t h a t   b u g g y   c l i e n t   w o u l d   i d e a l l y   n o t   h a v e   m u c h   m e a s u r a b l e   i m p a c t   o n   o t h e r   c l i e n t s   a t   a l l ) .   T h i s   i s   h a n d l e d   b y   u s e   o f   a   f a i r - q u e u i n g   a l g o r i t h m   t o   p r o c e s s   r e q u e s t s   t h a t   a r e   a s s i g n e d   t h e   s a m e   p r i o r i t y   l e v e l .   E a c h   r e q u e s t   i s   a s s i g n e d   t o   a   f l o w ,   i d e n t i f i e d   b y   t h e   n a m e   o f   t h e   m a t c h i n g   F l o w S c h e m a   p l u s   a   f l o w   d i s t i n g u i s h e r   —   w h i c h   i s   e i t h e r   t h e   r e q u e s t i n g   u s e r ,   t h e   t a r g e t   r e s o u r c e ' s   n a m e s p a c e ,   o r   n o t h i n g   —   a n d   t h e   s y s t e m   a t t e m p t s   t o   g i v e   a p p r o x i m a t e l y   e q u a l   w e i g h t   t o   r e q u e s t s   i n   d i f f e r e n t   f l o w s   o f   t h e   s a m e   p r i o r i t y   l e v e l .   T o   e n a b l e   d i s t i n c t   h a n d l i n g   o f   d i s t i n c t   i n s t a n c e s ,   c o n t r o l l e r s   t h a t   h a v e   m a n y   i n s t a n c e s   s h o u l d   a u t h e n t i c a t e   w i t h   d i s t i n c t   u s e r n a m e s   A f t e r   c l a s s i f y i n g   a   r e q u e s t   i n t o   a   f l o w ,   t h e   A P I   P


Question: What is Exempt requests?

Answer: S o m e   r e q u e s t s   a r e   c o n s i d e r e d   s u f f i c i e n t l y   i m p o r t a n t   t h a t   t h e y   a r e   n o t   s u b j e c t   t o   a n y   o f   t h e   l i m i t a t i o n s   i m p o s e d   b y   t h i s   f e a t u r e .   T h e s e   e x e m p t i o n s   p r e v e n t   a n   i m p r o p e r l y - c o n f i g u r e d   f l o w   c o n t r o l   c o n f i g u r a t i o n   f r o m   t o t a l l y   d i s a b l i n g   a n   A P I   s e r v e r .


Question: What is Resources?

Answer: T h e   f l o w   c o n t r o l   A P I   i n v o l v e s   t w o   k i n d s   o f   r e s o u r c e s .   P r i o r i t y L e v e l C o n f i g u r a t i o n s   d e f i n e   t h e   a v a i l a b l e   p r i o r i t y   l e v e l s ,   t h e   s h a r e   o f   t h e   a v a i l a b l e   c o n c u r r e n c y   b u d g e t   t h a t   e a c h   c a n   h a n d l e ,   a n d   a l l o w   f o r   f i n e - t u n i n g   q u e u i n g   b e h a v i o r .   F l o w S c h e m a s   a r e   u s e d   t o   c l a s s i f y   i n d i v i d u a l   i n b o u n d   r e q u e s t s ,   m a t c h i n g   e a c h   t o   a   s i n g l e   P r i o r i t y L e v e l C o n f i g u r a t i o n .


Question: What is PriorityLevelConfiguration?

Answer: A   P r i o r i t y L e v e l C o n f i g u r a t i o n   r e p r e s e n t s   a   s i n g l e   p r i o r i t y   l e v e l .   E a c h   P r i o r i t y L e v e l C o n f i g u r a t i o n   h a s   a n   i n d e p e n d e n t   l i m i t   o n   t h e   n u m b e r   o f   o u t s t a n d i n g   r e q u e s t s ,   a n d   l i m i t a t i o n s   o n   t h e   n u m b e r   o f   q u e u e d   r e q u e s t s .   T h e   n o m i n a l   c o n c u r r e n c y   l i m i t   f o r   a   P r i o r i t y L e v e l C o n f i g u r a t i o n   i s   n o t   s p e c i f i e d   i n   a n   a b s o l u t e   n u m b e r   o f   s e a t s ,   b u t   r a t h e r   i n   " n o m i n a l   c o n c u r r e n c y   s h a r e s . "   T h e   t o t a l   c o n c u r r e n c y   l i m i t   f o r   t h e   A P I   S e r v e r   i s   d i s t r i b u t e d   a m o n g   t h e   e x i s t i n g   P r i o r i t y L e v e l C o n f i g u r a t i o n s   i n   p r o p o r t i o n   t o   t h e s e   s h a r e s ,   t o   g i v e   e a c h   l e v e l   i t s   n o m i n a l   l i m i t   i n   t e r m s   o f   s e a t s .   T h i s   a l l o w s   a   c l u s t e r   a d m i n i s t r a t o r   t o   s c a l e   u p   o r   d o w n   t h e   t o t a l   a m o u n t   o f   t r a f f i c   t o   a   s e r v e r   b y   r e s t a r t i n g   k u b e - a p i s e r v e r   w i t h   a   d i f f e r e n t   v a l u e   f o r   - - m a x - r e q u e s t s - i n f l i g h t   ( o r   - - m a x - m u t a t i n g - r e q u e s t s - i n f l i g h t ) ,   a n d   a l l   P r i o r i t y L e v e l C o n f i g u r a t i o n s   w i l l   s e e   t h e i r   m a x i m u m   a l l o w e d   c o n c u r r e n c y   g o   u p   ( o r   d o w n )   b y   t h e   s a m e   f r a c t i o n .


Question: What is Caution:?

Answer: T h e   b o u n d s   o n   h o w   m u c h   c o n c u r r e n c y   a   p r i o r i t y   l e v e l   m a y   l e n d   a n d   h o w   m u c h   i t   m a y   b o r r o w   a r e   e x p r e s s e d   i n   t h e   P r i o r i t y L e v e l C o n f i g u r a t i o n   a s   p e r c e n t a g e s   o f   t h e   l e v e l ' s   n o m i n a l   l i m i t .   T h e s e   a r e   r e s o l v e d   t o   a b s o l u t e   n u m b e r s   o f   s e a t s   b y   m u l t i p l y i n g   w i t h   t h e   n o m i n a l   l i m i t   /   1 0 0 . 0   a n d   r o u n d i n g .   T h e   d y n a m i c a l l y   a d j u s t e d   c o n c u r r e n c y   l i m i t   o f   a   p r i o r i t y   l e v e l   i s   c o n s t r a i n e d   t o   l i e   b e t w e e n   ( a )   a   l o w e r   b o u n d   o f   i t s   n o m i n a l   l i m i t   m i n u s   i t s   l e n d a b l e   s e a t s   a n d   ( b )   a n   u p p e r   b o u n d   o f   i t s   n o m i n a l   l i m i t   p l u s   t h e   s e a t s   i t   m a y   b o r r o w .   A t   e a c h   a d j u s t m e n t   t h e   d y n a m i c   l i m i t s   a r e   d e r i v e d   b y   e a c h   p r i o r i t y   l e v e l   r e c l a i m i n g   a n y   l e n t   s e a t s   f o r   w h i c h   d e m a n d   r e c e n t l y   a p p e a r e d   a n d   t h e n   j o i n t l y   f a i r l y   r e s p o n d i n g   t o   t h e   r e c e n t   s e a t   d e m a n d   o n   t h e   p r i o r i t y   l e v e l s ,   w i t h i n   t h e   b o u n d s   j u s t   d e s c r i b e d .


Question: What is Caution:?

Answer: W h e n   t h e   v o l u m e   o f   i n b o u n d   r e q u e s t s   a s s i g n e d   t o   a   s i n g l e   P r i o r i t y L e v e l C o n f i g u r a t i o n   i s   m o r e   t h a n   i t s   p e r m i t t e d   c o n c u r r e n c y   l e v e l ,   t h e   t y p e   f i e l d   o f   i t s   s p e c i f i c a t i o n   d e t e r m i n e s   w h a t   w i l l   h a p p e n   t o   e x t r a   r e q u e s t s .   A   t y p e   o f   R e j e c t   m e a n s   t h a t   e x c e s s   t r a f f i c   w i l l   i m m e d i a t e l y   b e   r e j e c t e d   w i t h   a n   H T T P   4 2 9   ( T o o   M a n y   R e q u e s t s )   e r r o r .   A   t y p e   o f   Q u e u e   m e a n s   t h a t   r e q u e s t s   a b o v e   t h e   t h r e s h o l d   w i l l   b e   q u e u e d ,   w i t h   t h e   s h u f f l e   s h a r d i n g   a n d   f a i r   q u e u i n g   t e c h n i q u e s   u s e d   t o   b a l a n c e   p r o g r e s s   b e t w e e n   r e q u e s t   f l o w s .   T h e   q u e u i n g   c o n f i g u r a t i o n   a l l o w s   t u n i n g   t h e   f a i r   q u e u i n g   a l g o r i t h m   f o r   a   p r i o r i t y   l e v e l .   D e t a i l s   o f   t h e   a l g o r i t h m   c a n   b e   r e a d   i n   t h e   e n h a n c e m e n t   p r o p o s a l ,   b u t   i n   s h o r t :   I n c r e a s i n g   q u e u e s   r e d u c e s   t h e   r a t e   o f   c o l l i s i o n s   b e t w e e n   d i f f e r e n t   f l o w s ,   a t   t h e   c o s t   o f   i n c r e a s e d   m e m o r y   u s a g e .   A   v a l u e   o f   1   h e r e   e f f e c t i v e l y   d i s a b l e s   t h e   f a i r - q u e u i n g   l o g i c ,   b u t   s t i l l   a l l o w s   r e q u e s t s   t o   b e   q u e u e d . I n c r e a s i n g   q u e u e L e n g t h L i m i t   a l l o w s   l a r g e r   b u r s t s   o f   t r a f f i c   t o   b e   s u s t a i n e d   w i t h o u t   d r o p p i n g   a n y   r e q u e s t s ,   a t   t h e


Question: What is Note:?

Answer: F o l l o w i n g   i s   a   t a b l e   s h o w i n g   a n   i n t e r e s t i n g   c o l l e c t i o n   o f   s h u f f l e   s h a r d i n g   c o n f i g u r a t i o n s ,   s h o w i n g   f o r   e a c h   t h e   p r o b a b i l i t y   t h a t   a   g i v e n   m o u s e   ( l o w - i n t e n s i t y   f l o w )   i s   s q u i s h e d   b y   t h e   e l e p h a n t s   ( h i g h - i n t e n s i t y   f l o w s )   f o r   a n   i l l u s t r a t i v e   c o l l e c t i o n   o f   n u m b e r s   o f   e l e p h a n t s .   S e e   h t t p s : / / p l a y . g o l a n g . o r g / p / G i 0 P L g V H i U g   ,   w h i c h   c o m p u t e s   t h i s   t a b l e .


Question: What is FlowSchema?

Answer: A   F l o w S c h e m a   m a t c h e s   s o m e   i n b o u n d   r e q u e s t s   a n d   a s s i g n s   t h e m   t o   a   p r i o r i t y   l e v e l .   E v e r y   i n b o u n d   r e q u e s t   i s   t e s t e d   a g a i n s t   F l o w S c h e m a s ,   s t a r t i n g   w i t h   t h o s e   w i t h   t h e   n u m e r i c a l l y   l o w e s t   m a t c h i n g P r e c e d e n c e   a n d   w o r k i n g   u p w a r d .   T h e   f i r s t   m a t c h   w i n s .


Question: What is Caution:?

Answer: A   F l o w S c h e m a   m a t c h e s   a   g i v e n   r e q u e s t   i f   a t   l e a s t   o n e   o f   i t s   r u l e s   m a t c h e s .   A   r u l e   m a t c h e s   i f   a t   l e a s t   o n e   o f   i t s   s u b j e c t s   a n d   a t   l e a s t   o n e   o f   i t s   r e s o u r c e R u l e s   o r   n o n R e s o u r c e R u l e s   ( d e p e n d i n g   o n   w h e t h e r   t h e   i n c o m i n g   r e q u e s t   i s   f o r   a   r e s o u r c e   o r   n o n - r e s o u r c e   U R L )   m a t c h   t h e   r e q u e s t .   F o r   t h e   n a m e   f i e l d   i n   s u b j e c t s ,   a n d   t h e   v e r b s ,   a p i G r o u p s ,   r e s o u r c e s ,   n a m e s p a c e s ,   a n d   n o n R e s o u r c e U R L s   f i e l d s   o f   r e s o u r c e   a n d   n o n - r e s o u r c e   r u l e s ,   t h e   w i l d c a r d   *   m a y   b e   s p e c i f i e d   t o   m a t c h   a l l   v a l u e s   f o r   t h e   g i v e n   f i e l d ,   e f f e c t i v e l y   r e m o v i n g   i t   f r o m   c o n s i d e r a t i o n .   A   F l o w S c h e m a ' s   d i s t i n g u i s h e r M e t h o d . t y p e   d e t e r m i n e s   h o w   r e q u e s t s   m a t c h i n g   t h a t   s c h e m a   w i l l   b e   s e p a r a t e d   i n t o   f l o w s .   I t   m a y   b e   B y U s e r ,   i n   w h i c h   o n e   r e q u e s t i n g   u s e r   w i l l   n o t   b e   a b l e   t o   s t a r v e   o t h e r   u s e r s   o f   c a p a c i t y ;   B y N a m e s p a c e ,   i n   w h i c h   r e q u e s t s   f o r   r e s o u r c e s   i n   o n e   n a m e s p a c e   w i l l   n o t   b e   a b l e   t o   s t a r v e   r e q u e s t s   f o r   r e s o u r c e s   i n   o t h e r   n a m e s p a c e s   o f   c a p a c i t y ;   o r   b l a n k   ( o r   d i s t i n g u i s h e r M e t h o d   m a y   b e   o m i t t e d   e n t i r e l y ) ,   i n   w h i c h   a l l   r e q u e s t s   m a t c h e d   b y   t h i s   F l


Question: What is Defaults?

Answer: E a c h   k u b e - a p i s e r v e r   m a i n t a i n s   t w o   s o r t s   o f   A P F   c o n f i g u r a t i o n   o b j e c t s :   m a n d a t o r y   a n d   s u g g e s t e d .