Question: What is Mitigations?

Answer: A c t i o n :   U s e   t h e   I a a S   p r o v i d e r ' s   a u t o m a t i c   V M   r e s t a r t i n g   f e a t u r e   f o r   I a a S   V M s M i t i g a t e s :   A p i s e r v e r   V M   s h u t d o w n   o r   a p i s e r v e r   c r a s h i n g M i t i g a t e s :   S u p p o r t i n g   s e r v i c e s   V M   s h u t d o w n   o r   c r a s h e s A c t i o n :   U s e   I a a S   p r o v i d e r s   r e l i a b l e   s t o r a g e   ( e . g .   G C E   P D   o r   A W S   E B S   v o l u m e )   f o r   V M s   w i t h   a p i s e r v e r + e t c d M i t i g a t e s :   A p i s e r v e r   b a c k i n g   s t o r a g e   l o s t A c t i o n :   U s e   h i g h - a v a i l a b i l i t y   c o n f i g u r a t i o n M i t i g a t e s :   C o n t r o l   p l a n e   n o d e   s h u t d o w n   o r   c o n t r o l   p l a n e   c o m p o n e n t s   ( s c h e d u l e r ,   A P I   s e r v e r ,   c o n t r o l l e r - m a n a g e r )   c r a s h i n g W i l l   t o l e r a t e   o n e   o r   m o r e   s i m u l t a n e o u s   n o d e   o r   c o m p o n e n t   f a i l u r e s M i t i g a t e s :   A P I   s e r v e r   b a c k i n g   s t o r a g e   ( i . e . ,   e t c d ' s   d a t a   d i r e c t o r y )   l o s t A s s u m e s   H A   ( h i g h l y - a v a i l a b l e )   e t c d   c o n f i g u r a t i o n A c t i o n :   S n a p s h o t   a p i s e r v e r   P D s / E B S - v o l u m e s   p e r i o d i c a l l y M i t i g a t e s :   A p i s e r v e r   b a c k i n g   s t o r a g e   l o s t M i t i g a t e s :   S o m e   c a s e s   o f   o p e r a t o r   e r r o r M i t i g a t e s :   S o m e   c a s e s   o f   K u b e r n e t e s   s o f t w a r e   f a u l t A c t i o n :   u s e   r e p l i c a t i o n   c o n t r o l l e r   a n d   s e r v i c e s   i n   f r o n t   o f   p o d s M i t i g a t e s :   N o d e   s h u t d o w n M i t i g a t e s :   K u b e l e t   s o f t w a r e   f a u l t A c t i o n :   a p p l i c a t i o n s


Question: What is What's next?

Answer: L e a r n   a b o u t   t h e   m e t r i c s   a v a i l a b l e   i n   t h e   R e s o u r c e   M e t r i c s   P i p e l i n e D i s c o v e r   a d d i t i o n a l   t o o l s   f o r   m o n i t o r i n g   r e s o u r c e   u s a g e U s e   N o d e   P r o b l e m   D e t e c t o r   t o   m o n i t o r   n o d e   h e a l t h U s e   k u b e c t l   d e b u g   n o d e   t o   d e b u g   K u b e r n e t e s   n o d e s U s e   c r i c t l   t o   d e b u g   K u b e r n e t e s   n o d e s G e t   m o r e   i n f o r m a t i o n   a b o u t   K u b e r n e t e s   a u d i t i n g U s e   t e l e p r e s e n c e   t o   d e v e l o p   a n d   d e b u g   s e r v i c e s   l o c a l l y


Question: What is 4.4.1 - Troubleshooting kubectl?

Answer: T h i s   d o c u m e n t a t i o n   i s   a b o u t   i n v e s t i g a t i n g   a n d   d i a g n o s i n g   k u b e c t l   r e l a t e d   i s s u e s .   I f   y o u   e n c o u n t e r   i s s u e s   a c c e s s i n g   k u b e c t l   o r   c o n n e c t i n g   t o   y o u r   c l u s t e r ,   t h i s   d o c u m e n t   o u t l i n e s   v a r i o u s   c o m m o n   s c e n a r i o s   a n d   p o t e n t i a l   s o l u t i o n s   t o   h e l p   i d e n t i f y   a n d   a d d r e s s   t h e   l i k e l y   c a u s e .


Question: What is Before you begin?

Answer: Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r . Y o u   a l s o   n e e d   t o   h a v e   k u b e c t l   i n s t a l l e d   -   s e e   i n s t a l l   t o o l s


Question: What is Verify kubectl setup?

Answer: M a k e   s u r e   y o u   h a v e   i n s t a l l e d   a n d   c o n f i g u r e d   k u b e c t l   c o r r e c t l y   o n   y o u r   l o c a l   m a c h i n e .   C h e c k   t h e   k u b e c t l   v e r s i o n   t o   e n s u r e   i t   i s   u p - t o - d a t e   a n d   c o m p a t i b l e   w i t h   y o u r   c l u s t e r .   C h e c k   k u b e c t l   v e r s i o n :   k u b e c t l   v e r s i o n   Y o u ' l l   s e e   a   s i m i l a r   o u t p u t :   C l i e n t   V e r s i o n :   v e r s i o n . I n f o { M a j o r : " 1 " ,   M i n o r : " 2 7 " ,   G i t V e r s i o n : " v 1 . 2 7 . 4 " , G i t C o m m i t : " f a 3 d 7 9 9 0 1 0 4 d 7 c 1 f 1 6 9 4 3 a 6 7 f 1 1 b 1 5 4 b 7 1 f 6 a 1 3 2 " ,   G i t T r e e S t a t e : " c l e a n " , B u i l d D a t e : " 2 0 2 3 - 0 7 - 1 9 T 1 2 : 2 0 : 5 4 Z " ,   G o V e r s i o n : " g o 1 . 2 0 . 6 " ,   C o m p i l e r : " g c " ,   P l a t f o r m : " l i n u x / a m d 6 4 " }   K u s t o m i z e   V e r s i o n :   v 5 . 0 . 1   S e r v e r   V e r s i o n :   v e r s i o n . I n f o { M a j o r : " 1 " ,   M i n o r : " 2 7 " ,   G i t V e r s i o n : " v 1 . 2 7 . 3 " , G i t C o m m i t : " 2 5 b 4 e 4 3 1 9 3 b c d a 6 c 7 3 2 8 a 6 d 1 4 7 b 1 f b 7 3 a 3 3 f 1 5 9 8 " ,   G i t T r e e S t a t e : " c l e a n " , B u i l d D a t e : " 2 0 2 3 - 0 6 - 1 4 T 0 9 : 4 7 : 4 0 Z " ,   G o V e r s i o n : " g o 1 . 2 0 . 5 " ,   C o m p i l e r : " g c " ,   P l a t f o r m : " l i n u x / a m d 6 4 " }   I f   y o u   s e e   U n a b l e   t o   c o n n e c t   t o   t h e   s e r v e r :   d i a l   t c p   < s e r v e r - i p > : 8 4 4 3 :   i / o   t i m e o u t ,   i n s t e a d   o f   S e r v e r   V e r s i o n ,   y o u   n e e d   t o   t r o u b l e s h o o t   k u b e c t l   c o n n e c t i v i t y   w i t h   y o u r   c l u s t e r .   M a k e   s u r e   y o u   h a v e   i n s t a l l e d   t h e   k u b e c t l   b y   f o l l o w i n g   t h e   o f f i c i a l   d o c u m


Question: What is Check kubeconfig?

Answer: T h e   k u b e c t l   r e q u i r e s   a   k u b e c o n f i g   f i l e   t o   c o n n e c t   t o   a   K u b e r n e t e s   c l u s t e r .   T h e   k u b e c o n f i g   f i l e   i s   u s u a l l y   l o c a t e d   u n d e r   t h e   ~ / . k u b e / c o n f i g   d i r e c t o r y .   M a k e   s u r e   t h a t   y o u   h a v e   a   v a l i d   k u b e c o n f i g   f i l e .   I f   y o u   d o n ' t   h a v e   a   k u b e c o n f i g   f i l e ,   y o u   c a n   o b t a i n   i t   f r o m   y o u r   K u b e r n e t e s   a d m i n i s t r a t o r ,   o r   y o u   c a n   c o p y   i t   f r o m   y o u r   K u b e r n e t e s   c o n t r o l   p l a n e ' s   / e t c / k u b e r n e t e s / a d m i n . c o n f   d i r e c t o r y .   I f   y o u   h a v e   d e p l o y e d   y o u r   K u b e r n e t e s   c l u s t e r   o n   a   c l o u d   p l a t f o r m   a n d   l o s t   y o u r   k u b e c o n f i g   f i l e ,   y o u   c a n   r e - g e n e r a t e   i t   u s i n g   y o u r   c l o u d   p r o v i d e r ' s   t o o l s .   R e f e r   t h e   c l o u d   p r o v i d e r ' s   d o c u m e n t a t i o n   f o r   r e - g e n e r a t i n g   a   k u b e c o n f i g   f i l e .   C h e c k   i f   t h e   $ K U B E C O N F I G   e n v i r o n m e n t   v a r i a b l e   i s   c o n f i g u r e d   c o r r e c t l y .   Y o u   c a n   s e t   $ K U B E C O N F I G e n v i r o n m e n t   v a r i a b l e   o r   u s e   t h e   - - k u b e c o n f i g   p a r a m e t e r   w i t h   t h e   k u b e c t l   t o   s p e c i f y   t h e   d i r e c t o r y   o f   a   k u b e c o n f i g   f i l e .


Question: What is Check VPN connectivity?

Answer: I f   y o u   a r e   u s i n g   a   V i r t u a l   P r i v a t e   N e t w o r k   ( V P N )   t o   a c c e s s   y o u r   K u b e r n e t e s   c l u s t e r ,   m a k e   s u r e   t h a t   y o u r   V P N   c o n n e c t i o n   i s   a c t i v e   a n d   s t a b l e .   S o m e t i m e s ,   V P N   d i s c o n n e c t i o n s   c a n   l e a d   t o   c o n n e c t i o n   i s s u e s   w i t h   t h e   c l u s t e r .   R e c o n n e c t   t o   t h e   V P N   a n d   t r y   a c c e s s i n g   t h e   c l u s t e r   a g a i n .


Question: What is Authentication and authorization?

Answer: I f   y o u   a r e   u s i n g   t h e   t o k e n   b a s e d   a u t h e n t i c a t i o n   a n d   t h e   k u b e c t l   i s   r e t u r n i n g   a n   e r r o r   r e g a r d i n g   t h e   a u t h e n t i c a t i o n   t o k e n   o r   a u t h e n t i c a t i o n   s e r v e r   a d d r e s s ,   v a l i d a t e   t h e   K u b e r n e t e s   a u t h e n t i c a t i o n   t o k e n   a n d   t h e   a u t h e n t i c a t i o n   s e r v e r   a d d r e s s   a r e   c o n f i g u r e d   p r o p e r l y .   I f   k u b e c t l   i s   r e t u r n i n g   a n   e r r o r   r e g a r d i n g   t h e   a u t h o r i z a t i o n ,   m a k e   s u r e   t h a t   y o u   a r e   u s i n g   t h e   v a l i d   u s e r   c r e d e n t i a l s .   A n d   y o u   h a v e   t h e   p e r m i s s i o n   t o   a c c e s s   t h e   r e s o u r c e   t h a t   y o u   h a v e   r e q u e s t e d .


Question: What is Verify contexts?

Answer: K u b e r n e t e s   s u p p o r t s   m u l t i p l e   c l u s t e r s   a n d   c o n t e x t s .   E n s u r e   t h a t   y o u   a r e   u s i n g   t h e   c o r r e c t   c o n t e x t   t o   i n t e r a c t   w i t h   y o u r   c l u s t e r .   L i s t   a v a i l a b l e   c o n t e x t s :   k u b e c t l   c o n f i g   g e t - c o n t e x t s   S w i t c h   t o   t h e   a p p r o p r i a t e   c o n t e x t :   k u b e c t l   c o n f i g   u s e - c o n t e x t   < c o n t e x t - n a m e >


Question: What is API server and load balancer?

Answer: T h e   k u b e - a p i s e r v e r   s e r v e r   i s   t h e   c e n t r a l   c o m p o n e n t   o f   a   K u b e r n e t e s   c l u s t e r .   I f   t h e   A P I   s e r v e r   o r   t h e   l o a d   b a l a n c e r   t h a t   r u n s   i n   f r o n t   o f   y o u r   A P I   s e r v e r s   i s   n o t   r e a c h a b l e   o r   n o t   r e s p o n d i n g ,   y o u   w o n ' t   b e   a b l e   t o   i n t e r a c t   w i t h   t h e   c l u s t e r .   C h e c k   t h e   i f   t h e   A P I   s e r v e r ' s   h o s t   i s   r e a c h a b l e   b y   u s i n g   p i n g   c o m m a n d .   C h e c k   c l u s t e r ' s   n e t w o r k   c o n n e c t i v i t y   a n d   f i r e w a l l .   I f   y o u r   a r e   u s i n g   a   c l o u d   p r o v i d e r   f o r   d e p l o y i n g   t h e   c l u s t e r ,   c h e c k   y o u r   c l o u d   p r o v i d e r ' s   h e a l t h   c h e c k   s t a t u s   f o r   t h e   c l u s t e r ' s   A P I   s e r v e r .   V e r i f y   t h e   s t a t u s   o f   t h e   l o a d   b a l a n c e r   ( i f   u s e d )   t o   e n s u r e   i t   i s   h e a l t h y   a n d   f o r w a r d i n g   t r a f f i c   t o   t h e   A P I   s e r v e r .


Question: What is TLS problems?

Answer: A d d i t i o n a l   t o o l s   r e q u i r e d   -   b a s e 6 4   a n d   o p e n s s l   v e r s i o n   3 . 0   o r   a b o v e .   T h e   K u b e r n e t e s   A P I   s e r v e r   o n l y   s e r v e s   H T T P S   r e q u e s t s   b y   d e f a u l t .   I n   t h a t   c a s e   T L S   p r o b l e m s   m a y   o c c u r   d u e   t o   v a r i o u s   r e a s o n s ,   s u c h   a s   c e r t i f i c a t e   e x p i r y   o r   c h a i n   o f   t r u s t   v a l i d i t y .   Y o u   c a n   f i n d   t h e   T L S   c e r t i f i c a t e   i n   t h e   k u b e c o n f i g   f i l e ,   l o c a t e d   i n   t h e   ~ / . k u b e / c o n f i g   d i r e c t o r y .   T h e   c e r t i f i c a t e - a u t h o r i t y   a t t r i b u t e   c o n t a i n s   t h e   C A   c e r t i f i c a t e   a n d   t h e   c l i e n t - c e r t i f i c a t e   a t t r i b u t e   c o n t a i n s   t h e   c l i e n t   c e r t i f i c a t e .   V e r i f y   t h e   e x p i r y   o f   t h e s e   c e r t i f i c a t e s :   k u b e c t l   c o n f i g   v i e w   - - f l a t t e n   - - o u t p u t   ' j s o n p a t h = { . c l u s t e r s [ 0 ] . c l u s t e r . c e r t i f i c a t e - a u t h o r i t y - d a t a } '   |   b a s e 6 4   - d   |   o p e n s s l   x 5 0 9   - n o o u t   - d a t e s   o u t p u t :   n o t B e f o r e = F e b   1 3   0 5 : 5 7 : 4 7   2 0 2 4   G M T   n o t A f t e r = F e b   1 0   0 6 : 0 2 : 4 7   2 0 3 4   G M T   k u b e c t l   c o n f i g   v i e w   - - f l a t t e n   - - o u t p u t   ' j s o n p a t h = { . u s e r s [ 0 ] . u s e r . c l i e n t - c e r t i f i c a t e - d a t a } ' |   b a s e 6 4   - d   |   o p e n s s l   x 5 0 9   - n o o u t   - d a t e s   o u t p u t :   n o t B e f o r e = F e b   1 3   0 5 : 5 7 : 4 7   2 0 2 4   G M T   n o t A f t e r = F e b   1 2   0 6 : 0 2 : 5 0   2 0 2 5   G M T


Question: What is Verify kubectl helpers?

Answer: S o m e   k u b e c t l   a u t h e n t i c a t i o n   h e l p e r s   p r o v i d e   e a s y   a c c e s s   t o   K u b e r n e t e s   c l u s t e r s .   I f   y o u   h a v e   u s e d   s u c h   h e l p e r s   a n d   a r e   f a c i n g   c o n n e c t i v i t y   i s s u e s ,   e n s u r e   t h a t   t h e   n e c e s s a r y   c o n f i g u r a t i o n s   a r e   s t i l l   p r e s e n t .   C h e c k   k u b e c t l   c o n f i g u r a t i o n   f o r   a u t h e n t i c a t i o n   d e t a i l s :   k u b e c t l   c o n f i g   v i e w   I f   y o u   p r e v i o u s l y   u s e d   a   h e l p e r   t o o l   ( f o r   e x a m p l e ,   k u b e c t l - o i d c - l o g i n ) ,   e n s u r e   t h a t   i t   i s   s t i l l   i n s t a l l e d   a n d   c o n f i g u r e d   c o r r e c t l y .


Question: What is 4.4.2 - Resource metrics pipeline?

Answer: F o r   K u b e r n e t e s ,   t h e   M e t r i c s   A P I   o f f e r s   a   b a s i c   s e t   o f   m e t r i c s   t o   s u p p o r t   a u t o m a t i c   s c a l i n g   a n d   s i m i l a r   u s e   c a s e s .   T h i s   A P I   m a k e s   i n f o r m a t i o n   a v a i l a b l e   a b o u t   r e s o u r c e   u s a g e   f o r   n o d e   a n d   p o d ,   i n c l u d i n g   m e t r i c s   f o r   C P U   a n d   m e m o r y .   I f   y o u   d e p l o y   t h e   M e t r i c s   A P I   i n t o   y o u r   c l u s t e r ,   c l i e n t s   o f   t h e   K u b e r n e t e s   A P I   c a n   t h e n   q u e r y   f o r   t h i s   i n f o r m a t i o n ,   a n d   y o u   c a n   u s e   K u b e r n e t e s '   a c c e s s   c o n t r o l   m e c h a n i s m s   t o   m a n a g e   p e r m i s s i o n s   t o   d o   s o .   T h e   H o r i z o n t a l P o d A u t o s c a l e r   ( H P A )   a n d   V e r t i c a l P o d A u t o s c a l e r   ( V P A )   u s e   d a t a   f r o m   t h e   m e t r i c s   A P I   t o   a d j u s t   w o r k l o a d   r e p l i c a s   a n d   r e s o u r c e s   t o   m e e t   c u s t o m e r   d e m a n d .   Y o u   c a n   a l s o   v i e w   t h e   r e s o u r c e   m e t r i c s   u s i n g   t h e   k u b e c t l   t o p   c o m m a n d .


Question: What is Note:?

Answer: F i g u r e   1   i l l u s t r a t e s   t h e   a r c h i t e c t u r e   o f   t h e   r e s o u r c e   m e t r i c s   p i p e l i n e .   F i g u r e   1 .   R e s o u r c e   M e t r i c s   P i p e l i n e   T h e   a r c h i t e c t u r e   c o m p o n e n t s ,   f r o m   r i g h t   t o   l e f t   i n   t h e   f i g u r e ,   c o n s i s t   o f   t h e   f o l l o w i n g :   c A d v i s o r :   D a e m o n   f o r   c o l l e c t i n g ,   a g g r e g a t i n g   a n d   e x p o s i n g   c o n t a i n e r   m e t r i c s   i n c l u d e d   i n   K u b e l e t . k u b e l e t :   N o d e   a g e n t   f o r   m a n a g i n g   c o n t a i n e r   r e s o u r c e s .   R e s o u r c e   m e t r i c s   a r e   a c c e s s i b l e   u s i n g   t h e   / m e t r i c s / r e s o u r c e   a n d   / s t a t s   k u b e l e t   A P I   e n d p o i n t s . n o d e   l e v e l   r e s o u r c e   m e t r i c s :   A P I   p r o v i d e d   b y   t h e   k u b e l e t   f o r   d i s c o v e r i n g   a n d   r e t r i e v i n g   p e r - n o d e   s u m m a r i z e d   s t a t s   a v a i l a b l e   t h r o u g h   t h e   / m e t r i c s / r e s o u r c e   e n d p o i n t . m e t r i c s - s e r v e r :   C l u s t e r   a d d o n   c o m p o n e n t   t h a t   c o l l e c t s   a n d   a g g r e g a t e s   r e s o u r c e   m e t r i c s   p u l l e d   f r o m   e a c h   k u b e l e t .   T h e   A P I   s e r v e r   s e r v e s   M e t r i c s   A P I   f o r   u s e   b y   H P A ,   V P A ,   a n d   b y   t h e   k u b e c t l   t o p   c o m m a n d .   M e t r i c s   S e r v e r   i s   a   r e f e r e n c e   i m p l e m e n t a t i o n   o f   t h e   M e t r i c s   A P I . M e t r i c s   A P I :   K u b e r n e t e s   A P I   s u p p o r t i n g   a c c e s s   t o   C P U   a n d   m e m o r y   u s e d   f o r   w o r k l o a d   a u t o s c a l i n g .   T o   m a k e   t h i s   w o r k   i n   y o u r   c l u s t e r ,   y o u


Question: What is Metrics API?

Answer: T h e   m e t r i c s - s e r v e r   i m p l e m e n t s   t h e   M e t r i c s   A P I .   T h i s   A P I   a l l o w s   y o u   t o   a c c e s s   C P U   a n d   m e m o r y   u s a g e   f o r   t h e   n o d e s   a n d   p o d s   i n   y o u r   c l u s t e r .   I t s   p r i m a r y   r o l e   i s   t o   f e e d   r e s o u r c e   u s a g e   m e t r i c s   t o   K 8 s   a u t o s c a l e r   c o m p o n e n t s .   H e r e   i s   a n   e x a m p l e   o f   t h e   M e t r i c s   A P I   r e q u e s t   f o r   a   m i n i k u b e   n o d e   p i p e d   t h r o u g h   j q   f o r   e a s i e r   r e a d i n g :   k u b e c t l   g e t   - - r a w   " / a p i s / m e t r i c s . k 8 s . i o / v 1 b e t a 1 / n o d e s / m i n i k u b e "   |   j q   ' . '   H e r e   i s   t h e   s a m e   A P I   c a l l   u s i n g   c u r l :   c u r l   h t t p : / / l o c a l h o s t : 8 0 8 0 / a p i s / m e t r i c s . k 8 s . i o / v 1 b e t a 1 / n o d e s / m i n i k u b e   S a m p l e   r e s p o n s e :   {   " k i n d " :   " N o d e M e t r i c s " ,   " a p i V e r s i o n " :   " m e t r i c s . k 8 s . i o / v 1 b e t a 1 " ,   " m e t a d a t a " :   {   " n a m e " :   " m i n i k u b e " ,   " s e l f L i n k " :   " / a p i s / m e t r i c s . k 8 s . i o / v 1 b e t a 1 / n o d e s / m i n i k u b e " ,   " c r e a t i o n T i m e s t a m p " :   " 2 0 2 2 - 0 1 - 2 7 T 1 8 : 4 8 : 4 3 Z "   } ,   " t i m e s t a m p " :   " 2 0 2 2 - 0 1 - 2 7 T 1 8 : 4 8 : 3 3 Z " ,   " w i n d o w " :   " 3 0 s " ,   " u s a g e " :   {   " c p u " :   " 4 8 7 5 5 8 1 6 4 n " ,   " m e m o r y " :   " 7 3 2 2 1 2 K i "   }   }   H e r e   i s   a n   e x a m p l e   o f   t h e   M e t r i c s   A P I   r e q u e s t   f o r   a   k u b e - s c h e d u l e r - m i n i k u b e   p o d   c o n t a i n e d   i n   t h e   k u b e - s y s t e m   n a m e s p a c e   a n d   p i p e d   t h r o u g h   j q   f o r   e a s i e r   r e a d i n g :   k u b e


Question: What is CPU?

Answer: C P U   i s   r e p o r t e d   a s   t h e   a v e r a g e   c o r e   u s a g e   m e a s u r e d   i n   c p u   u n i t s .   O n e   c p u ,   i n   K u b e r n e t e s ,   i s   e q u i v a l e n t   t o   1   v C P U / C o r e   f o r   c l o u d   p r o v i d e r s ,   a n d   1   h y p e r - t h r e a d   o n   b a r e - m e t a l   I n t e l   p r o c e s s o r s .   T h i s   v a l u e   i s   d e r i v e d   b y   t a k i n g   a   r a t e   o v e r   a   c u m u l a t i v e   C P U   c o u n t e r   p r o v i d e d   b y   t h e   k e r n e l   ( i n   b o t h   L i n u x   a n d   W i n d o w s   k e r n e l s ) .   T h e   t i m e   w i n d o w   u s e d   t o   c a l c u l a t e   C P U   i s   s h o w n   u n d e r   w i n d o w   f i e l d   i n   M e t r i c s   A P I .   T o   l e a r n   m o r e   a b o u t   h o w   K u b e r n e t e s   a l l o c a t e s   a n d   m e a s u r e s   C P U   r e s o u r c e s ,   s e e   m e a n i n g   o f   C P U .


Question: What is Memory?

Answer: M e m o r y   i s   r e p o r t e d   a s   t h e   w o r k i n g   s e t ,   m e a s u r e d   i n   b y t e s ,   a t   t h e   i n s t a n t   t h e   m e t r i c   w a s   c o l l e c t e d .   I n   a n   i d e a l   w o r l d ,   t h e   " w o r k i n g   s e t "   i s   t h e   a m o u n t   o f   m e m o r y   i n - u s e   t h a t   c a n n o t   b e   f r e e d   u n d e r   m e m o r y   p r e s s u r e .   H o w e v e r ,   c a l c u l a t i o n   o f   t h e   w o r k i n g   s e t   v a r i e s   b y   h o s t   O S ,   a n d   g e n e r a l l y   m a k e s   h e a v y   u s e   o f   h e u r i s t i c s   t o   p r o d u c e   a n   e s t i m a t e .   T h e   K u b e r n e t e s   m o d e l   f o r   a   c o n t a i n e r ' s   w o r k i n g   s e t   e x p e c t s   t h a t   t h e   c o n t a i n e r   r u n t i m e   c o u n t s   a n o n y m o u s   m e m o r y   a s s o c i a t e d   w i t h   t h e   c o n t a i n e r   i n   q u e s t i o n .   T h e   w o r k i n g   s e t   m e t r i c   t y p i c a l l y   a l s o   i n c l u d e s   s o m e   c a c h e d   ( f i l e - b a c k e d )   m e m o r y ,   b e c a u s e   t h e   h o s t   O S   c a n n o t   a l w a y s   r e c l a i m   p a g e s .   T o   l e a r n   m o r e   a b o u t   h o w   K u b e r n e t e s   a l l o c a t e s   a n d   m e a s u r e s   m e m o r y   r e s o u r c e s ,   s e e   m e a n i n g   o f   m e m o r y .


Question: What is Metrics Server?

Answer: T h e   m e t r i c s - s e r v e r   f e t c h e s   r e s o u r c e   m e t r i c s   f r o m   t h e   k u b e l e t s   a n d   e x p o s e s   t h e m   i n   t h e   K u b e r n e t e s   A P I   s e r v e r   t h r o u g h   t h e   M e t r i c s   A P I   f o r   u s e   b y   t h e   H P A   a n d   V P A .   Y o u   c a n   a l s o   v i e w   t h e s e   m e t r i c s   u s i n g   t h e   k u b e c t l   t o p   c o m m a n d .   T h e   m e t r i c s - s e r v e r   u s e s   t h e   K u b e r n e t e s   A P I   t o   t r a c k   n o d e s   a n d   p o d s   i n   y o u r   c l u s t e r .   T h e   m e t r i c s - s e r v e r   q u e r i e s   e a c h   n o d e   o v e r   H T T P   t o   f e t c h   m e t r i c s .   T h e   m e t r i c s - s e r v e r   a l s o   b u i l d s   a n   i n t e r n a l   v i e w   o f   p o d   m e t a d a t a ,   a n d   k e e p s   a   c a c h e   o f   p o d   h e a l t h .   T h a t   c a c h e d   p o d   h e a l t h   i n f o r m a t i o n   i s   a v a i l a b l e   v i a   t h e   e x t e n s i o n   A P I   t h a t   t h e   m e t r i c s - s e r v e r   m a k e s   a v a i l a b l e .   F o r   e x a m p l e   w i t h   a n   H P A   q u e r y ,   t h e   m e t r i c s - s e r v e r   n e e d s   t o   i d e n t i f y   w h i c h   p o d s   f u l f i l l   t h e   l a b e l   s e l e c t o r s   i n   t h e   d e p l o y m e n t .   T h e   m e t r i c s - s e r v e r   c a l l s   t h e   k u b e l e t   A P I   t o   c o l l e c t   m e t r i c s   f r o m   e a c h   n o d e .   D e p e n d i n g   o n   t h e   m e t r i c s - s e r v e r   v e r s i o n   i t   u s e s :   M e t r i c s   r e s o u r c e   e n d p o i n t   / m e t r i c s / r e s o u r c e   i n   v e r s i o n   v 0 . 6 . 0 +   o r S u m m a r y   A P I   e n d p o i n t   / s t a t s / s u m m a r y   i n   o l d e r   v e r s i o n s


Question: What is What's next?

Answer: T o   l e a r n   m o r e   a b o u t   t h e   m e t r i c s - s e r v e r ,   s e e   t h e   m e t r i c s - s e r v e r   r e p o s i t o r y .   Y o u   c a n   a l s o   c h e c k   o u t   t h e   f o l l o w i n g :   m e t r i c s - s e r v e r   d e s i g n m e t r i c s - s e r v e r   F A Q m e t r i c s - s e r v e r   k n o w n   i s s u e s m e t r i c s - s e r v e r   r e l e a s e s H o r i z o n t a l   P o d   A u t o s c a l i n g   T o   l e a r n   a b o u t   h o w   t h e   k u b e l e t   s e r v e s   n o d e   m e t r i c s ,   a n d   h o w   y o u   c a n   a c c e s s   t h o s e   v i a   t h e   K u b e r n e t e s   A P I ,   r e a d   N o d e   M e t r i c s   D a t a .


Question: What is 4.4.3 - Tools for Monitoring Resources?

Answer: T o   s c a l e   a n   a p p l i c a t i o n   a n d   p r o v i d e   a   r e l i a b l e   s e r v i c e ,   y o u   n e e d   t o   u n d e r s t a n d   h o w   t h e   a p p l i c a t i o n   b e h a v e s   w h e n   i t   i s   d e p l o y e d .   Y o u   c a n   e x a m i n e   a p p l i c a t i o n   p e r f o r m a n c e   i n   a   K u b e r n e t e s   c l u s t e r   b y   e x a m i n i n g   t h e   c o n t a i n e r s ,   p o d s ,   s e r v i c e s ,   a n d   t h e   c h a r a c t e r i s t i c s   o f   t h e   o v e r a l l   c l u s t e r .   K u b e r n e t e s   p r o v i d e s   d e t a i l e d   i n f o r m a t i o n   a b o u t   a n   a p p l i c a t i o n ' s   r e s o u r c e   u s a g e   a t   e a c h   o f   t h e s e   l e v e l s .   T h i s   i n f o r m a t i o n   a l l o w s   y o u   t o   e v a l u a t e   y o u r   a p p l i c a t i o n ' s   p e r f o r m a n c e   a n d   w h e r e   b o t t l e n e c k s   c a n   b e   r e m o v e d   t o   i m p r o v e   o v e r a l l   p e r f o r m a n c e .   I n   K u b e r n e t e s ,   a p p l i c a t i o n   m o n i t o r i n g   d o e s   n o t   d e p e n d   o n   a   s i n g l e   m o n i t o r i n g   s o l u t i o n .   O n   n e w   c l u s t e r s ,   y o u   c a n   u s e   r e s o u r c e   m e t r i c s   o r   f u l l   m e t r i c s   p i p e l i n e s   t o   c o l l e c t   m o n i t o r i n g   s t a t i s t i c s .


Question: What is Resource metrics pipeline?

Answer: T h e   r e s o u r c e   m e t r i c s   p i p e l i n e   p r o v i d e s   a   l i m i t e d   s e t   o f   m e t r i c s   r e l a t e d   t o   c l u s t e r   c o m p o n e n t s   s u c h   a s   t h e   H o r i z o n t a l   P o d   A u t o s c a l e r   c o n t r o l l e r ,   a s   w e l l   a s   t h e   k u b e c t l   t o p   u t i l i t y .   T h e s e   m e t r i c s   a r e   c o l l e c t e d   b y   t h e   l i g h t w e i g h t ,   s h o r t - t e r m ,   i n - m e m o r y   m e t r i c s - s e r v e r   a n d   a r e   e x p o s e d   v i a   t h e   m e t r i c s . k 8 s . i o   A P I .   m e t r i c s - s e r v e r   d i s c o v e r s   a l l   n o d e s   o n   t h e   c l u s t e r   a n d   q u e r i e s   e a c h   n o d e ' s   k u b e l e t   f o r   C P U   a n d   m e m o r y   u s a g e .   T h e   k u b e l e t   a c t s   a s   a   b r i d g e   b e t w e e n   t h e   K u b e r n e t e s   m a s t e r   a n d   t h e   n o d e s ,   m a n a g i n g   t h e   p o d s   a n d   c o n t a i n e r s   r u n n i n g   o n   a   m a c h i n e .   T h e   k u b e l e t   t r a n s l a t e s   e a c h   p o d   i n t o   i t s   c o n s t i t u e n t   c o n t a i n e r s   a n d   f e t c h e s   i n d i v i d u a l   c o n t a i n e r   u s a g e   s t a t i s t i c s   f r o m   t h e   c o n t a i n e r   r u n t i m e   t h r o u g h   t h e   c o n t a i n e r   r u n t i m e   i n t e r f a c e .   I f   y o u   u s e   a   c o n t a i n e r   r u n t i m e   t h a t   u s e s   L i n u x   c g r o u p s   a n d   n a m e s p a c e s   t o   i m p l e m e n t   c o n t a i n e r s ,   a n d   t h e   c o n t a i n e r   r u n t i m e   d o e s   n o t   p u b l i s h   u s a g e   s t a t i s t i c s ,   t h e n   t h e   k u b e l e t   c a n   l o o k   u p   t h o s e   s t a t i s t i c s   d i r e c t l y   ( u s i n g   c o d e   f r o m   c A d v i s o r ) .   N o   m a t t e r   h o w   t h o s e   s t a t i s t i c s   a r


Question: What is Full metrics pipeline?

Answer: A   f u l l   m e t r i c s   p i p e l i n e   g i v e s   y o u   a c c e s s   t o   r i c h e r   m e t r i c s .   K u b e r n e t e s   c a n   r e s p o n d   t o   t h e s e   m e t r i c s   b y   a u t o m a t i c a l l y   s c a l i n g   o r   a d a p t i n g   t h e   c l u s t e r   b a s e d   o n   i t s   c u r r e n t   s t a t e ,   u s i n g   m e c h a n i s m s   s u c h   a s   t h e   H o r i z o n t a l   P o d   A u t o s c a l e r .   T h e   m o n i t o r i n g   p i p e l i n e   f e t c h e s   m e t r i c s   f r o m   t h e   k u b e l e t   a n d   t h e n   e x p o s e s   t h e m   t o   K u b e r n e t e s   v i a   a n   a d a p t e r   b y   i m p l e m e n t i n g   e i t h e r   t h e   c u s t o m . m e t r i c s . k 8 s . i o   o r   e x t e r n a l . m e t r i c s . k 8 s . i o   A P I .   K u b e r n e t e s   i s   d e s i g n e d   t o   w o r k   w i t h   O p e n M e t r i c s ,   w h i c h   i s   o n e   o f   t h e   C N C F   O b s e r v a b i l i t y   a n d   A n a l y s i s   -   M o n i t o r i n g   P r o j e c t s ,   b u i l t   u p o n   a n d   c a r e f u l l y   e x t e n d i n g   P r o m e t h e u s   e x p o s i t i o n   f o r m a t   i n   a l m o s t   1 0 0 %   b a c k w a r d s - c o m p a t i b l e   w a y s .   I f   y o u   g l a n c e   o v e r   a t   t h e   C N C F   L a n d s c a p e ,   y o u   c a n   s e e   a   n u m b e r   o f   m o n i t o r i n g   p r o j e c t s   t h a t   c a n   w o r k   w i t h   K u b e r n e t e s   b y   s c r a p i n g   m e t r i c   d a t a   a n d   u s i n g   t h a t   t o   h e l p   y o u   o b s e r v e   y o u r   c l u s t e r .   I t   i s   u p   t o   y o u   t o   s e l e c t   t h e   t o o l   o r   t o o l s   t h a t   s u i t   y o u r   n e e d s .   T h e   C N C F   l a n d s c a p e   f o r   o b s e r v a b i l i t y   a n d   a n a l y t i c s   i n c l u d e s   a   m i x   o f   o p e n - s o u r c e   s o f t w a r e ,   p a


Question: What is What's next?

Answer: L e a r n   a b o u t   a d d i t i o n a l   d e b u g g i n g   t o o l s ,   i n c l u d i n g :   L o g g i n g G e t t i n g   i n t o   c o n t a i n e r s   v i a   e x e c C o n n e c t i n g   t o   c o n t a i n e r s   v i a   p r o x i e s C o n n e c t i n g   t o   c o n t a i n e r s   v i a   p o r t   f o r w a r d i n g I n s p e c t   K u b e r n e t e s   n o d e   w i t h   c r i c t l


Question: What is 4.4.4 - Monitor Node Health?

Answer: N o d e   P r o b l e m   D e t e c t o r   i s   a   d a e m o n   f o r   m o n i t o r i n g   a n d   r e p o r t i n g   a b o u t   a   n o d e ' s   h e a l t h .   Y o u   c a n   r u n   N o d e   P r o b l e m   D e t e c t o r   a s   a   D a e m o n S e t   o r   a s   a   s t a n d a l o n e   d a e m o n .   N o d e   P r o b l e m   D e t e c t o r   c o l l e c t s   i n f o r m a t i o n   a b o u t   n o d e   p r o b l e m s   f r o m   v a r i o u s   d a e m o n s   a n d   r e p o r t s   t h e s e   c o n d i t i o n s   t o   t h e   A P I   s e r v e r   a s   N o d e   C o n d i t i o n s   o r   a s   E v e n t s .   T o   l e a r n   h o w   t o   i n s t a l l   a n d   u s e   N o d e   P r o b l e m   D e t e c t o r ,   s e e   N o d e   P r o b l e m   D e t e c t o r   p r o j e c t   d o c u m e n t a t i o n .


Question: What is Before you begin?

Answer: Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r ,   a n d   t h e   k u b e c t l   c o m m a n d - l i n e   t o o l   m u s t   b e   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   y o u r   c l u s t e r .   I t   i s   r e c o m m e n d e d   t o   r u n   t h i s   t u t o r i a l   o n   a   c l u s t e r   w i t h   a t   l e a s t   t w o   n o d e s   t h a t   a r e   n o t   a c t i n g   a s   c o n t r o l   p l a n e   h o s t s .   I f   y o u   d o   n o t   a l r e a d y   h a v e   a   c l u s t e r ,   y o u   c a n   c r e a t e   o n e   b y   u s i n g   m i n i k u b e   o r   y o u   c a n   u s e   o n e   o f   t h e s e   K u b e r n e t e s   p l a y g r o u n d s :   i x i m i u z   L a b s K i l l e r c o d a K o d e K l o u d P l a y   w i t h   K u b e r n e t e s


Question: What is Limitations?

Answer: N o d e   P r o b l e m   D e t e c t o r   u s e s   t h e   k e r n e l   l o g   f o r m a t   f o r   r e p o r t i n g   k e r n e l   i s s u e s .   T o   l e a r n   h o w   t o   e x t e n d   t h e   k e r n e l   l o g   f o r m a t ,   s e e   A d d   s u p p o r t   f o r   a n o t h e r   l o g   f o r m a t .


Question: What is Enabling Node Problem Detector?

Answer: S o m e   c l o u d   p r o v i d e r s   e n a b l e   N o d e   P r o b l e m   D e t e c t o r   a s   a n   A d d o n .   Y o u   c a n   a l s o   e n a b l e   N o d e   P r o b l e m   D e t e c t o r   w i t h   k u b e c t l   o r   b y   c r e a t i n g   a n   A d d o n   D a e m o n S e t .


Question: What is Using kubectl to enable Node Problem Detector?

Answer: k u b e c t l   p r o v i d e s   t h e   m o s t   f l e x i b l e   m a n a g e m e n t   o f   N o d e   P r o b l e m   D e t e c t o r .   Y o u   c a n   o v e r w r i t e   t h e   d e f a u l t   c o n f i g u r a t i o n   t o   f i t   i t   i n t o   y o u r   e n v i r o n m e n t   o r   t o   d e t e c t   c u s t o m i z e d   n o d e   p r o b l e m s .   F o r   e x a m p l e :   C r e a t e   a   N o d e   P r o b l e m   D e t e c t o r   c o n f i g u r a t i o n   s i m i l a r   t o   n o d e - p r o b l e m - d e t e c t o r . y a m l : d e b u g / n o d e - p r o b l e m - d e t e c t o r . y a m l   a p i V e r s i o n :   a p p s / v 1   k i n d :   D a e m o n S e t   m e t a d a t a :   n a m e :   n o d e - p r o b l e m - d e t e c t o r - v 0 . 1   n a m e s p a c e :   k u b e - s y s t e m   l a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   s p e c :   s e l e c t o r :   m a t c h L a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   t e m p l a t e :   m e t a d a t a :   l a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   s p e c :   h o s t N e t w o r k :   t r u e   c o n t a i n e r s :   -   n a m e :   n o d e - p r o b l e m - d e t e c t o r   i m a g e :   r e g i s t r y . k 8 s . i o / n o d e - p r o b l e m - d e t e c t o r : v 0 . 1   s e c u r i t y C o n t e x t :   p r i v i l e g e d :   t r u e   r e s o u r c e s :   l i m i t s :   c p u :   " 2 0 0 m "   m e m o r y :   " 1 0 0 M i "   r e q u e s t s :   c p u :   " 2 0 m "   m e m o r y :   " 2 0 M i "   v o l u m e M o u n t s :   -   n a m e :   l o g   m o u n t P a t h


Question: What is Note:?

Answer: S t a r t   n o d e   p r o b l e m   d e t e c t o r   w i t h   k u b e c t l :   k u b e c t l   a p p l y   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / d e b u g / n o d e - p r o b l e m - d e t e c t o r . y a m l


Question: What is Using an Addon pod to enable Node Problem Detector?

Answer: I f   y o u   a r e   u s i n g   a   c u s t o m   c l u s t e r   b o o t s t r a p   s o l u t i o n   a n d   d o n ' t   n e e d   t o   o v e r w r i t e   t h e   d e f a u l t   c o n f i g u r a t i o n ,   y o u   c a n   l e v e r a g e   t h e   A d d o n   p o d   t o   f u r t h e r   a u t o m a t e   t h e   d e p l o y m e n t .   C r e a t e   n o d e - p r o b l e m - d e t e c t o r . y a m l ,   a n d   s a v e   t h e   c o n f i g u r a t i o n   i n   t h e   A d d o n   p o d ' s   d i r e c t o r y   / e t c / k u b e r n e t e s / a d d o n s / n o d e - p r o b l e m - d e t e c t o r   o n   a   c o n t r o l   p l a n e   n o d e .


Question: What is Overwrite the configuration?

Answer: T h e   d e f a u l t   c o n f i g u r a t i o n   i s   e m b e d d e d   w h e n   b u i l d i n g   t h e   D o c k e r   i m a g e   o f   N o d e   P r o b l e m   D e t e c t o r .   H o w e v e r ,   y o u   c a n   u s e   a   C o n f i g M a p   t o   o v e r w r i t e   t h e   c o n f i g u r a t i o n :   C h a n g e   t h e   c o n f i g u r a t i o n   f i l e s   i n   c o n f i g / C r e a t e   t h e   C o n f i g M a p   n o d e - p r o b l e m - d e t e c t o r - c o n f i g : k u b e c t l   c r e a t e   c o n f i g m a p   n o d e - p r o b l e m - d e t e c t o r - c o n f i g   - - f r o m - f i l e = c o n f i g /   C h a n g e   t h e   n o d e - p r o b l e m - d e t e c t o r . y a m l   t o   u s e   t h e   C o n f i g M a p : d e b u g / n o d e - p r o b l e m - d e t e c t o r - c o n f i g m a p . y a m l   a p i V e r s i o n :   a p p s / v 1   k i n d :   D a e m o n S e t   m e t a d a t a :   n a m e :   n o d e - p r o b l e m - d e t e c t o r - v 0 . 1   n a m e s p a c e :   k u b e - s y s t e m   l a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   s p e c :   s e l e c t o r :   m a t c h L a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   t e m p l a t e :   m e t a d a t a :   l a b e l s :   k 8 s - a p p :   n o d e - p r o b l e m - d e t e c t o r   v e r s i o n :   v 0 . 1   k u b e r n e t e s . i o / c l u s t e r - s e r v i c e :   " t r u e "   s p e c :   h o s t N e t w o r k :   t r u e   c o n t a i n e r s :   -   n a m e :   n o d e - p r o b l e m - d e t e c t o r   i m a g e :   r e g i s t r y . k 8 s . i o / n o d e - p r o b l e m - d e t e c t o r : v 0 . 1   s e c u r i t y C o n t e x t :   p r i v i l e g e d :   t r u e   r e s o u r c


Question: What is Note:?

Answer: O v e r w r i t i n g   a   c o n f i g u r a t i o n   i s   n o t   s u p p o r t e d   i f   a   N o d e   P r o b l e m   D e t e c t o r   r u n s   a s   a   c l u s t e r   A d d o n .   T h e   A d d o n   m a n a g e r   d o e s   n o t   s u p p o r t   C o n f i g M a p .


Question: What is Problem Daemons?

Answer: A   p r o b l e m   d a e m o n   i s   a   s u b - d a e m o n   o f   t h e   N o d e   P r o b l e m   D e t e c t o r .   I t   m o n i t o r s   s p e c i f i c   k i n d s   o f   n o d e   p r o b l e m s   a n d   r e p o r t s   t h e m   t o   t h e   N o d e   P r o b l e m   D e t e c t o r .   T h e r e   a r e   s e v e r a l   t y p e s   o f   s u p p o r t e d   p r o b l e m   d a e m o n s .   A   S y s t e m L o g M o n i t o r   t y p e   o f   d a e m o n   m o n i t o r s   t h e   s y s t e m   l o g s   a n d   r e p o r t s   p r o b l e m s   a n d   m e t r i c s   a c c o r d i n g   t o   p r e d e f i n e d   r u l e s .   Y o u   c a n   c u s t o m i z e   t h e   c o n f i g u r a t i o n s   f o r   d i f f e r e n t   l o g   s o u r c e s   s u c h   a s   f i l e l o g ,   k m s g ,   k e r n e l ,   a b r t ,   a n d   s y s t e m d . A   S y s t e m S t a t s M o n i t o r   t y p e   o f   d a e m o n   c o l l e c t s   v a r i o u s   h e a l t h - r e l a t e d   s y s t e m   s t a t s   a s   m e t r i c s .   Y o u   c a n   c u s t o m i z e   i t s   b e h a v i o r   b y   u p d a t i n g   i t s   c o n f i g u r a t i o n   f i l e . A   C u s t o m P l u g i n M o n i t o r   t y p e   o f   d a e m o n   i n v o k e s   a n d   c h e c k s   v a r i o u s   n o d e   p r o b l e m s   b y   r u n n i n g   u s e r - d e f i n e d   s c r i p t s .   Y o u   c a n   u s e   d i f f e r e n t   c u s t o m   p l u g i n   m o n i t o r s   t o   m o n i t o r   d i f f e r e n t   p r o b l e m s   a n d   c u s t o m i z e   t h e   d a e m o n   b e h a v i o r   b y   u p d a t i n g   t h e   c o n f i g u r a t i o n   f i l e . A   H e a l t h C h e c k e r   t y p e   o f   d a e m o n   c h e c k s   t h e   h e a l t h   o f   t h e   k u b e l e t   a n d   c o n t a i n e r   r u n t i m e   o n   a   n o d e .   A   S y s t e m L o g M o n i t o r   t y p e   o f   d a e m o n   m o n i t o r s   t h e


Question: What is Adding support for other log format?

Answer: T h e   s y s t e m   l o g   m o n i t o r   c u r r e n t l y   s u p p o r t s   f i l e - b a s e d   l o g s ,   j o u r n a l d ,   a n d   k m s g .   A d d i t i o n a l   s o u r c e s   c a n   b e   a d d e d   b y   i m p l e m e n t i n g   a   n e w   l o g   w a t c h e r .


Question: What is Adding custom plugin monitors?

Answer: Y o u   c a n   e x t e n d   t h e   N o d e   P r o b l e m   D e t e c t o r   t o   e x e c u t e   a n y   m o n i t o r   s c r i p t s   w r i t t e n   i n   a n y   l a n g u a g e   b y   d e v e l o p i n g   a   c u s t o m   p l u g i n .   T h e   m o n i t o r   s c r i p t s   m u s t   c o n f o r m   t o   t h e   p l u g i n   p r o t o c o l   i n   e x i t   c o d e   a n d   s t a n d a r d   o u t p u t .   F o r   m o r e   i n f o r m a t i o n ,   p l e a s e   r e f e r   t o   t h e   p l u g i n   i n t e r f a c e   p r o p o s a l .


Question: What is Exporter?

Answer: A n   e x p o r t e r   r e p o r t s   t h e   n o d e   p r o b l e m s   a n d / o r   m e t r i c s   t o   c e r t a i n   b a c k e n d s .   T h e   f o l l o w i n g   e x p o r t e r s   a r e   s u p p o r t e d :   K u b e r n e t e s   e x p o r t e r :   t h i s   e x p o r t e r   r e p o r t s   n o d e   p r o b l e m s   t o   t h e   K u b e r n e t e s   A P I   s e r v e r .   T e m p o r a r y   p r o b l e m s   a r e   r e p o r t e d   a s   E v e n t s   a n d   p e r m a n e n t   p r o b l e m s   a r e   r e p o r t e d   a s   N o d e   C o n d i t i o n s . P r o m e t h e u s   e x p o r t e r :   t h i s   e x p o r t e r   r e p o r t s   n o d e   p r o b l e m s   a n d   m e t r i c s   l o c a l l y   a s   P r o m e t h e u s   ( o r   O p e n M e t r i c s )   m e t r i c s .   Y o u   c a n   s p e c i f y   t h e   I P   a d d r e s s   a n d   p o r t   f o r   t h e   e x p o r t e r   u s i n g   c o m m a n d   l i n e   a r g u m e n t s . S t a c k d r i v e r   e x p o r t e r :   t h i s   e x p o r t e r   r e p o r t s   n o d e   p r o b l e m s   a n d   m e t r i c s   t o   t h e   S t a c k d r i v e r   M o n i t o r i n g   A P I .   T h e   e x p o r t i n g   b e h a v i o r   c a n   b e   c u s t o m i z e d   u s i n g   a   c o n f i g u r a t i o n   f i l e .   K u b e r n e t e s   e x p o r t e r :   t h i s   e x p o r t e r   r e p o r t s   n o d e   p r o b l e m s   t o   t h e   K u b e r n e t e s   A P I   s e r v e r .   T e m p o r a r y   p r o b l e m s   a r e   r e p o r t e d   a s   E v e n t s   a n d   p e r m a n e n t   p r o b l e m s   a r e   r e p o r t e d   a s   N o d e   C o n d i t i o n s .   P r o m e t h e u s   e x p o r t e r :   t h i s   e x p o r t e r   r e p o r t s   n o d e   p r o b l e m s   a n d   m e t r i c s   l o c a l l y   a s   P r o m e t h e u s   ( o r   O p e n M e t r i c s )   m e t r i c s .   Y o u   c a n   s p e c i f y   t h e   I P   a


Question: What is Recommendations and restrictions?

Answer: I t   i s   r e c o m m e n d e d   t o   r u n   t h e   N o d e   P r o b l e m   D e t e c t o r   i n   y o u r   c l u s t e r   t o   m o n i t o r   n o d e   h e a l t h .   W h e n   r u n n i n g   t h e   N o d e   P r o b l e m   D e t e c t o r ,   y o u   c a n   e x p e c t   e x t r a   r e s o u r c e   o v e r h e a d   o n   e a c h   n o d e .   U s u a l l y   t h i s   i s   f i n e ,   b e c a u s e :   T h e   k e r n e l   l o g   g r o w s   r e l a t i v e l y   s l o w l y . A   r e s o u r c e   l i m i t   i s   s e t   f o r   t h e   N o d e   P r o b l e m   D e t e c t o r . E v e n   u n d e r   h i g h   l o a d ,   t h e   r e s o u r c e   u s a g e   i s   a c c e p t a b l e .   F o r   m o r e   i n f o r m a t i o n ,   s e e   t h e   N o d e   P r o b l e m   D e t e c t o r   b e n c h m a r k   r e s u l t .


Question: What is 4.4.5 - Debugging Kubernetes nodes with crictl?

Answer: c r i c t l   i s   a   c o m m a n d - l i n e   i n t e r f a c e   f o r   C R I - c o m p a t i b l e   c o n t a i n e r   r u n t i m e s .   Y o u   c a n   u s e   i t   t o   i n s p e c t   a n d   d e b u g   c o n t a i n e r   r u n t i m e s   a n d   a p p l i c a t i o n s   o n   a   K u b e r n e t e s   n o d e .   c r i c t l   a n d   i t s   s o u r c e   a r e   h o s t e d   i n   t h e   c r i - t o o l s   r e p o s i t o r y .


Question: What is Before you begin?

Answer: c r i c t l   r e q u i r e s   a   L i n u x   o p e r a t i n g   s y s t e m   w i t h   a   C R I   r u n t i m e .


Question: What is Installing crictl?

Answer: Y o u   c a n   d o w n l o a d   a   c o m p r e s s e d   a r c h i v e   c r i c t l   f r o m   t h e   c r i - t o o l s   r e l e a s e   p a g e ,   f o r   s e v e r a l   d i f f e r e n t   a r c h i t e c t u r e s .   D o w n l o a d   t h e   v e r s i o n   t h a t   c o r r e s p o n d s   t o   y o u r   v e r s i o n   o f   K u b e r n e t e s .   E x t r a c t   i t   a n d   m o v e   i t   t o   a   l o c a t i o n   o n   y o u r   s y s t e m   p a t h ,   s u c h   a s   / u s r / l o c a l / b i n / .


Question: What is General usage?

Answer: T h e   c r i c t l   c o m m a n d   h a s   s e v e r a l   s u b c o m m a n d s   a n d   r u n t i m e   f l a g s .   U s e   c r i c t l   h e l p   o r   c r i c t l   < s u b c o m m a n d >   h e l p   f o r   m o r e   d e t a i l s .   Y o u   c a n   s e t   t h e   e n d p o i n t   f o r   c r i c t l   b y   d o i n g   o n e   o f   t h e   f o l l o w i n g :   S e t   t h e   - - r u n t i m e - e n d p o i n t   a n d   - - i m a g e - e n d p o i n t   f l a g s . S e t   t h e   C O N T A I N E R _ R U N T I M E _ E N D P O I N T   a n d   I M A G E _ S E R V I C E _ E N D P O I N T   e n v i r o n m e n t   v a r i a b l e s . S e t   t h e   e n d p o i n t   i n   t h e   c o n f i g u r a t i o n   f i l e   / e t c / c r i c t l . y a m l .   T o   s p e c i f y   a   d i f f e r e n t   f i l e ,   u s e   t h e   - - c o n f i g = P A T H _ T O _ F I L E   f l a g   w h e n   y o u   r u n   c r i c t l .


Question: What is Note:?

Answer: Y o u   c a n   a l s o   s p e c i f y   t i m e o u t   v a l u e s   w h e n   c o n n e c t i n g   t o   t h e   s e r v e r   a n d   e n a b l e   o r   d i s a b l e   d e b u g g i n g ,   b y   s p e c i f y i n g   t i m e o u t   o r   d e b u g   v a l u e s   i n   t h e   c o n f i g u r a t i o n   f i l e   o r   u s i n g   t h e   - - t i m e o u t   a n d   - - d e b u g   c o m m a n d - l i n e   f l a g s .   T o   v i e w   o r   e d i t   t h e   c u r r e n t   c o n f i g u r a t i o n ,   v i e w   o r   e d i t   t h e   c o n t e n t s   o f   / e t c / c r i c t l . y a m l .   F o r   e x a m p l e ,   t h e   c o n f i g u r a t i o n   w h e n   u s i n g   t h e   c o n t a i n e r d   c o n t a i n e r   r u n t i m e   w o u l d   b e   s i m i l a r   t o   t h i s :   r u n t i m e - e n d p o i n t :   u n i x : / / / v a r / r u n / c o n t a i n e r d / c o n t a i n e r d . s o c k   i m a g e - e n d p o i n t :   u n i x : / / / v a r / r u n / c o n t a i n e r d / c o n t a i n e r d . s o c k   t i m e o u t :   1 0   d e b u g :   t r u e   T o   l e a r n   m o r e   a b o u t   c r i c t l ,   r e f e r   t o   t h e   c r i c t l   d o c u m e n t a t i o n .


Question: What is Example crictl commands?

Answer: T h e   f o l l o w i n g   e x a m p l e s   s h o w   s o m e   c r i c t l   c o m m a n d s   a n d   e x a m p l e   o u t p u t .


Question: What is List pods?

Answer: L i s t   a l l   p o d s :   c r i c t l   p o d s   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   P O D   I D   C R E A T E D   S T A T E   N A M E   N A M E S P A C E   A T T E M P T   9 2 6 f 1 b 5 a 1 d 3 3 a   A b o u t   a   m i n u t e   a g o   R e a d y   s h - 8 4 d 7 d c f 5 5 9 - 4 r 2 g q   d e f a u l t   0   4 d c c b 2 1 6 c 4 a d b   A b o u t   a   m i n u t e   a g o   R e a d y   n g i n x - 6 5 8 9 9 c 7 6 9 f - w v 2 g p   d e f a u l t   0   a 8 6 3 1 6 e 9 6 f a 8 9   1 7   h o u r s   a g o   R e a d y   k u b e - p r o x y - g b l k 4   k u b e - s y s t e m   0   9 1 9 6 3 0 b 8 f 8 1 f 1   1 7   h o u r s   a g o   R e a d y   n v i d i a - d e v i c e - p l u g i n - z g b b v   k u b e - s y s t e m   0   L i s t   p o d s   b y   n a m e :   c r i c t l   p o d s   - - n a m e   n g i n x - 6 5 8 9 9 c 7 6 9 f - w v 2 g p   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   P O D   I D   C R E A T E D   S T A T E   N A M E   N A M E S P A C E   A T T E M P T   4 d c c b 2 1 6 c 4 a d b   2   m i n u t e s   a g o   R e a d y   n g i n x - 6 5 8 9 9 c 7 6 9 f - w v 2 g p   d e f a u l t   0   L i s t   p o d s   b y   l a b e l :   c r i c t l   p o d s   - - l a b e l   r u n = n g i n x   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   P O D   I D   C R E A T E D   S T A T E   N A M E   N A M E S P A C E   A T T E M P T   4 d c c b 2 1 6 c 4 a d b   2   m i n u t e s   a g o   R e a d y   n g i n x - 6 5 8 9 9 c 7 6 9 f - w v 2 g p   d e f a u l t   0


Question: What is List images?

Answer: L i s t   a l l   i m a g e s :   c r i c t l   i m a g e s   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   I M A G E   T A G   I M A G E   I D   S I Z E   b u s y b o x   l a t e s t   8 c 8 1 1 b 4 a e c 3 5 f   1 . 1 5 M B   k 8 s - g c r i o . a z u r e e d g e . n e t / h y p e r k u b e - a m d 6 4   v 1 . 1 0 . 3   e 1 7 9 b b f e 5 d 2 3 8   6 6 5 M B   k 8 s - g c r i o . a z u r e e d g e . n e t / p a u s e - a m d 6 4   3 . 1   d a 8 6 e 6 b a 6 c a 1 9   7 4 2 k B   n g i n x   l a t e s t   c d 5 2 3 9 a 0 9 0 6 a 6   1 0 9 M B   L i s t   i m a g e s   b y   r e p o s i t o r y :   c r i c t l   i m a g e s   n g i n x   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   I M A G E   T A G   I M A G E   I D   S I Z E   n g i n x   l a t e s t   c d 5 2 3 9 a 0 9 0 6 a 6   1 0 9 M B   O n l y   l i s t   i m a g e   I D s :   c r i c t l   i m a g e s   - q   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   s h a 2 5 6 : 8 c 8 1 1 b 4 a e c 3 5 f 2 5 9 5 7 2 d 0 f 7 9 2 0 7 b c 0 6 7 8 d f 4 c 7 3 6 e e e c 5 0 b c 9 f e c 3 7 e d 9 3 6 a 4 7 2 a   s h a 2 5 6 : e 1 7 9 b b f e 5 d 2 3 8 d e 6 0 6 9 f 3 b 0 3 f c c b e c c 3 f b 4 f 2 0 1 9 a f 7 4 1 b f f f 1 2 3 3 c 4 d 7 b 2 9 7 0 c 5   s h a 2 5 6 : d a 8 6 e 6 b a 6 c a 1 9 7 b f 6 b c 5 e 9 d 9 0 0 f e b d 9 0 6 b 1 3 3 e a a 4 7 5 0 e 6 b e d 6 4 7 b 0 f b e 5 0 e d 4 3 e   s h a 2 5 6 : c d 5 2 3 9 a 0 9 0 6 a 6 c c f 0 5 6 2 3 5 4 8 5 2 f a e 0 4 b c 5 b 5 2 d 7 2 a 2 a f f 9 a 8 7 1 d d b 6 b d 5 7 5 5 3 5 6 9


Question: What is List containers?

Answer: L i s t   a l l   c o n t a i n e r s :   c r i c t l   p s   - a   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   C O N T A I N E R   I D   I M A G E   C R E A T E D   S T A T E   N A M E   A T T E M P T   1 f 7 3 f 2 d 8 1 b f 9 8   b u s y b o x @ s h a 2 5 6 : 1 4 1 c 2 5 3 b c 4 c 3 f d 0 a 2 0 1 d 3 2 d c 1 f 4 9 3 b c f 3 f f f 0 0 3 b 6 d f 4 1 6 d e a 4 f 4 1 0 4 6 e 0 f 3 7 d 4 7   7   m i n u t e s   a g o   R u n n i n g   s h   1   9 c 5 9 5 1 d f 2 2 c 7 8   b u s y b o x @ s h a 2 5 6 : 1 4 1 c 2 5 3 b c 4 c 3 f d 0 a 2 0 1 d 3 2 d c 1 f 4 9 3 b c f 3 f f f 0 0 3 b 6 d f 4 1 6 d e a 4 f 4 1 0 4 6 e 0 f 3 7 d 4 7   8   m i n u t e s   a g o   E x i t e d   s h   0   8 7 d 3 9 9 2 f 8 4 f 7 4   n g i n x @ s h a 2 5 6 : d 0 a 8 8 2 8 c c c b 7 3 3 9 7 a c b 0 0 7 3 b f 3 4 f 4 d 7 d 8 a a 3 1 5 2 6 3 f 1 e 7 8 0 6 b f 8 c 5 5 d 8 a c 1 3 9 d 5 f   8   m i n u t e s   a g o   R u n n i n g   n g i n x   0   1 9 4 1 f b 4 d a 1 5 4 f   k 8 s - g c r i o . a z u r e e d g e . n e t / h y p e r k u b e - a m d 6 4 @ s h a 2 5 6 : 0 0 d 8 1 4 b 1 f 7 7 6 3 f 4 a b 5 b e 8 0 c 5 8 e 9 8 1 4 0 d f c 6 9 d f 1 0 7 f 2 5 3 d 7 f d d 7 1 4 b 3 0 a 7 1 4 2 6 0 a   1 8   h o u r s   a g o   R u n n i n g   k u b e - p r o x y   0   L i s t   r u n n i n g   c o n t a i n e r s :   c r i c t l   p s   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   C O N T A I N E R   I D   I M A G E   C R E A T E D   S T A T E   N A M E   A T T E M P T   1 f 7 3 f 2 d 8 1 b f 9 8   b u s y b o x @ s h a 2 5 6 : 1 4 1 c 2 5 3 b c 4 c 3 f d 0 a 2 0 1 d 3 2 d c 1 f 4 9 3 b c f 3 f f f 0 0 3 b 6 d f 4 1 6 d e a 4 f 4 1 0 4 6 e 0 f 3 7 d 4 7   6   m i n u t e s   a g o   R u n n i n g   s h   1   8 7 d 3 9 9 2 f 8 4 f 7 4   n g i n x @ s h a 2 5 6 : d 0 a 8 8 2 8 c c c b 7 3 3 9 7 a c b 0 0 7 3 b f 3 4 f 4 d 7 d 8 a a 3 1 5 2 6 3 f 1 e 7 8 0 6 b f 8 c 5 5 d 8 a c 1 3 9 d 5 f   7   m i n u t e s   a g o   R u n n i n g   n g i n x   0   1 9 4 1 f b 4 d a 1 5


Question: What is Execute a command in a running container?

Answer: c r i c t l   e x e c   - i   - t   1 f 7 3 f 2 d 8 1 b f 9 8   l s   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   b i n   d e v   e t c   h o m e   p r o c   r o o t   s y s   t m p   u s r   v a r


Question: What is Get a container's logs?

Answer: G e t   a l l   c o n t a i n e r   l o g s :   c r i c t l   l o g s   8 7 d 3 9 9 2 f 8 4 f 7 4   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   1 0 . 2 4 0 . 0 . 9 6   -   -   [ 0 6 / J u n / 2 0 1 8 : 0 2 : 4 5 : 4 9   + 0 0 0 0 ]   " G E T   /   H T T P / 1 . 1 "   2 0 0   6 1 2   " - "   " c u r l / 7 . 4 7 . 0 "   " - "   1 0 . 2 4 0 . 0 . 9 6   -   -   [ 0 6 / J u n / 2 0 1 8 : 0 2 : 4 5 : 5 0   + 0 0 0 0 ]   " G E T   /   H T T P / 1 . 1 "   2 0 0   6 1 2   " - "   " c u r l / 7 . 4 7 . 0 "   " - "   1 0 . 2 4 0 . 0 . 9 6   -   -   [ 0 6 / J u n / 2 0 1 8 : 0 2 : 4 5 : 5 1   + 0 0 0 0 ]   " G E T   /   H T T P / 1 . 1 "   2 0 0   6 1 2   " - "   " c u r l / 7 . 4 7 . 0 "   " - "   G e t   o n l y   t h e   l a t e s t   N   l i n e s   o f   l o g s :   c r i c t l   l o g s   - - t a i l = 1   8 7 d 3 9 9 2 f 8 4 f 7 4   T h e   o u t p u t   i s   s i m i l a r   t o   t h i s :   1 0 . 2 4 0 . 0 . 9 6   -   -   [ 0 6 / J u n / 2 0 1 8 : 0 2 : 4 5 : 5 1   + 0 0 0 0 ]   " G E T   /   H T T P / 1 . 1 "   2 0 0   6 1 2   " - "   " c u r l / 7 . 4 7 . 0 "   " - "


Question: What is What's next?

Answer: L e a r n   m o r e   a b o u t   c r i c t l .


Question: What is 4.4.6 - Auditing?

Answer: K u b e r n e t e s   a u d i t i n g   p r o v i d e s   a   s e c u r i t y - r e l e v a n t ,   c h r o n o l o g i c a l   s e t   o f   r e c o r d s   d o c u m e n t i n g   t h e   s e q u e n c e   o f   a c t i o n s   i n   a   c l u s t e r .   T h e   c l u s t e r   a u d i t s   t h e   a c t i v i t i e s   g e n e r a t e d   b y   u s e r s ,   b y   a p p l i c a t i o n s   t h a t   u s e   t h e   K u b e r n e t e s   A P I ,   a n d   b y   t h e   c o n t r o l   p l a n e   i t s e l f .   A u d i t i n g   a l l o w s   c l u s t e r   a d m i n i s t r a t o r s   t o   a n s w e r   t h e   f o l l o w i n g   q u e s t i o n s :   w h a t   h a p p e n e d ? w h e n   d i d   i t   h a p p e n ? w h o   i n i t i a t e d   i t ? o n   w h a t   d i d   i t   h a p p e n ? w h e r e   w a s   i t   o b s e r v e d ? f r o m   w h e r e   w a s   i t   i n i t i a t e d ? t o   w h e r e   w a s   i t   g o i n g ?   A u d i t   r e c o r d s   b e g i n   t h e i r   l i f e c y c l e   i n s i d e   t h e   k u b e - a p i s e r v e r   c o m p o n e n t .   E a c h   r e q u e s t   o n   e a c h   s t a g e   o f   i t s   e x e c u t i o n   g e n e r a t e s   a n   a u d i t   e v e n t ,   w h i c h   i s   t h e n   p r e - p r o c e s s e d   a c c o r d i n g   t o   a   c e r t a i n   p o l i c y   a n d   w r i t t e n   t o   a   b a c k e n d .   T h e   p o l i c y   d e t e r m i n e s   w h a t ' s   r e c o r d e d   a n d   t h e   b a c k e n d s   p e r s i s t   t h e   r e c o r d s .   T h e   c u r r e n t   b a c k e n d   i m p l e m e n t a t i o n s   i n c l u d e   l o g s   f i l e s   a n d   w e b h o o k s .   E a c h   r e q u e s t   c a n   b e   r e c o r d e d   w i t h   a n   a s s o c i a t e d   s t a g e .   T h e   d e f i n e d   s t a g e s   a r e :   R e q u e s t R e c e i v e d   -   T h e   s t a g e   f o r   e v e n t s   g e n e r a t e d   a s   s o o n   a s   t h e   a u d i t


Question: What is Note:?

Answer: T h e   a u d i t   l o g g i n g   f e a t u r e   i n c r e a s e s   t h e   m e m o r y   c o n s u m p t i o n   o f   t h e   A P I   s e r v e r   b e c a u s e   s o m e   c o n t e x t   r e q u i r e d   f o r   a u d i t i n g   i s   s t o r e d   f o r   e a c h   r e q u e s t .   M e m o r y   c o n s u m p t i o n   d e p e n d s   o n   t h e   a u d i t   l o g g i n g   c o n f i g u r a t i o n .


Question: What is Audit policy?

Answer: A u d i t   p o l i c y   d e f i n e s   r u l e s   a b o u t   w h a t   e v e n t s   s h o u l d   b e   r e c o r d e d   a n d   w h a t   d a t a   t h e y   s h o u l d   i n c l u d e .   T h e   a u d i t   p o l i c y   o b j e c t   s t r u c t u r e   i s   d e f i n e d   i n   t h e   a u d i t . k 8 s . i o   A P I   g r o u p .   W h e n   a n   e v e n t   i s   p r o c e s s e d ,   i t ' s   c o m p a r e d   a g a i n s t   t h e   l i s t   o f   r u l e s   i n   o r d e r .   T h e   f i r s t   m a t c h i n g   r u l e   s e t s   t h e   a u d i t   l e v e l   o f   t h e   e v e n t .   T h e   d e f i n e d   a u d i t   l e v e l s   a r e :   N o n e   -   d o n ' t   l o g   e v e n t s   t h a t   m a t c h   t h i s   r u l e . M e t a d a t a   -   l o g   e v e n t s   w i t h   m e t a d a t a   ( r e q u e s t i n g   u s e r ,   t i m e s t a m p ,   r e s o u r c e ,   v e r b ,   e t c . )   b u t   n o t   r e q u e s t   o r   r e s p o n s e   b o d y . R e q u e s t   -   l o g   e v e n t s   w i t h   r e q u e s t   m e t a d a t a   a n d   b o d y   b u t   n o t   r e s p o n s e   b o d y .   T h i s   d o e s   n o t   a p p l y   f o r   n o n - r e s o u r c e   r e q u e s t s . R e q u e s t R e s p o n s e   -   l o g   e v e n t s   w i t h   r e q u e s t   m e t a d a t a ,   r e q u e s t   b o d y   a n d   r e s p o n s e   b o d y .   T h i s   d o e s   n o t   a p p l y   f o r   n o n - r e s o u r c e   r e q u e s t s .   Y o u   c a n   p a s s   a   f i l e   w i t h   t h e   p o l i c y   t o   k u b e - a p i s e r v e r   u s i n g   t h e   - - a u d i t - p o l i c y - f i l e   f l a g .   I f   t h e   f l a g   i s   o m i t t e d ,   n o   e v e n t s   a r e   l o g g e d .   N o t e   t h a t   t h e   r u l e s   f i e l d   m u s t   b e   p r o v i d e d   i n   t h e   a u d i t   p o l i c y   f i l e .   A   p o l i c y   w i t h   n o   ( 0 )   r u l e s   i s   t r e a t e


Question: What is Audit backends?

Answer: A u d i t   b a c k e n d s   p e r s i s t   a u d i t   e v e n t s   t o   a n   e x t e r n a l   s t o r a g e .   O u t   o f   t h e   b o x ,   t h e   k u b e - a p i s e r v e r   p r o v i d e s   t w o   b a c k e n d s :   L o g   b a c k e n d ,   w h i c h   w r i t e s   e v e n t s   i n t o   t h e   f i l e s y s t e m W e b h o o k   b a c k e n d ,   w h i c h   s e n d s   e v e n t s   t o   a n   e x t e r n a l   H T T P   A P I   I n   a l l   c a s e s ,   a u d i t   e v e n t s   f o l l o w   a   s t r u c t u r e   d e f i n e d   b y   t h e   K u b e r n e t e s   A P I   i n   t h e   a u d i t . k 8 s . i o   A P I   g r o u p .


Question: What is Note:?

Answer: I n   c a s e   o f   p a t c h e s ,   r e q u e s t   b o d y   i s   a   J S O N   a r r a y   w i t h   p a t c h   o p e r a t i o n s ,   n o t   a   J S O N   o b j e c t   w i t h   a n   a p p r o p r i a t e   K u b e r n e t e s   A P I   o b j e c t .   F o r   e x a m p l e ,   t h e   f o l l o w i n g   r e q u e s t   b o d y   i s   a   v a l i d   p a t c h   r e q u e s t   t o   / a p i s / b a t c h / v 1 / n a m e s p a c e s / s o m e - n a m e s p a c e / j o b s / s o m e - j o b - n a m e :   [   {   " o p " :   " r e p l a c e " ,   " p a t h " :   " / s p e c / p a r a l l e l i s m " ,   " v a l u e " :   0   } ,   {   " o p " :   " r e m o v e " ,   " p a t h " :   " / s p e c / t e m p l a t e / s p e c / c o n t a i n e r s / 0 / t e r m i n a t i o n M e s s a g e P o l i c y "   }   ]


Question: What is Log backend?

Answer: T h e   l o g   b a c k e n d   w r i t e s   a u d i t   e v e n t s   t o   a   f i l e   i n   J S O N l i n e s   f o r m a t .   Y o u   c a n   c o n f i g u r e   t h e   l o g   a u d i t   b a c k e n d   u s i n g   t h e   f o l l o w i n g   k u b e - a p i s e r v e r   f l a g s :   - - a u d i t - l o g - p a t h   s p e c i f i e s   t h e   l o g   f i l e   p a t h   t h a t   l o g   b a c k e n d   u s e s   t o   w r i t e   a u d i t   e v e n t s .   N o t   s p e c i f y i n g   t h i s   f l a g   d i s a b l e s   l o g   b a c k e n d .   -   m e a n s   s t a n d a r d   o u t - - a u d i t - l o g - m a x a g e   d e f i n e d   t h e   m a x i m u m   n u m b e r   o f   d a y s   t o   r e t a i n   o l d   a u d i t   l o g   f i l e s - - a u d i t - l o g - m a x b a c k u p   d e f i n e s   t h e   m a x i m u m   n u m b e r   o f   a u d i t   l o g   f i l e s   t o   r e t a i n - - a u d i t - l o g - m a x s i z e   d e f i n e s   t h e   m a x i m u m   s i z e   i n   m e g a b y t e s   o f   t h e   a u d i t   l o g   f i l e   b e f o r e   i t   g e t s   r o t a t e d   I f   y o u r   c l u s t e r ' s   c o n t r o l   p l a n e   r u n s   t h e   k u b e - a p i s e r v e r   a s   a   P o d ,   r e m e m b e r   t o   m o u n t   t h e   h o s t P a t h   t o   t h e   l o c a t i o n   o f   t h e   p o l i c y   f i l e   a n d   l o g   f i l e ,   s o   t h a t   a u d i t   r e c o r d s   a r e   p e r s i s t e d .   F o r   e x a m p l e :   -   - - a u d i t - p o l i c y - f i l e = / e t c / k u b e r n e t e s / a u d i t - p o l i c y . y a m l   -   - - a u d i t - l o g - p a t h = / v a r / l o g / k u b e r n e t e s / a u d i t / a u d i t . l o g   t h e n   m o u n t   t h e   v o l u m e s :   . . .   v o l u m e M o u n t s :   -   m o u n t P a t h :   / e t c / k u b e r n e t e s / a u d i t - p o l i c y . y a m l   n a m e :   a u d i t   r e a d O n l y :   t r u e   -   m o u n t P


Question: What is Webhook backend?

Answer: T h e   w e b h o o k   a u d i t   b a c k e n d   s e n d s   a u d i t   e v e n t s   t o   a   r e m o t e   w e b   A P I ,   w h i c h   i s   a s s u m e d   t o   b e   a   f o r m   o f   t h e   K u b e r n e t e s   A P I ,   i n c l u d i n g   m e a n s   o f   a u t h e n t i c a t i o n .   Y o u   c a n   c o n f i g u r e   a   w e b h o o k   a u d i t   b a c k e n d   u s i n g   t h e   f o l l o w i n g   k u b e - a p i s e r v e r   f l a g s :   - - a u d i t - w e b h o o k - c o n f i g - f i l e   s p e c i f i e s   t h e   p a t h   t o   a   f i l e   w i t h   a   w e b h o o k   c o n f i g u r a t i o n .   T h e   w e b h o o k   c o n f i g u r a t i o n   i s   e f f e c t i v e l y   a   s p e c i a l i z e d   k u b e c o n f i g . - - a u d i t - w e b h o o k - i n i t i a l - b a c k o f f   s p e c i f i e s   t h e   a m o u n t   o f   t i m e   t o   w a i t   a f t e r   t h e   f i r s t   f a i l e d   r e q u e s t   b e f o r e   r e t r y i n g .   S u b s e q u e n t   r e q u e s t s   a r e   r e t r i e d   w i t h   e x p o n e n t i a l   b a c k o f f .   T h e   w e b h o o k   c o n f i g   f i l e   u s e s   t h e   k u b e c o n f i g   f o r m a t   t o   s p e c i f y   t h e   r e m o t e   a d d r e s s   o f   t h e   s e r v i c e   a n d   c r e d e n t i a l s   u s e d   t o   c o n n e c t   t o   i t .


Question: What is Event batching?

Answer: B o t h   l o g   a n d   w e b h o o k   b a c k e n d s   s u p p o r t   b a t c h i n g .   B e l o w   i s   a   l i s t   o f   a v a i l a b l e   f l a g s   s p e c i f i c   t o   e a c h   b a c k e n d .   B y   d e f a u l t ,   b a t c h i n g   a n d   t h r o t t l i n g   a r e   e n a b l e d   f o r   t h e   w e b h o o k   b a c k e n d   a n d   d i s a b l e d   f o r   t h e   l o g   b a c k e n d .   - - a u d i t - w e b h o o k - m o d e   d e f i n e s   t h e   b u f f e r i n g   s t r a t e g y .   O n e   o f   t h e   f o l l o w i n g : b a t c h   -   b u f f e r   e v e n t s   a n d   a s y n c h r o n o u s l y   p r o c e s s   t h e m   i n   b a t c h e s .   T h i s   i s   t h e   d e f a u l t   m o d e   f o r   t h e   w e b h o o k   b a c k e n d . b l o c k i n g   -   b l o c k   A P I   s e r v e r   r e s p o n s e s   o n   p r o c e s s i n g   e a c h   i n d i v i d u a l   e v e n t . b l o c k i n g - s t r i c t   -   S a m e   a s   b l o c k i n g ,   b u t   w h e n   t h e r e   i s   a   f a i l u r e   d u r i n g   a u d i t   l o g g i n g   a t   t h e   R e q u e s t R e c e i v e d   s t a g e ,   t h e   w h o l e   r e q u e s t   t o   t h e   k u b e - a p i s e r v e r   f a i l s . T h e   f o l l o w i n g   f l a g s   a r e   u s e d   o n l y   i n   t h e   b a t c h   m o d e : - - a u d i t - w e b h o o k - b a t c h - b u f f e r - s i z e   d e f i n e s   t h e   n u m b e r   o f   e v e n t s   t o   b u f f e r   b e f o r e   b a t c h i n g .   I f   t h e   r a t e   o f   i n c o m i n g   e v e n t s   o v e r f l o w s   t h e   b u f f e r ,   e v e n t s   a r e   d r o p p e d .   T h e   d e f a u l t   v a l u e   i s   1 0 0 0 0 . - - a u d i t - w e b h o o k - b a t c h - m a x - s i z e   d e f i n e s   t h e   m a x i m u m   n u m b e r   o f   e v e n t s   i n   o n e   b a t c h .   T h e   d e f a u l t   v a l u e   i s   4 0 0 . - - a u d i t - w e b h


Question: What is Parameter tuning?

Answer: P a r a m e t e r s   s h o u l d   b e   s e t   t o   a c c o m m o d a t e   t h e   l o a d   o n   t h e   A P I   s e r v e r .   F o r   e x a m p l e ,   i f   k u b e - a p i s e r v e r   r e c e i v e s   1 0 0   r e q u e s t s   e a c h   s e c o n d ,   a n d   e a c h   r e q u e s t   i s   a u d i t e d   o n l y   o n   R e s p o n s e S t a r t e d   a n d   R e s p o n s e C o m p l e t e   s t a g e s ,   y o u   s h o u l d   a c c o u n t   f o r   ≅ 2 0 0   a u d i t   e v e n t s   b e i n g   g e n e r a t e d   e a c h   s e c o n d .   A s s u m i n g   t h a t   t h e r e   a r e   u p   t o   1 0 0   e v e n t s   i n   a   b a t c h ,   y o u   s h o u l d   s e t   t h r o t t l i n g   l e v e l   a t   l e a s t   2   q u e r i e s   p e r   s e c o n d .   A s s u m i n g   t h a t   t h e   b a c k e n d   c a n   t a k e   u p   t o   5   s e c o n d s   t o   w r i t e   e v e n t s ,   y o u   s h o u l d   s e t   t h e   b u f f e r   s i z e   t o   h o l d   u p   t o   5   s e c o n d s   o f   e v e n t s ;   t h a t   i s :   1 0   b a t c h e s ,   o r   1 0 0 0   e v e n t s .   I n   m o s t   c a s e s   h o w e v e r ,   t h e   d e f a u l t   p a r a m e t e r s   s h o u l d   b e   s u f f i c i e n t   a n d   y o u   d o n ' t   h a v e   t o   w o r r y   a b o u t   s e t t i n g   t h e m   m a n u a l l y .   Y o u   c a n   l o o k   a t   t h e   f o l l o w i n g   P r o m e t h e u s   m e t r i c s   e x p o s e d   b y   k u b e - a p i s e r v e r   a n d   i n   t h e   l o g s   t o   m o n i t o r   t h e   s t a t e   o f   t h e   a u d i t i n g   s u b s y s t e m .   a p i s e r v e r _ a u d i t _ e v e n t _ t o t a l   m e t r i c   c o n t a i n s   t h e   t o t a l   n u m b e r   o f   a u d i t   e v e n t s   e x p o r t e d . a p i s e r v e r _ a u d i t _ e r r o r _ t o t a l   m e t r i c   c o n t a i n s   t h e   t o t a l   n u m b e r   o f   e v e n t s   d r o p p e d


Question: What is Log entry truncation?

Answer: B o t h   l o g   a n d   w e b h o o k   b a c k e n d s   s u p p o r t   l i m i t i n g   t h e   s i z e   o f   e v e n t s   t h a t   a r e   l o g g e d .   A s   a n   e x a m p l e ,   t h e   f o l l o w i n g   i s   t h e   l i s t   o f   f l a g s   a v a i l a b l e   f o r   t h e   l o g   b a c k e n d :   a u d i t - l o g - t r u n c a t e - e n a b l e d   w h e t h e r   e v e n t   a n d   b a t c h   t r u n c a t i n g   i s   e n a b l e d . a u d i t - l o g - t r u n c a t e - m a x - b a t c h - s i z e   m a x i m u m   s i z e   i n   b y t e s   o f   t h e   b a t c h   s e n t   t o   t h e   u n d e r l y i n g   b a c k e n d . a u d i t - l o g - t r u n c a t e - m a x - e v e n t - s i z e   m a x i m u m   s i z e   i n   b y t e s   o f   t h e   a u d i t   e v e n t   s e n t   t o   t h e   u n d e r l y i n g   b a c k e n d .   B y   d e f a u l t   t r u n c a t e   i s   d i s a b l e d   i n   b o t h   w e b h o o k   a n d   l o g ,   a   c l u s t e r   a d m i n i s t r a t o r   s h o u l d   s e t   a u d i t - l o g - t r u n c a t e - e n a b l e d   o r   a u d i t - w e b h o o k - t r u n c a t e - e n a b l e d   t o   e n a b l e   t h e   f e a t u r e .


Question: What is What's next?

Answer: L e a r n   a b o u t   M u t a t i n g   w e b h o o k   a u d i t i n g   a n n o t a t i o n s . L e a r n   m o r e   a b o u t   E v e n t   a n d   t h e   P o l i c y   r e s o u r c e   t y p e s   b y   r e a d i n g   t h e   A u d i t   c o n f i g u r a t i o n   r e f e r e n c e .


Question: What is 4.4.7 - Debugging Kubernetes Nodes With Kubectl?

Answer: T h i s   p a g e   s h o w s   h o w   t o   d e b u g   a   n o d e   r u n n i n g   o n   t h e   K u b e r n e t e s   c l u s t e r   u s i n g   k u b e c t l   d e b u g   c o m m a n d .


Question: What is Before you begin?

Answer: Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r ,   a n d   t h e   k u b e c t l   c o m m a n d - l i n e   t o o l   m u s t   b e   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   y o u r   c l u s t e r .   I t   i s   r e c o m m e n d e d   t o   r u n   t h i s   t u t o r i a l   o n   a   c l u s t e r   w i t h   a t   l e a s t   t w o   n o d e s   t h a t   a r e   n o t   a c t i n g   a s   c o n t r o l   p l a n e   h o s t s .   I f   y o u   d o   n o t   a l r e a d y   h a v e   a   c l u s t e r ,   y o u   c a n   c r e a t e   o n e   b y   u s i n g   m i n i k u b e   o r   y o u   c a n   u s e   o n e   o f   t h e s e   K u b e r n e t e s   p l a y g r o u n d s : i x i m i u z   L a b s K i l l e r c o d a K o d e K l o u d P l a y   w i t h   K u b e r n e t e s Y o u r   K u b e r n e t e s   s e r v e r   m u s t   b e   a t   o r   l a t e r   t h a n   v e r s i o n   1 . 2 . T o   c h e c k   t h e   v e r s i o n ,   e n t e r   k u b e c t l   v e r s i o n .   Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r ,   a n d   t h e   k u b e c t l   c o m m a n d - l i n e   t o o l   m u s t   b e   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   y o u r   c l u s t e r .   I t   i s   r e c o m m e n d e d   t o   r u n   t h i s   t u t o r i a l   o n   a   c l u s t e r   w i t h   a t   l e a s t   t w o   n o d e s   t h a t   a r e   n o t   a c t i n g   a s   c o n t r o l   p l a n e   h o s t s .   I f   y o u   d o   n o t   a l r e a d y   h a v e   a   c l u s t e r ,   y o u   c a n   c r e a t e   o n e   b y   u s i n g   m i n i k u b e   o r   y o u   c a n   u s e   o n e   o f   t h e s e   K u b e r n e t e s   p l a y g r o u n d s :   i x i m i u z   L a b s K i l l e r c o d a K o d e K l o u d P l a y   w i t h   K u b e r n e t e s   T o   c h e c k   t h e   v e r s i o n ,   e n t e r   k u b e c t l   v e r s i o n .   Y o


Question: What is Debugging a Node using kubectl debug node?

Answer: U s e   t h e   k u b e c t l   d e b u g   n o d e   c o m m a n d   t o   d e p l o y   a   P o d   t o   a   N o d e   t h a t   y o u   w a n t   t o   t r o u b l e s h o o t .   T h i s   c o m m a n d   i s   h e l p f u l   i n   s c e n a r i o s   w h e r e   y o u   c a n ' t   a c c e s s   y o u r   N o d e   b y   u s i n g   a n   S S H   c o n n e c t i o n .   W h e n   t h e   P o d   i s   c r e a t e d ,   t h e   P o d   o p e n s   a n   i n t e r a c t i v e   s h e l l   o n   t h e   N o d e .   T o   c r e a t e   a n   i n t e r a c t i v e   s h e l l   o n   a   N o d e   n a m e d   “ m y n o d e ” ,   r u n :   k u b e c t l   d e b u g   n o d e / m y n o d e   - i t   - - i m a g e = u b u n t u   C r e a t i n g   d e b u g g i n g   p o d   n o d e - d e b u g g e r - m y n o d e - p d x 8 4   w i t h   c o n t a i n e r   d e b u g g e r   o n   n o d e   m y n o d e .   I f   y o u   d o n ' t   s e e   a   c o m m a n d   p r o m p t ,   t r y   p r e s s i n g   e n t e r .   r o o t @ m y n o d e : / #   T h e   d e b u g   c o m m a n d   h e l p s   t o   g a t h e r   i n f o r m a t i o n   a n d   t r o u b l e s h o o t   i s s u e s .   C o m m a n d s   t h a t   y o u   m i g h t   u s e   i n c l u d e   i p ,   i f c o n f i g ,   n c ,   p i n g ,   a n d   p s   a n d   s o   o n .   Y o u   c a n   a l s o   i n s t a l l   o t h e r   t o o l s ,   s u c h   a s   m t r ,   t c p d u m p ,   a n d   c u r l ,   f r o m   t h e   r e s p e c t i v e   p a c k a g e   m a n a g e r .


Question: What is Note:?

Answer: T h e   d e b u g g i n g   P o d   c a n   a c c e s s   t h e   r o o t   f i l e s y s t e m   o f   t h e   N o d e ,   m o u n t e d   a t   / h o s t   i n   t h e   P o d .   I f   y o u   r u n   y o u r   k u b e l e t   i n   a   f i l e s y s t e m   n a m e s p a c e ,   t h e   d e b u g g i n g   P o d   s e e s   t h e   r o o t   f o r   t h a t   n a m e s p a c e ,   n o t   f o r   t h e   e n t i r e   n o d e .   F o r   a   t y p i c a l   L i n u x   n o d e ,   y o u   c a n   l o o k   a t   t h e   f o l l o w i n g   p a t h s   t o   f i n d   r e l e v a n t   l o g s :   W h e n   c r e a t i n g   a   d e b u g g i n g   s e s s i o n   o n   a   N o d e ,   k e e p   i n   m i n d   t h a t :   k u b e c t l   d e b u g   a u t o m a t i c a l l y   g e n e r a t e s   t h e   n a m e   o f   t h e   n e w   p o d ,   b a s e d   o n   t h e   n a m e   o f   t h e   n o d e . T h e   r o o t   f i l e s y s t e m   o f   t h e   N o d e   w i l l   b e   m o u n t e d   a t   / h o s t . A l t h o u g h   t h e   c o n t a i n e r   r u n s   i n   t h e   h o s t   I P C ,   N e t w o r k ,   a n d   P I D   n a m e s p a c e s ,   t h e   p o d   i s n ' t   p r i v i l e g e d .   T h i s   m e a n s   t h a t   r e a d i n g   s o m e   p r o c e s s   i n f o r m a t i o n   m i g h t   f a i l   b e c a u s e   a c c e s s   t o   t h a t   i n f o r m a t i o n   i s   r e s t r i c t e d   t o   s u p e r u s e r s .   F o r   e x a m p l e ,   c h r o o t   / h o s t   w i l l   f a i l .   I f   y o u   n e e d   a   p r i v i l e g e d   p o d ,   c r e a t e   i t   m a n u a l l y   o r   u s e   t h e   - - p r o f i l e = s y s a d m i n   f l a g . B y   a p p l y i n g   D e b u g g i n g   P r o f i l e s ,   y o u   c a n   s e t   s p e c i f i c   p r o p e r t i e s   s u c h   a s   s e c u r i t y C o n t e x t   t o   a   d e b u g g i n g   P o d .


Question: What is Cleaning up?

Answer: W h e n   y o u   f i n i s h   u s i n g   t h e   d e b u g g i n g   P o d ,   d e l e t e   i t :   k u b e c t l   g e t   p o d s   N A M E   R E A D Y   S T A T U S   R E S T A R T S   A G E   n o d e - d e b u g g e r - m y n o d e - p d x 8 4   0 / 1   C o m p l e t e d   0   8 m 1 s   #   C h a n g e   t h e   p o d   n a m e   a c c o r d i n g l y   k u b e c t l   d e l e t e   p o d   n o d e - d e b u g g e r - m y n o d e - p d x 8 4   - - n o w   p o d   " n o d e - d e b u g g e r - m y n o d e - p d x 8 4 "   d e l e t e d


Question: What is 4.4.8 - Developing and debugging services locally using telepresence?

Answer: K u b e r n e t e s   a p p l i c a t i o n s   u s u a l l y   c o n s i s t   o f   m u l t i p l e ,   s e p a r a t e   s e r v i c e s ,   e a c h   r u n n i n g   i n   i t s   o w n   c o n t a i n e r .   D e v e l o p i n g   a n d   d e b u g g i n g   t h e s e   s e r v i c e s   o n   a   r e m o t e   K u b e r n e t e s   c l u s t e r   c a n   b e   c u m b e r s o m e ,   r e q u i r i n g   y o u   t o   g e t   a   s h e l l   o n   a   r u n n i n g   c o n t a i n e r   i n   o r d e r   t o   r u n   d e b u g g i n g   t o o l s .   t e l e p r e s e n c e   i s   a   t o o l   t o   e a s e   t h e   p r o c e s s   o f   d e v e l o p i n g   a n d   d e b u g g i n g   s e r v i c e s   l o c a l l y   w h i l e   p r o x y i n g   t h e   s e r v i c e   t o   a   r e m o t e   K u b e r n e t e s   c l u s t e r .   U s i n g   t e l e p r e s e n c e   a l l o w s   y o u   t o   u s e   c u s t o m   t o o l s ,   s u c h   a s   a   d e b u g g e r   a n d   I D E ,   f o r   a   l o c a l   s e r v i c e   a n d   p r o v i d e s   t h e   s e r v i c e   f u l l   a c c e s s   t o   C o n f i g M a p ,   s e c r e t s ,   a n d   t h e   s e r v i c e s   r u n n i n g   o n   t h e   r e m o t e   c l u s t e r .   T h i s   d o c u m e n t   d e s c r i b e s   u s i n g   t e l e p r e s e n c e   t o   d e v e l o p   a n d   d e b u g   s e r v i c e s   r u n n i n g   o n   a   r e m o t e   c l u s t e r   l o c a l l y .


Question: What is Before you begin?

Answer: K u b e r n e t e s   c l u s t e r   i s   i n s t a l l e d k u b e c t l   i s   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   t h e   c l u s t e r T e l e p r e s e n c e   i s   i n s t a l l e d


Question: What is Connecting your local machine to a remote Kubernetes cluster?

Answer: A f t e r   i n s t a l l i n g   t e l e p r e s e n c e ,   r u n   t e l e p r e s e n c e   c o n n e c t   t o   l a u n c h   i t s   D a e m o n   a n d   c o n n e c t   y o u r   l o c a l   w o r k s t a t i o n   t o   t h e   c l u s t e r .   $   t e l e p r e s e n c e   c o n n e c t   L a u n c h i n g   T e l e p r e s e n c e   D a e m o n   . . .   C o n n e c t e d   t o   c o n t e x t   d e f a u l t   ( h t t p s : / / < c l u s t e r   p u b l i c   I P > )   Y o u   c a n   c u r l   s e r v i c e s   u s i n g   t h e   K u b e r n e t e s   s y n t a x   e . g .   c u r l   - i k   h t t p s : / / k u b e r n e t e s . d e f a u l t


Question: What is Developing or debugging an existing service?

Answer: W h e n   d e v e l o p i n g   a n   a p p l i c a t i o n   o n   K u b e r n e t e s ,   y o u   t y p i c a l l y   p r o g r a m   o r   d e b u g   a   s i n g l e   s e r v i c e .   T h e   s e r v i c e   m i g h t   r e q u i r e   a c c e s s   t o   o t h e r   s e r v i c e s   f o r   t e s t i n g   a n d   d e b u g g i n g .   O n e   o p t i o n   i s   t o   u s e   t h e   c o n t i n u o u s   d e p l o y m e n t   p i p e l i n e ,   b u t   e v e n   t h e   f a s t e s t   d e p l o y m e n t   p i p e l i n e   i n t r o d u c e s   a   d e l a y   i n   t h e   p r o g r a m   o r   d e b u g   c y c l e .   U s e   t h e   t e l e p r e s e n c e   i n t e r c e p t   $ S E R V I C E _ N A M E   - - p o r t   $ L O C A L _ P O R T : $ R E M O T E _ P O R T   c o m m a n d   t o   c r e a t e   a n   " i n t e r c e p t "   f o r   r e r o u t i n g   r e m o t e   s e r v i c e   t r a f f i c .   W h e r e :   $ S E R V I C E _ N A M E   i s   t h e   n a m e   o f   y o u r   l o c a l   s e r v i c e $ L O C A L _ P O R T   i s   t h e   p o r t   t h a t   y o u r   s e r v i c e   i s   r u n n i n g   o n   y o u r   l o c a l   w o r k s t a t i o n A n d   $ R E M O T E _ P O R T   i s   t h e   p o r t   y o u r   s e r v i c e   l i s t e n s   t o   i n   t h e   c l u s t e r   R u n n i n g   t h i s   c o m m a n d   t e l l s   T e l e p r e s e n c e   t o   s e n d   r e m o t e   t r a f f i c   t o   y o u r   l o c a l   s e r v i c e   i n s t e a d   o f   t h e   s e r v i c e   i n   t h e   r e m o t e   K u b e r n e t e s   c l u s t e r .   M a k e   e d i t s   t o   y o u r   s e r v i c e   s o u r c e   c o d e   l o c a l l y ,   s a v e ,   a n d   s e e   t h e   c o r r e s p o n d i n g   c h a n g e s   w h e n   a c c e s s i n g   y o u r   r e m o t e   a p p l i c a t i o n   t a k e   e f f e c t   i m m e d i a t e l y .   Y o u   c a n   a l s o   r u n   y o u r   l o c a l   s e r v i c e   u


Question: What is How does Telepresence work??

Answer: T e l e p r e s e n c e   i n s t a l l s   a   t r a f f i c - a g e n t   s i d e c a r   n e x t   t o   y o u r   e x i s t i n g   a p p l i c a t i o n ' s   c o n t a i n e r   r u n n i n g   i n   t h e   r e m o t e   c l u s t e r .   I t   t h e n   c a p t u r e s   a l l   t r a f f i c   r e q u e s t s   g o i n g   i n t o   t h e   P o d ,   a n d   i n s t e a d   o f   f o r w a r d i n g   t h i s   t o   t h e   a p p l i c a t i o n   i n   t h e   r e m o t e   c l u s t e r ,   i t   r o u t e s   a l l   t r a f f i c   ( w h e n   y o u   c r e a t e   a   g l o b a l   i n t e r c e p t   o r   a   s u b s e t   o f   t h e   t r a f f i c   ( w h e n   y o u   c r e a t e   a   p e r s o n a l   i n t e r c e p t )   t o   y o u r   l o c a l   d e v e l o p m e n t   e n v i r o n m e n t .


Question: What is What's next?

Answer: I f   y o u ' r e   i n t e r e s t e d   i n   a   h a n d s - o n   t u t o r i a l ,   c h e c k   o u t   t h i s   t u t o r i a l   t h a t   w a l k s   t h r o u g h   l o c a l l y   d e v e l o p i n g   t h e   G u e s t b o o k   a p p l i c a t i o n   o n   G o o g l e   K u b e r n e t e s   E n g i n e .   F o r   f u r t h e r   r e a d i n g ,   v i s i t   t h e   T e l e p r e s e n c e   w e b s i t e .


Question: What is Node-level troubleshooting?

Answer: M y   P o d s   a r e   s t u c k   a t   " C o n t a i n e r   C r e a t i n g "   o r   r e s t a r t i n g   o v e r   a n d   o v e r E n s u r e   t h a t   y o u r   p a u s e   i m a g e   i s   c o m p a t i b l e   w i t h   y o u r   W i n d o w s   O S   v e r s i o n .   S e e   P a u s e   c o n t a i n e r   t o   s e e   t h e   l a t e s t   /   r e c o m m e n d e d   p a u s e   i m a g e   a n d / o r   g e t   m o r e   i n f o r m a t i o n . N o t e : I f   u s i n g   c o n t a i n e r d   a s   y o u r   c o n t a i n e r   r u n t i m e   t h e   p a u s e   i m a g e   i s   s p e c i f i e d   i n   t h e   p l u g i n s . p l u g i n s . c r i . s a n d b o x _ i m a g e   f i e l d   o f   t h e   o f   c o n f i g . t o m l   c o n f i g u r a t i o n   f i l e . M y   p o d s   s h o w   s t a t u s   a s   E r r I m g P u l l   o r   I m a g e P u l l B a c k O f f E n s u r e   t h a t   y o u r   P o d   i s   g e t t i n g   s c h e d u l e d   t o   a   c o m p a t i b l e   W i n d o w s   N o d e . M o r e   i n f o r m a t i o n   o n   h o w   t o   s p e c i f y   a   c o m p a t i b l e   n o d e   f o r   y o u r   P o d   c a n   b e   f o u n d   i n   t h i s   g u i d e .   M y   P o d s   a r e   s t u c k   a t   " C o n t a i n e r   C r e a t i n g "   o r   r e s t a r t i n g   o v e r   a n d   o v e r   E n s u r e   t h a t   y o u r   p a u s e   i m a g e   i s   c o m p a t i b l e   w i t h   y o u r   W i n d o w s   O S   v e r s i o n .   S e e   P a u s e   c o n t a i n e r   t o   s e e   t h e   l a t e s t   /   r e c o m m e n d e d   p a u s e   i m a g e   a n d / o r   g e t   m o r e   i n f o r m a t i o n .


Question: What is Note:?

Answer: M y   p o d s   s h o w   s t a t u s   a s   E r r I m g P u l l   o r   I m a g e P u l l B a c k O f f   E n s u r e   t h a t   y o u r   P o d   i s   g e t t i n g   s c h e d u l e d   t o   a   c o m p a t i b l e   W i n d o w s   N o d e .   M o r e   i n f o r m a t i o n   o n   h o w   t o   s p e c i f y   a   c o m p a t i b l e   n o d e   f o r   y o u r   P o d   c a n   b e   f o u n d   i n   t h i s   g u i d e .


Question: What is Network troubleshooting?

Answer: M y   W i n d o w s   P o d s   d o   n o t   h a v e   n e t w o r k   c o n n e c t i v i t y I f   y o u   a r e   u s i n g   v i r t u a l   m a c h i n e s ,   e n s u r e   t h a t   M A C   s p o o f i n g   i s   e n a b l e d   o n   a l l   t h e   V M   n e t w o r k   a d a p t e r ( s ) . M y   W i n d o w s   P o d s   c a n n o t   p i n g   e x t e r n a l   r e s o u r c e s W i n d o w s   P o d s   d o   n o t   h a v e   o u t b o u n d   r u l e s   p r o g r a m m e d   f o r   t h e   I C M P   p r o t o c o l .   H o w e v e r ,   T C P / U D P   i s   s u p p o r t e d .   W h e n   t r y i n g   t o   d e m o n s t r a t e   c o n n e c t i v i t y   t o   r e s o u r c e s   o u t s i d e   o f   t h e   c l u s t e r ,   s u b s t i t u t e   p i n g   < I P >   w i t h   c o r r e s p o n d i n g   c u r l   < I P >   c o m m a n d s . I f   y o u   a r e   s t i l l   f a c i n g   p r o b l e m s ,   m o s t   l i k e l y   y o u r   n e t w o r k   c o n f i g u r a t i o n   i n   c n i . c o n f   d e s e r v e s   s o m e   e x t r a   a t t e n t i o n .   Y o u   c a n   a l w a y s   e d i t   t h i s   s t a t i c   f i l e .   T h e   c o n f i g u r a t i o n   u p d a t e   w i l l   a p p l y   t o   a n y   n e w   K u b e r n e t e s   r e s o u r c e s . O n e   o f   t h e   K u b e r n e t e s   n e t w o r k i n g   r e q u i r e m e n t s   ( s e e   K u b e r n e t e s   m o d e l )   i s   f o r   c l u s t e r   c o m m u n i c a t i o n   t o   o c c u r   w i t h o u t   N A T   i n t e r n a l l y .   T o   h o n o r   t h i s   r e q u i r e m e n t ,   t h e r e   i s   a n   E x c e p t i o n L i s t   f o r   a l l   t h e   c o m m u n i c a t i o n   w h e r e   y o u   d o   n o t   w a n t   o u t b o u n d   N A T   t o   o c c u r .   H o w e v e r ,   t h i s   a l s o   m e a n s   t h a t   y o u   n e e d   t o   e x c l u d e   t h e   e x t e r n a l   I P   y o u   a r e   t r y i n g   t o


Question: What is Flannel troubleshooting?

Answer: W i t h   F l a n n e l ,   m y   n o d e s   a r e   h a v i n g   i s s u e s   a f t e r   r e j o i n i n g   a   c l u s t e r W h e n e v e r   a   p r e v i o u s l y   d e l e t e d   n o d e   i s   b e i n g   r e - j o i n e d   t o   t h e   c l u s t e r ,   f l a n n e l D   t r i e s   t o   a s s i g n   a   n e w   p o d   s u b n e t   t o   t h e   n o d e .   U s e r s   s h o u l d   r e m o v e   t h e   o l d   p o d   s u b n e t   c o n f i g u r a t i o n   f i l e s   i n   t h e   f o l l o w i n g   p a t h s : R e m o v e - I t e m   C : \ k \ S o u r c e V i p . j s o n   R e m o v e - I t e m   C : \ k \ S o u r c e V i p R e q u e s t . j s o n   F l a n n e l d   i s   s t u c k   i n   " W a i t i n g   f o r   t h e   N e t w o r k   t o   b e   c r e a t e d " T h e r e   a r e   n u m e r o u s   r e p o r t s   o f   t h i s   i s s u e ;   m o s t   l i k e l y   i t   i s   a   t i m i n g   i s s u e   f o r   w h e n   t h e   m a n a g e m e n t   I P   o f   t h e   f l a n n e l   n e t w o r k   i s   s e t .   A   w o r k a r o u n d   i s   t o   r e l a u n c h   s t a r t . p s 1   o r   r e l a u n c h   i t   m a n u a l l y   a s   f o l l o w s : [ E n v i r o n m e n t ] : : S e t E n v i r o n m e n t V a r i a b l e ( " N O D E _ N A M E " ,   " < W i n d o w s _ W o r k e r _ H o s t n a m e > " )   C : \ f l a n n e l \ f l a n n e l d . e x e   - - k u b e c o n f i g - f i l e = c : \ k \ c o n f i g   - - i f a c e = < W i n d o w s _ W o r k e r _ N o d e _ I P >   - - i p - m a s q = 1   - - k u b e - s u b n e t - m g r = 1   M y   W i n d o w s   P o d s   c a n n o t   l a u n c h   b e c a u s e   o f   m i s s i n g   / r u n / f l a n n e l / s u b n e t . e n v T h i s   i n d i c a t e s   t h a t   F l a n n e l   d i d n ' t   l a u n c h   c o r r e c t l y .   Y o u   c a n   e i t h e r   t r y   t o   r e s t a r t   f l a n n e l d . e x e   o r   y o u   c a n   c o p y   t h e   f i l


Question: What is Further investigation?

Answer: I f   t h e s e   s t e p s   d o n ' t   r e s o l v e   y o u r   p r o b l e m ,   y o u   c a n   g e t   h e l p   r u n n i n g   W i n d o w s   c o n t a i n e r s   o n   W i n d o w s   n o d e s   i n   K u b e r n e t e s   t h r o u g h :   S t a c k O v e r f l o w   W i n d o w s   S e r v e r   C o n t a i n e r   t o p i c K u b e r n e t e s   O f f i c i a l   F o r u m   d i s c u s s . k u b e r n e t e s . i o K u b e r n e t e s   S l a c k   # S I G - W i n d o w s   C h a n n e l


Question: What is 5.1 - Declarative Management of Kubernetes Objects Using Configuration Files?

Answer: K u b e r n e t e s   o b j e c t s   c a n   b e   c r e a t e d ,   u p d a t e d ,   a n d   d e l e t e d   b y   s t o r i n g   m u l t i p l e   o b j e c t   c o n f i g u r a t i o n   f i l e s   i n   a   d i r e c t o r y   a n d   u s i n g   k u b e c t l   a p p l y   t o   r e c u r s i v e l y   c r e a t e   a n d   u p d a t e   t h o s e   o b j e c t s   a s   n e e d e d .   T h i s   m e t h o d   r e t a i n s   w r i t e s   m a d e   t o   l i v e   o b j e c t s   w i t h o u t   m e r g i n g   t h e   c h a n g e s   b a c k   i n t o   t h e   o b j e c t   c o n f i g u r a t i o n   f i l e s .   k u b e c t l   d i f f   a l s o   g i v e s   y o u   a   p r e v i e w   o f   w h a t   c h a n g e s   a p p l y   w i l l   m a k e .


Question: What is Before you begin?

Answer: I n s t a l l   k u b e c t l .   Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r ,   a n d   t h e   k u b e c t l   c o m m a n d - l i n e   t o o l   m u s t   b e   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   y o u r   c l u s t e r .   I t   i s   r e c o m m e n d e d   t o   r u n   t h i s   t u t o r i a l   o n   a   c l u s t e r   w i t h   a t   l e a s t   t w o   n o d e s   t h a t   a r e   n o t   a c t i n g   a s   c o n t r o l   p l a n e   h o s t s .   I f   y o u   d o   n o t   a l r e a d y   h a v e   a   c l u s t e r ,   y o u   c a n   c r e a t e   o n e   b y   u s i n g   m i n i k u b e   o r   y o u   c a n   u s e   o n e   o f   t h e s e   K u b e r n e t e s   p l a y g r o u n d s : i x i m i u z   L a b s K i l l e r c o d a K o d e K l o u d P l a y   w i t h   K u b e r n e t e s T o   c h e c k   t h e   v e r s i o n ,   e n t e r   k u b e c t l   v e r s i o n .   Y o u   n e e d   t o   h a v e   a   K u b e r n e t e s   c l u s t e r ,   a n d   t h e   k u b e c t l   c o m m a n d - l i n e   t o o l   m u s t   b e   c o n f i g u r e d   t o   c o m m u n i c a t e   w i t h   y o u r   c l u s t e r .   I t   i s   r e c o m m e n d e d   t o   r u n   t h i s   t u t o r i a l   o n   a   c l u s t e r   w i t h   a t   l e a s t   t w o   n o d e s   t h a t   a r e   n o t   a c t i n g   a s   c o n t r o l   p l a n e   h o s t s .   I f   y o u   d o   n o t   a l r e a d y   h a v e   a   c l u s t e r ,   y o u   c a n   c r e a t e   o n e   b y   u s i n g   m i n i k u b e   o r   y o u   c a n   u s e   o n e   o f   t h e s e   K u b e r n e t e s   p l a y g r o u n d s :   i x i m i u z   L a b s K i l l e r c o d a K o d e K l o u d P l a y   w i t h   K u b e r n e t e s   T o   c h e c k   t h e   v e r s i o n ,   e n t e r   k u b e c t l   v e r s i o n .


Question: What is Trade-offs?

Answer: T h e   k u b e c t l   t o o l   s u p p o r t s   t h r e e   k i n d s   o f   o b j e c t   m a n a g e m e n t :   I m p e r a t i v e   c o m m a n d s I m p e r a t i v e   o b j e c t   c o n f i g u r a t i o n D e c l a r a t i v e   o b j e c t   c o n f i g u r a t i o n   S e e   K u b e r n e t e s   O b j e c t   M a n a g e m e n t   f o r   a   d i s c u s s i o n   o f   t h e   a d v a n t a g e s   a n d   d i s a d v a n t a g e   o f   e a c h   k i n d   o f   o b j e c t   m a n a g e m e n t .


Question: What is Overview?

Answer: D e c l a r a t i v e   o b j e c t   c o n f i g u r a t i o n   r e q u i r e s   a   f i r m   u n d e r s t a n d i n g   o f   t h e   K u b e r n e t e s   o b j e c t   d e f i n i t i o n s   a n d   c o n f i g u r a t i o n .   R e a d   a n d   c o m p l e t e   t h e   f o l l o w i n g   d o c u m e n t s   i f   y o u   h a v e   n o t   a l r e a d y :   M a n a g i n g   K u b e r n e t e s   O b j e c t s   U s i n g   I m p e r a t i v e   C o m m a n d s I m p e r a t i v e   M a n a g e m e n t   o f   K u b e r n e t e s   O b j e c t s   U s i n g   C o n f i g u r a t i o n   F i l e s   F o l l o w i n g   a r e   d e f i n i t i o n s   f o r   t e r m s   u s e d   i n   t h i s   d o c u m e n t :   o b j e c t   c o n f i g u r a t i o n   f i l e   /   c o n f i g u r a t i o n   f i l e :   A   f i l e   t h a t   d e f i n e s   t h e   c o n f i g u r a t i o n   f o r   a   K u b e r n e t e s   o b j e c t .   T h i s   t o p i c   s h o w s   h o w   t o   p a s s   c o n f i g u r a t i o n   f i l e s   t o   k u b e c t l   a p p l y .   C o n f i g u r a t i o n   f i l e s   a r e   t y p i c a l l y   s t o r e d   i n   s o u r c e   c o n t r o l ,   s u c h   a s   G i t . l i v e   o b j e c t   c o n f i g u r a t i o n   /   l i v e   c o n f i g u r a t i o n :   T h e   l i v e   c o n f i g u r a t i o n   v a l u e s   o f   a n   o b j e c t ,   a s   o b s e r v e d   b y   t h e   K u b e r n e t e s   c l u s t e r .   T h e s e   a r e   k e p t   i n   t h e   K u b e r n e t e s   c l u s t e r   s t o r a g e ,   t y p i c a l l y   e t c d . d e c l a r a t i v e   c o n f i g u r a t i o n   w r i t e r   /   d e c l a r a t i v e   w r i t e r :   A   p e r s o n   o r   s o f t w a r e   c o m p o n e n t   t h a t   m a k e s   u p d a t e s   t o   a   l i v e   o b j e c t .   T h e   l i v e   w r i t e r s   r e f e r r e d   t o   i n   t h i s   t o p i c   m a k e   c h a n g e s   t o   o b j e


Question: What is How to create objects?

Answer: U s e   k u b e c t l   a p p l y   t o   c r e a t e   a l l   o b j e c t s ,   e x c e p t   t h o s e   t h a t   a l r e a d y   e x i s t ,   d e f i n e d   b y   c o n f i g u r a t i o n   f i l e s   i n   a   s p e c i f i e d   d i r e c t o r y :   k u b e c t l   a p p l y   - f   < d i r e c t o r y >   T h i s   s e t s   t h e   k u b e c t l . k u b e r n e t e s . i o / l a s t - a p p l i e d - c o n f i g u r a t i o n :   ' { . . . } '   a n n o t a t i o n   o n   e a c h   o b j e c t .   T h e   a n n o t a t i o n   c o n t a i n s   t h e   c o n t e n t s   o f   t h e   o b j e c t   c o n f i g u r a t i o n   f i l e   t h a t   w a s   u s e d   t o   c r e a t e   t h e   o b j e c t .


Question: What is Note:?

Answer: H e r e ' s   a n   e x a m p l e   o f   a n   o b j e c t   c o n f i g u r a t i o n   f i l e :   a p i V e r s i o n :   a p p s / v 1   k i n d :   D e p l o y m e n t   m e t a d a t a :   n a m e :   n g i n x - d e p l o y m e n t   s p e c :   s e l e c t o r :   m a t c h L a b e l s :   a p p :   n g i n x   m i n R e a d y S e c o n d s :   5   t e m p l a t e :   m e t a d a t a :   l a b e l s :   a p p :   n g i n x   s p e c :   c o n t a i n e r s :   -   n a m e :   n g i n x   i m a g e :   n g i n x : 1 . 1 4 . 2   p o r t s :   -   c o n t a i n e r P o r t :   8 0   R u n   k u b e c t l   d i f f   t o   p r i n t   t h e   o b j e c t   t h a t   w i l l   b e   c r e a t e d :   k u b e c t l   d i f f   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / a p p l i c a t i o n / s i m p l e _ d e p l o y m e n t . y a m l


Question: What is Note:?

Answer: d i f f   u s e s   s e r v e r - s i d e   d r y - r u n ,   w h i c h   n e e d s   t o   b e   e n a b l e d   o n   k u b e - a p i s e r v e r .   S i n c e   d i f f   p e r f o r m s   a   s e r v e r - s i d e   a p p l y   r e q u e s t   i n   d r y - r u n   m o d e ,   i t   r e q u i r e s   g r a n t i n g   P A T C H ,   C R E A T E ,   a n d   U P D A T E   p e r m i s s i o n s .   S e e   D r y - R u n   A u t h o r i z a t i o n   f o r   d e t a i l s .   C r e a t e   t h e   o b j e c t   u s i n g   k u b e c t l   a p p l y :   k u b e c t l   a p p l y   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / a p p l i c a t i o n / s i m p l e _ d e p l o y m e n t . y a m l   P r i n t   t h e   l i v e   c o n f i g u r a t i o n   u s i n g   k u b e c t l   g e t :   k u b e c t l   g e t   - f   h t t p s : / / k 8 s . i o / e x a m p l e s / a p p l i c a t i o n / s i m p l e _ d e p l o y m e n t . y a m l   - o   y a m l   T h e   o u t p u t   s h o w s   t h a t   t h e   k u b e c t l . k u b e r n e t e s . i o / l a s t - a p p l i e d - c o n f i g u r a t i o n   a n n o t a t i o n   w a s   w r i t t e n   t o   t h e   l i v e   c o n f i g u r a t i o n ,   a n d   i t   m a t c h e s   t h e   c o n f i g u r a t i o n   f i l e :   k i n d :   D e p l o y m e n t   m e t a d a t a :   a n n o t a t i o n s :   #   . . .   #   T h i s   i s   t h e   j s o n   r e p r e s e n t a t i o n   o f   s i m p l e _ d e p l o y m e n t . y a m l   #   I t   w a s   w r i t t e n   b y   k u b e c t l   a p p l y   w h e n   t h e   o b j e c t   w a s   c r e a t e d   k u b e c t l . k u b e r n e t e s . i o / l a s t - a p p l i e d - c o n f i g u r a t i o n :   |   { " a p i V e r s i o n " : " a p p s / v 1 " , " k i n d " : " D e p l o y m e n t " ,   " m e t a d a t a " : { " a n n o t a t i o n s " : { } , " n a m e " : " n g i n x - d e p l o y m e n t " , " n a m e s p a c e " : " d e f a u l t " } ,   " s p e c " :


Question: What is How to update objects?

Answer: Y o u   c a n   a l s o   u s e   k u b e c t l   a p p l y   t o   u p d a t e   a l l   o b j e c t s   d e f i n e d   i n   a   d i r e c t o r y ,   e v e n   i f   t h o s e   o b j e c t s   a l r e a d y   e x i s t .   T h i s   a p p r o a c h   a c c o m p l i s h e s   t h e   f o l l o w i n g :   S e t s   f i e l d s   t h a t   a p p e a r   i n   t h e   c o n f i g u r a t i o n   f i l e   i n   t h e   l i v e   c o n f i g u r a t i o n . C l e a r s   f i e l d s   r e m o v e d   f r o m   t h e   c o n f i g u r a t i o n   f i l e   i n   t h e   l i v e   c o n f i g u r a t i o n .   k u b e c t l   d i f f   - f   < d i r e c t o r y >   k u b e c t l   a p p l y   - f   < d i r e c t o r y >